Crawler stron internetowych

Chciałbym zlecić napisanie programu, który działałby w sposób podobny do tego programu: [login to view URL] Zależy mi żeby taki program mógł chodzić po stronach internetowych i zczytywać z nich linki do zewnętrznych stron. Przykład: chciałbym, żeby program podał mi listę wszystkich domen znajdujących się we wskazanym przeze mnie katalogu stron w sekcji 'medycyna'. Bardzo istotna jest tutaj możliwość zawężania crawlingu do określonych sekcji witryn. Można to zrobić np. po filtracji adresów url, które muszą zawierać np. jakiś ciąg znaków np 'medycyna'. Dodatkowo na samym końcu pracy program powinien w prosty sposób sprawdzać, czy dana domena istnieje, czy też nie. Może być to sprawdzane po nagłówkach. Nie ma potrzeby odpytywania whois. Program powinien też koniecznie korzystać z proxy. Sugeruję dodać obsługę Proxy Marketu.