Crawler

Clawler, znany również jako robot, bot czy pajączek, to program, który odwiedza witryny i pobiera informacje o nich, aby móc je potem wykorzystać jako wstęp dla algorytmów wyszukiwarek. Wszystkie wielkie wyszukiwarki mają swojego robota (często dużą liczbę mniejszych, wyspecjalizowanych robotów). Crawler ma za zadanie znaleźć nowe strony, zanalizować je i oznaczyć odpowiednimi parametrami, dla dalszego opracowania. Crawler wraca na stronę zazwyczaj w przypadku, gdy na stronie coś się zmieniło.