Crawler (Краулер), также известный как Spider (паук) или Bot (поисковый робот), представляет собой компьютерную программу, которая посещает и читает каждую страницу во всемирной паутине и индексирует их в базе данных, для отображения их по поисковому запросу.
У каждой поисковой системы есть свой краулер, такой как «Googlebot» для Google или «Scooter» для AltaVista.
С Уважением, МониторБанк