Что такое Краулер или Паук?

CrawlerCrawler (Краулер), также известный как Spider (паук) или Bot (поисковый робот), представляет собой компьютерную программу, которая посещает и читает каждую страницу во всемирной паутине и индексирует их в базе данных, для отображения их по поисковому запросу.

У каждой поисковой системы есть свой краулер, такой как «Googlebot» для Google или «Scooter» для AltaVista.

С Уважением, МониторБанк

Добавить комментарий