Robot.txt — это текстовый файл, созданный на веб-сайте, чтобы сообщить роботам поисковых систем, какие страницы веб-сайта не должны индексироваться в базе данных поисковых систем. Как правило, это делается для того, чтобы скрыть веб-страницы с конфиденциальным содержимым. Указание этих страниц в файле robot.txt предотвратит доступ к ним сканеров поисковых систем.
Данный файл должен быть размещен в главном каталоге веб-сайта, чтобы краулер мог легко найти его и следовать написанным в нем инструкциям.
С Уважением, МониторБанк