Что такое файл Robot.txt?

Robot txtRobot.txt — это текстовый файл, созданный на веб-сайте, чтобы сообщить роботам поисковых систем, какие страницы веб-сайта не должны индексироваться в базе данных поисковых систем. Как правило, это делается для того, чтобы скрыть веб-страницы с конфиденциальным содержимым. Указание этих страниц в файле robot.txt предотвратит доступ к ним сканеров поисковых систем.

Данный файл должен быть размещен в главном каталоге веб-сайта, чтобы краулер мог легко найти его и следовать написанным в нем инструкциям.

С Уважением, МониторБанк

Читать также:  Условия освещения для фотографирования

Добавить комментарий