Файл robots.txt
Это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов.
Инструкции в данном файле запрещают к индексации некоторые разделы или страницы на Вашем сайте, указывают на правильное «зеркалирование» домена, они рекомендуют поисковым роботам соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.
Пример:
#User-agent - задает имя поискового агента (yandex, google, rambler, * - для всех)
User-agent: *
#Host - задает доменное имя Вашего сайта
Host: www.mysite.ru
#Инструкции для роботов - текст после знака "#" и до конца строки комментарий
#Disallow - задает запрет индексации конкретного раздела сайта
Disallow: /cgi-bin/
Disallow: /admin/
#Allow - разрешает индексацию
Allow: /
#Crawl-delay - задает таймаут в секундах, с которым поисковый робот закачивает страницы с Вашего сервера
Crawl-delay: 4.5
Итак, есть бесплатный ресурс для генерации файла:
