robots.txt текстовый файл с параметрами для поисковых ботов. Правильный robots.txt позволяет ограничить доступ поисковых роботов к закрытой части сайта, оптимизирует поведение поисковых роботов.

Файл robots txt должен иметь имя в нижнем регистре и должен размещаться в корне сайта. Ниже приведем пример файла robots.txt:

User-agent: *
Disallow:
Crawl-delay: 10
Request-rate: 1/5
Visit-time: 2300-0200
Sitemap: http://integrator.adior.ru/index.php/component/xmap/xml/1?view=xml&tmpl=component
Sitemap: http://integrator.adior.ru/index.php?option=com_xmap&view=xml&tmpl=component&news=1&id=1
Sitemap: http://integrator.adior.ru/index.php?option=com_xmap&view=xml&tmpl=component&images=1&id=1

User-agent: Mail.Ru
Allow: /
Disallow: /administrator/

User-agent: * Начало секции предназначенной для всех роботов.

User-agent: Mail.Ru Начало секции предназначенной роботов mail.ru.

Disallow: Без параметров — разрешен доступ ко всему сайту.

Disallow: /administrator/ Запрещен доступ к папке сайта administrator.

Allow: / Разрешен доступ ко всему сайту.

Crawl-delay: 10 Пауза в 10 секунд перед загрузкой очередной страницы.

Request-rate: 1/5 Загружать не более одной страницы за пять секунд.

Visit-time: 2300-0200 Запрет по времени — с 2 часов утра до 23 часов по Гринвичу (разрешено только с 3-00 до 6-00 по Москве).

Sitemap: пути ко всем файлам sitemap.xml