Robots.txt: что это и как настроить правильно

Как это работает?

Robots.txt — это рекомендательный, а не принудительный механизм: добросовестные боты (Googlebot, Bingbot) читают файл перед сканированием сайта и соблюдают указанные правила, но вредоносные краулеры могут его игнорировать.

Основные директивы

Файл состоит из блоков директив для конкретных User-agent:

• User-agent — указывает, к какому боту применяется блок правил (* — ко всем)
• Disallow — запрещает сканирование указанного пути
• Allow — разрешает сканирование конкретного пути внутри запрещённой директории
• Sitemap — указывает полный адрес XML-карты сайта

Приоритет правил

Правила читаются сверху вниз, и при конфликте между Disallow и Allow поисковые системы используют более специфичный (более длинный) путь.

Зачем это нужно?

Robots.txt позволяет экономить краулинговый бюджет, направляя роботов на приоритетный контент вместо служебных разделов (админка, корзина, фильтры с параметрами, дубли страниц пагинации).

Файл также предотвращает перегрузку сервера лишними запросами от ботов и даёт возможность сразу указать поисковым системам расположение Sitemap, ускоряя обнаружение новых URL.

Пример использования

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /*?filter=
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot-Image
Disallow: /private-images/

Sitemap: https://example.com/sitemap.xml

Распространённые ошибки

Disallow: / в корневом блоке

Случайно блокирует сканирование всего сайта — самая критичная ошибка, которую стоит проверять после каждого релиза.

Путаница с meta robots noindex

Robots.txt запрещает сканирование, но не гарантирует удаление страницы из индекса: если на неё есть внешние ссылки, она может остаться в индексе без описания.

Блокировка CSS/JS-файлов

Мешает Googlebot корректно отрендерить страницу и оценить её мобильное удобство.

Директива Crawl-delay для Google

Googlebot эту директиву не поддерживает, управлять скоростью сканирования следует через настройки Search Console.

Некорректный адрес Sitemap

Относительный путь вместо полного URL или несоответствие протокола (http вместо https).

Как проверить?

В Google Search Console в разделе Settings есть отчёт по robots.txt, который показывает последнюю считанную версию файла и возможные ошибки синтаксиса. Также файл можно открыть напрямую по адресу domain.com/robots.txt и проверить конкретный URL через инструмент проверки URL (URL Inspection) в той же Search Console.