Meta robots noindex: что это и как настроить правильно

Как работает meta robots noindex?

Когда Googlebot загружает страницу и видит в её коде директиву noindex, он не добавляет этот адрес в индекс, а если страница уже в индексе, убирает её после следующего сканирования. Это не мгновенно: между появлением тега и исчезновением страницы из выдачи проходит столько времени, сколько нужно боту, чтобы повторно посетить URL.

Два способа указать noindex

Для HTML-страниц директиву добавляют в <head> через мета-тег. Для файлов, у которых нет <head> (PDF, изображения, видео), используют HTTP-заголовок X-Robots-Tag, который сервер отправляет вместе с ответом.

Какие бывают значения

Основное значение — noindex. Его можно комбинировать с другими директивами через запятую: nofollow (не учитывать ссылки на странице), noarchive (не показывать кешированную копию), nosnippet (не показывать описание в выдаче). Значение none равно noindex, nofollow.

Условие, без которого не работает

Поисковик должен иметь возможность просканировать страницу, чтобы прочитать директиву. Если URL закрыт в robots.txt, бот его не загрузит, тег не увидит, и страница может остаться в индексе.

Зачем это нужно?

Noindex убирает из выдачи страницы, которые нужны пользователям, но не должны находиться через поиск: страницы благодарности после заказа, корзина, личный кабинет, внутренний поиск по сайту, страницы фильтров без самостоятельного спроса, тестовые версии сайта.

Директива также помогает держать индекс чистым: поисковик оценивает сайт по совокупности проиндексированных страниц, и слабые служебные URL снижают общее качество этой картины. В отличие от canonical, который лишь подсказывает основную версию, noindex чётко указывает, что страница в индексе не нужна.

Пример использования

<!-- Закрыть страницу от индексации для всех поисковых систем -->
<meta name="robots" content="noindex">

<!-- То же, но только для Google -->
<meta name="googlebot" content="noindex">

<!-- Не индексировать и не учитывать ссылки на странице -->
<meta name="robots" content="noindex, nofollow">

Для PDF и других файлов без <head> директиву передают заголовком:

# Nginx: noindex для всех PDF
location ~* \.pdf$ {
    add_header X-Robots-Tag "noindex" always;
}

# Apache (.htaccess, нужен mod_headers)
<FilesMatch "\.pdf$">
  Header set X-Robots-Tag "noindex"
</FilesMatch>

Распространённые ошибки

Noindex на странице, закрытой в robots.txt

Бот не может загрузить страницу, поэтому не видит директиву. Если нужно убрать URL из индекса, сначала откройте его для сканирования, дождитесь удаления из выдачи и только потом при необходимости закрывайте.

Noindex случайно остался после релиза

Самая дорогая ошибка: во время разработки сайт или раздел закрывают от индексации, а при запуске тег забывают убрать. Трафик падает, а причина кажется неочевидной. После каждого релиза проверяйте код ключевых страниц.

Noindex вместе с canonical на другой URL

Canonical говорит: «основная версия — другая страница», а noindex говорит: «эту страницу в индекс не нужно». Сигналы противоречат друг другу, и поисковик решает сам. Выбирайте что-то одно в зависимости от цели.

Noindex на страницах, которые должны ранжироваться

Массовое добавление директивы через шаблон или SEO-плагин затрагивает категории, пагинацию или нужные разделы. Проверяйте, к каким именно типам страниц применяется правило.

Ожидание, что noindex сохранит краулинговый бюджет

Чтобы прочитать тег, бот должен загрузить страницу, то есть потратить запрос. Если цель — уменьшить нагрузку сканирования, нужны robots.txt, консолидация дублей и чистка внутренних ссылок.

Как проверить?

Откройте в Google Search Console инструмент URL Inspection и введите адрес страницы: если директива работает, статус будет «Excluded by 'noindex' tag». Общую картину даёт отчёт Page indexing: в нём видно, сколько страниц исключено из-за noindex, и этот список стоит сверять со своими ожиданиями.

Без Search Console директиву можно проверить в коде страницы (в DevTools найдите meta name="robots") или командой для заголовка:

curl -sI https://example.com/file.pdf | findstr /i x-robots-tag