Meta robots noindex: що це і як налаштувати правильно

Як працює meta robots noindex?

Коли Googlebot завантажує сторінку й бачить у її коді директиву noindex, він не додає цю адресу до індексу, а якщо сторінка вже в індексі, прибирає її після наступного сканування. Це не миттєво: між появою тегу й зникненням сторінки з видачі проходить стільки часу, скільки потрібно боту, щоб повторно відвідати URL.

Два способи вказати noindex

Для HTML-сторінок директиву додають у <head> через мета-тег. Для файлів, у яких немає <head> (PDF, зображення, відео), використовують HTTP-заголовок X-Robots-Tag, який сервер надсилає разом із відповіддю.

Які значення бувають

Основне значення — noindex. Його можна комбінувати з іншими директивами через кому: nofollow (не враховувати посилання на сторінці), noarchive (не показувати кешовану копію), nosnippet (не показувати опис у видачі). Значення none дорівнює noindex, nofollow.

Умова, без якої не працює

Пошуковик має мати змогу просканувати сторінку, щоб прочитати директиву. Якщо URL закрито в robots.txt, бот його не завантажить, тег не побачить, і сторінка може залишитися в індексі.

Навіщо це потрібно?

Noindex прибирає з видачі сторінки, які потрібні користувачам, але не повинні знаходитися через пошук: подяки після замовлення, кошик, особистий кабінет, внутрішній пошук по сайту, сторінки фільтрів без самостійного попиту, тестові версії сайту.

Директива також допомагає тримати індекс чистим: пошуковик оцінює сайт за сукупністю проіндексованих сторінок, і слабкі службові URL знижують загальну якість цієї картини. На відміну від canonical, який лише підказує основну версію, noindex чітко вказує, що сторінка в індексі не потрібна.

Приклад використання

<!-- Закрити сторінку від індексації для всіх пошукових систем -->
<meta name="robots" content="noindex">

<!-- Те саме, але тільки для Google -->
<meta name="googlebot" content="noindex">

<!-- Не індексувати й не враховувати посилання на сторінці -->
<meta name="robots" content="noindex, nofollow">

Для PDF та інших файлів без <head> директиву передають заголовком:

# Nginx: noindex для всіх PDF
location ~* \.pdf$ {
    add_header X-Robots-Tag "noindex" always;
}

# Apache (.htaccess, потрібен mod_headers)
<FilesMatch "\.pdf$">
  Header set X-Robots-Tag "noindex"
</FilesMatch>

Поширені помилки

Noindex на сторінці, закритій у robots.txt

Бот не може завантажити сторінку, тому не бачить директиву. Якщо потрібно прибрати URL з індексу, спершу відкрийте його для сканування, дочекайтеся видалення з видачі й лише потім за потреби закривайте.

Noindex випадково лишився після релізу

Найдорожча помилка: під час розробки сайт або розділ закривають від індексації, а при запуску тег забувають прибрати. Трафік падає, а причина здається неочевидною. Після кожного релізу перевіряйте код ключових сторінок.

Noindex разом із canonical на інший URL

Canonical каже: «основна версія — інша сторінка», а noindex каже: «цю сторінку в індекс не потрібно». Сигнали суперечать один одному, і пошуковик вирішує сам. Обирайте щось одне залежно від мети.

Noindex на сторінках, які мають ранжуватися

Масове додавання директиви через шаблон або SEO-плагін зачіпає категорії, пагінацію чи потрібні розділи. Перевіряйте, до яких саме типів сторінок застосовується правило.

Очікування, що noindex збереже краулінговий бюджет

Щоб прочитати тег, бот мусить завантажити сторінку, тобто витратити запит. Якщо мета — зменшити навантаження сканування, потрібні robots.txt, консолідація дублів і чистка внутрішніх посилань.

Як перевірити?

Відкрийте в Google Search Console інструмент URL Inspection і введіть адресу сторінки: якщо директива працює, статус буде «Excluded by 'noindex' tag». Загальну картину дає звіт Page indexing: у ньому видно, скільки сторінок виключено через noindex, і цей список варто звіряти зі своїми очікуваннями.

Без Search Console директиву можна перевірити в коді сторінки (у DevTools знайдіть meta name="robots") або командою для заголовка:

curl -sI https://example.com/file.pdf | findstr /i x-robots-tag