Краулинговый бюджет: что это и как его не тратить зря

Из чего состоит краулинговый бюджет?

Google описывает бюджет как сочетание двух факторов: crawl capacity limit и crawl demand. Первый — это потолок, второй — желание сканировать. Реальный объём сканирования определяется меньшим из двух значений.

Crawl capacity limit: сколько сайт выдерживает

Googlebot следит за скоростью ответа сервера. Если ответы быстрые и стабильные, лимит растёт. Если начинаются ошибки 5xx, таймауты или ответы 429, бот замедляется и может снизить частоту визитов на несколько дней. Инструмент Crawl Rate Limiter в Search Console Google убрал в январе 2024 года, поэтому скоростью сканирования теперь управляют преимущественно через стабильность сервера, а в экстренной ситуации — через временную выдачу 503 или 429.

Crawl demand: насколько сайт интересен боту

Спрос зависит от популярности URL (внешние и внутренние ссылки), от того, как часто страницы меняются, и от общей «свежести» сайта. После миграции или массовой смены URL спрос временно растёт, поскольку Google проверяет новые адреса. А вот страницы, которые годами не меняются и не имеют ссылок, сканировались бы редко даже при неограниченной мощности сервера.

Кому нужно оптимизировать краулинговый бюджет?

Большинству сайтов — не нужно. По позиции Google, вопрос становится актуальным для крупных ресурсов: от миллиона уникальных страниц с еженедельным обновлением, от десяти тысяч страниц с ежедневным обновлением, а также для сайтов, у которых Search Console показывает много URL со статусом «Discovered — currently not indexed».

Сайт на 200 страниц или небольшой интернет-магазин на несколько тысяч товаров обычно упирается не в бюджет, а в качество контента, внутреннюю перелинковку или отсутствие сигналов авторитетности. Если новые страницы долго не попадают в индекс, сначала стоит проверить именно эти причины.

На что тратится краулинговый бюджет впустую?

Бюджет сливается там, где сайт генерирует много URL без самостоятельной ценности:

• фасетная навигация и фильтры, создающие тысячи комбинаций параметров;
• идентификаторы сессий и трекинговые параметры в URL;
• дубли страниц (с www и без, со слешем и без, http/https);
• цепочки редиректов и soft 404;
• бесконечные календари, пагинация без ограничений, внутренний поиск, открытый для сканирования;
• устаревшие URL в sitemap.xml, отдающие 404 или редирект.

Отдельный нюанс: код 404 тоже стоит бюджета, потому что боту нужно сделать запрос, чтобы узнать об отсутствии страницы. А noindex бюджет не экономит: страницу всё равно нужно просканировать, чтобы увидеть тег.

Как сэкономить и направить краулинговый бюджет?

Логика простая: убрать лишнее из поля зрения бота и облегчить доступ к важному.

Закрыть служебные URL от сканирования

Директива Disallow в robots.txt убирает параметрические и служебные адреса из сканирования:

User-agent: *
Disallow: /search/
Disallow: /*?sessionid=
Disallow: /*?sort=

Есть оговорка: Google прямо указывает, что закрытие разделов в robots.txt автоматически не перераспределяет бюджет на другие страницы, если сайт не упирается в лимит обслуживания. Поэтому это инструмент для сайтов, где лишних URL действительно много.

Убрать дубли и сломанные цепочки

Дубли консолидируются через canonical или 301-редирект, а цепочки редиректов сокращаются до одного шага. Удалённые страницы без замены лучше отдавать с кодом 410 или 404, а не с 200 и пустым контентом (soft 404).

Держать sitemap.xml чистым

В карте сайта должны быть только канонические URL с кодом 200. Поле lastmod стоит заполнять только тогда, когда контент действительно изменился: Google использует его как сигнал для приоритета сканирования, и ложные даты обесценивают этот сигнал.

Ускорить сервер

Быстрый ответ сервера увеличивает crawl capacity limit без каких-либо настроек в Search Console. Кеш, оптимизация запросов к базе и CDN дают бот-трафику больше «пространства».

Как проверить, куда уходит краулинговый бюджет?

Базовый инструмент — отчёт Crawl Stats в Google Search Console (Settings → Crawl stats). Он показывает количество запросов по дням, распределение по кодам ответа, типам файлов и среднее время ответа сервера.

Для более точной картины нужен анализ серверных логов: только там видно, какие именно URL посещал Googlebot и сколько запросов ушло на параметрические адреса или 404. Если доля таких запросов заметна, это прямой сигнал, что бюджет расходуется неэффективно.