Crawl budget: що це і коли він справді важливий

Із чого складається краулінговий бюджет?

Google описує бюджет як поєднання двох факторів: crawl capacity limit і crawl demand. Перший — це стеля, другий — бажання сканувати. Реальний обсяг сканування визначається меншим із двох значень.

Crawl capacity limit: скільки сайт витримує

Googlebot слідкує за швидкістю відповіді сервера. Якщо відповіді швидкі й стабільні, ліміт зростає. Якщо починаються помилки 5xx, таймаути або відповіді 429, бот сповільнюється і може зменшити частоту візитів на кілька днів. Інструмент Crawl Rate Limiter у Search Console Google прибрав у січні 2024 року, тому швидкістю сканування тепер керують переважно через стабільність сервера, а в екстреній ситуації — через тимчасову видачу 503 або 429.

Crawl demand: наскільки сайт цікавий боту

Попит залежить від популярності URL (зовнішні й внутрішні посилання), від того, як часто сторінки змінюються, і від загальної «свіжості» сайту. Після міграції чи масової зміни URL попит тимчасово зростає, бо Google перевіряє нові адреси. А ось сторінки, які роками не змінюються й не мають посилань, сканувалися б рідко навіть за необмеженої потужності сервера.

Кому потрібно оптимізувати crawl budget?

Більшості сайтів — не потрібно. За позицією Google, питання стає актуальним для великих ресурсів: від мільйона унікальних сторінок із тижневим оновленням, від десяти тисяч сторінок із щоденним оновленням, а також для сайтів, у яких Search Console показує багато URL зі статусом «Discovered — currently not indexed».

Сайт на 200 сторінок або невеликий інтернет-магазин на кілька тисяч товарів зазвичай упирається не в бюджет, а в якість контенту, внутрішню перелінковку чи відсутність сигналів авторитету. Якщо нові сторінки довго не потрапляють в індекс, спершу варто перевірити саме ці причини.

На що марнується краулінговий бюджет?

Бюджет зливається там, де сайт генерує багато URL без самостійної цінності:

• фасетна навігація і фільтри, що створюють тисячі комбінацій параметрів;
• ідентифікатори сесій і трекінгові параметри в URL;
• дублі сторінок (з www і без, зі слешем і без, http/https);
• ланцюжки редиректів і soft 404;
• нескінченні календарі, пагінація без обмежень, внутрішній пошук, відкритий для сканування;
• застарілі URL у sitemap.xml, що віддають 404 або редирект.

Окремий нюанс: код 404 теж коштує бюджету, бо бот мусить зробити запит, щоб дізнатися про відсутність сторінки. А noindex бюджет не економить: сторінку все одно потрібно просканувати, щоб побачити тег.

Як зекономити та спрямувати краулінговий бюджет?

Логіка проста: прибрати зайве з поля зору бота і полегшити доступ до важливого.

Закрити службові URL від сканування

Директива Disallow у robots.txt прибирає параметричні й службові адреси зі сканування:

User-agent: *
Disallow: /search/
Disallow: /*?sessionid=
Disallow: /*?sort=

Є застереження: Google прямо зазначає, що закриття розділів у robots.txt автоматично не перерозподіляє бюджет на інші сторінки, якщо сайт не впирається в ліміт обслуговування. Тому це інструмент для сайтів, де зайвих URL справді багато.

Прибрати дублі та зламані ланцюжки

Дублі консолідуються через canonical або 301 redirect, а ланцюжки редиректів скорочуються до одного кроку. Видалені сторінки без заміни краще віддавати з кодом 410 або 404, а не з 200 і порожнім контентом (soft 404).

Тримати sitemap.xml чистим

У карті сайту мають бути лише канонічні URL із кодом 200. Поле lastmod варто заповнювати лише тоді, коли контент справді змінився: Google використовує його як сигнал для пріоритету сканування, і хибні дати знецінюють цей сигнал.

Прискорити сервер

Швидка відповідь сервера збільшує crawl capacity limit без жодних налаштувань у Search Console. Кеш, оптимізація запитів до бази й CDN дають бот-трафіку більше «простору».

Як перевірити, куди йде краулінговий бюджет?

Базовий інструмент — звіт Crawl Stats у Google Search Console (Settings → Crawl stats). Він показує кількість запитів по днях, розподіл за кодами відповіді, типами файлів і середній час відповіді сервера.

Для точнішої картини потрібен аналіз серверних логів: тільки там видно, які саме URL відвідував Googlebot і скільки запитів пішло на параметричні адреси чи 404. Якщо частка таких запитів помітна, це прямий сигнал, що бюджет витрачається неефективно.