Індексаційний бюджет (crawl budget) і керування швидкістю індексації

Пошукові системи не сканують веб без обмежень. Для кожного сайту вони виділяють певний обсяг ресурсів, у межах якого виконуються обходи сторінок. Цей обсяг зазвичай називають індексаційним бюджетом або crawl budget.

Розуміння того, як формується індексаційний бюджет і на що він витрачається, має особливе значення для великих сайтів: каталогів, інтернет-магазинів, маркетплейсів і медіаресурсів.

Що таке crawl budget

Crawl budget — це кількість URL, які пошуковий робот може і готовий просканувати на конкретному сайті за певний проміжок часу.

Він складається з двох основних компонентів:

• crawl rate limit — технічне обмеження швидкості обходу;
• crawl demand — потреба пошукової системи в оновленні сторінок сайту.

Crawl rate limit

Це максимальна швидкість, з якою бот може надсилати запити до сервера без шкоди для його стабільності.

На цей параметр впливають:

• швидкість відповіді сервера;
• кількість помилок 5xx;
• наявність таймаутів;
• загальна стабільність хостингу.

Crawl demand

Це зацікавленість пошукової системи в конкретних сторінках.

Вона залежить від:

• популярності URL;
• частоти оновлення контенту;
• унікальності сторінки;
• наявності внутрішніх і зовнішніх посилань.

Коли crawl budget має значення

Для невеликих сайтів із кількома сотнями сторінок питання індексаційного бюджету зазвичай не є критичним.

Проблеми виникають, коли:

• кількість URL перевищує кілька тисяч;
• на сайті багато параметричних сторінок;
• присутня фасетна навігація;
• генерується велика кількість технічних дублів.

На що витрачається індексаційний бюджет

Пошуковий робот не відрізняє важливі сторінки від другорядних, доки не отримає відповідних сигналів.

Часто значна частина бюджету витрачається на:

• URL з параметрами сортування;
• фасетні фільтри;
• пагінацію без індексаційної цінності;
• службові сторінки;
• дублікати з метрик (utm, fbclid тощо).

Ознаки проблем з crawl budget

Типові симптоми:

• важливі сторінки довго не потрапляють в індекс;
• оновлення контенту повільно відображаються у видачі;
• у звітах Google Search Console з’являється велика кількість сторінок Crawled – currently not indexed;
• боти активно сканують технічні URL.

Як керувати індексаційним бюджетом

Обмеження доступу до нецінних URL

Першочергове завдання — зменшити кількість URL, які бот може сканувати без користі.

Для цього використовують:

• robots.txt;
• canonical;
• noindex для службових сторінок;
• очищення внутрішньої перелінковки.

Правильна структура sitemap

XML sitemap повинна містити лише сторінки з реальною індексаційною цінністю.

Не варто включати:

• URL з параметрами;
• пагінацію;
• варіанти сортування;
• тимчасові або технічні сторінки.

Оптимізація швидкості сайту

Повільні сторінки знижують допустиму швидкість обходу.

Навіть без прямого зв’язку з ранжуванням, швидкість відповіді сервера впливає на те, скільки URL бот може обійти за один сеанс.

Стабільні відповіді сервера

Помилки 5xx і нестабільна робота сервера призводять до зменшення crawl rate limit.

Для пошукових систем це сигнал, що сайт не готовий до активного сканування.

Керування швидкістю індексації

Швидкість індексації — це не лише питання кількості сканувань, а й того, які сторінки потрапляють в індекс першими.

На це впливають:

• глибина сторінки у структурі сайту;
• кількість внутрішніх посилань;
• наявність сторінки в sitemap;
• частота оновлення.

Типові помилки

• спроба “прискорити індексацію” без очищення дублів;
• масове додавання нецінних URL у sitemap;
• ігнорування параметрів URL;
• відсутність контролю за фасетною навігацією.

Висновок

Індексаційний бюджет — це обмежений ресурс. Його неможливо збільшити напряму, але можна значно підвищити ефективність використання, прибравши технічний шум і зосередивши увагу пошукових систем на сторінках, які дійсно мають цінність.