Čo je crawl budget? Význam, príklad a použitie

Crawl budget je množina adries, ktoré Google dokáže a zároveň chce na danom webe prehľadať. Skladá sa z kapacity servera a z toho, ako veľmi chce Google web prehľadávať. Riešiť ho potrebujú najmä veľké weby, menším zvyčajne stačí aktuálna sitemapa.

Z čoho sa crawl budget skladá?

Zložka	Čo znamená
Kapacita prehľadávania	Koľko prehľadávania server zvládne bez preťaženia. Rastie so stabilnou a rýchlou odozvou a klesá pri pomalých odpovediach a chybách 5xx a 429.
Dopyt po prehľadávaní	Ako veľmi chce Google web prehľadávať. Ovplyvňuje ho počet známych adries, ich obľúbenosť a to, ako často sa menia.

Dve zložky crawl budgetuZdroj: Google Search Central: Crawl budget management

Pre koho je crawl budget dôležitý?

Google uvádza orientačné odhady, nie presné hranice. Týka sa najmä webov s viac než miliónom stránok s približne týždennými zmenami, webov s viac než 10 000 stránkami, ktoré sa menia denne, a webov s veľkým počtom adries v stave „Zistené, momentálne neindexované“ v Search Console. Menšie weby, ktorých stránky Google prehľadá krátko po zverejnení, ho riešiť nemusia. Pre nich stačí aktuálna sitemapa a kontrola správy o indexovaní.

Ako crawl budget nemrhať?

Zlúčiť duplicitný obsah.
Neponechávať soft 404 a pre trvalo odstránené stránky vracať 404 alebo 410.
Skrátiť reťazce presmerovaní.
Udržiavať aktuálnu sitemapu s údajom lastmod.
Zrýchliť odozvu servera.

Google upozorňuje, že noindex budget neušetrí, pretože stránku musí stále stiahnuť. Neodporúča ani využívať robots.txt na to, aby sa budget presunul na iné stránky.

Čo si zapamätať o pojme crawl budget?

Crawl budget je užitočný pojem najmä pre veľké weby. Pre menšie webové stránky je dôležitejšie, aby boli funkčné odkazy, aktuálna sitemapa a rýchly server. Zbytočné adresy odstraňujeme už v rámci SEO auditu.

Ako to rieši webstrankanamieru.sk: Pojem crawl budget patrí do technickej časti optimalizácie. Postup nájdete v sekcii SEO na mieru, zistenia z praxe v novinkách a ceny v cenníku. Ak chcete skontrolovať svoj web, napíšte nám.

Súvisiace pojmy: Crawling, Googlebot, Reťazec presmerovaní, Soft 404, Sitemap, HTTP stavový kód, Chyba 410, Chyba 429, Chyba 500, Chyba 503, Stavový kód 304, Zistené, momentálne neindexované

Často kladené otázky o pojme crawl budget

Čo je crawl budget?

Je to množina adries, ktoré Google dokáže a chce na webe prehľadať. Závisí od kapacity servera a od záujmu Googlu o obsah webu.

Mám crawl budget riešiť aj na malom webe?

Zvyčajne nie. Google uvádza, že menšie weby, ktorých stránky sa prehľadajú krátko po zverejnení, tento návod nepotrebujú.

Pomôže noindex ušetriť crawl budget?

Nie. Google musí stránku stále stiahnuť, aby tag noindex videl, takže prehľadávanie sa tým neušetrí.

Čo znamená stav „Zistené, momentálne neindexované“?

Google adresu pozná, ale zatiaľ ju neprehľadal alebo neindexoval. Veľký počet takýchto adries môže byť signálom problému s kapacitou alebo kvalitou webu.

Ako zistím, že server obmedzuje prehľadávanie?

Google kapacitu znižuje pri pomalých odpovediach a chybách 5xx a 429. Problémy so serverom ukáže správa Štatistiky prehľadávania v Search Console.

Zdroje

Google Search Central: Crawl budget managementDefinícia, zložky, odhady veľkosti webu a odporúčané postupy.
Google Search Central: How HTTP status codes affect Google's crawlersSprávanie Googlu pri chybách 5xx a 429 a pri trvalo odstránených stránkach.
Google Search Central: Build and submit a sitemapÚdaj lastmod a aktuálna sitemapa.

Všetky pojmy v slovníku