Čo je crawling?

← Slovník SEO pojmov

  • Publikované:
  • Aktualizované:
  • #seo #technickeseo

Crawling je proces, pri ktorom vyhľadávač objavuje stránky a sťahuje ich text, obrázky a videá. Je prvou z troch fáz fungovania Vyhľadávania Google, po ktorej nasleduje indexácia a zobrazovanie výsledkov. Robí ho crawler, ktorý sleduje odkazy z už známych stránok.

Kde je crawling v procese vyhľadávania?

Google popisuje fungovanie Vyhľadávania v troch fázach. Nie každá stránka prejde všetkými.

1Crawling

Google stiahne text, obrázky a videá zo stránok, ktoré objavil.

2Indexácia

Google obsah analyzuje a uloží do indexu, veľkej databázy.

3Zobrazovanie výsledkov

Po zadaní dopytu Google vráti relevantné výsledky z indexu.

Tri fázy fungovania Vyhľadávania GoogleZdroj: Google Search Central: How Google Search works

Ako vyhľadávač objavuje stránky?

Najviac adries objaví automaticky z odkazov na už známych stránkach, napríklad z kategórií alebo zo zoznamov. Majiteľ webu mu môže pomôcť odoslaním sitemapy. Aj preto je dôležité interné prepojenie. Stránka, na ktorú nevedie žiaden odkaz, sa objavuje ťažšie.

Čo crawling brzdí alebo blokuje?

  • Zákaz v súbore robots.txt, takéto stránky Google nepreberá.
  • Stránky dostupné až po prihlásení.
  • Pomalý server alebo server s chybami 5xx, pri ktorých Google crawling spomalí.
  • Odkazy bez atribútu href, ktoré crawler nevie nasledovať.

Prípadné rozpočtové obmedzenia popisuje pojem crawl budget.

Čo si zapamätať o pojme crawling?

Crawling je predpoklad toho, aby sa stránka dostala do vyhľadávača. Ak ju robot nenájde alebo nemôže stiahnuť, nemôže sa ani indexovať. Prístupnosť webu pre roboty preto patrí k základu technického SEO.

Ako to rieši webstrankanamieru.sk: Pojem crawling patrí do technickej časti optimalizácie. Postup nájdete v sekcii SEO na mieru, zistenia z praxe v novinkách a ceny v cenníku. Ak chcete skontrolovať svoj web, napíšte nám.

Súvisiace pojmy: Crawler, Googlebot, Crawl budget, Indexácia, Prehľadateľnosť, Bingbot, Chyba 401, Index, JavaScript rendering, Orphan page, Screaming Frog, Vyhľadávač

Často kladené otázky o pojme crawling

Čo je crawling?

Je to proces, pri ktorom vyhľadávač objavuje stránky a sťahuje ich obsah. Robí ho crawler, ktorý sleduje odkazy.

Aký je rozdiel medzi crawlingom a indexáciou?

Pri crawlingu sa stránka objaví a stiahne. Pri indexácii sa jej obsah analyzuje a uloží do indexu vyhľadávača.

Znamená prehľadanie stránky, že sa zobrazí vo výsledkoch?

Nie. Google výslovne uvádza, že stránka nemusí byť indexovaná ani zobrazená vo výsledkoch, hoci spĺňa základné požiadavky.

Ako často Google stránku prehľadáva?

Frekvenciu určujú algoritmy Googlu. Rozhodujú o tom, ktoré weby, ako často a koľko stránok sa prehľadá. Pri problémoch servera sa prehľadávanie spomaľuje.

Ako crawling zlepším?

Zabezpečíme funkčné odkazy, sitemapu, rýchly a stabilný server a nezakážeme dôležité stránky v robots.txt.

Zdroje

  1. Google Search Central: How Google Search worksTri fázy Vyhľadávania Google a objavovanie stránok.
  2. Google Search Central: Crawl budget managementČo ovplyvňuje, koľko stránok Google prehľadá.
  3. Google Search Central: Link best practices for GoogleOdkazy, ktoré dokáže Google prehľadať.

Všetky pojmy v slovníku