Čo je crawler?

← Slovník SEO pojmov

  • Publikované:
  • Aktualizované:
  • #seo #technickeseo

Crawler je automatický program, ktorý sa pohybuje po webe pomocou odkazov a sťahuje stránky, obrázky či videá. Vyhľadávače ho používajú na objavovanie a čítanie obsahu a poznáme ho aj ako webový robot, bot alebo pavúk. Najznámejším príkladom je Googlebot.

Ako crawler funguje?

Crawler začína na adresách, ktoré už pozná, a sleduje odkazy na ďalšie stránky. Nové adresy objavuje najmä z odkazov na známych stránkach a zo sitemáp. Stiahnutý obsah odovzdá ďalšiemu spracovaniu, v prípade vyhľadávača indexácii. Samotný pohyb po webe a sťahovanie sa označuje ako crawling.

Ako sa crawler identifikuje?

Každý crawler sa pri požiadavke predstavuje názvom v hlavičke user-agent a zvyčajne má aj vlastný názov, ktorý môžeme použiť v súbore robots.txt. Názov však môže niekto podvrhnúť, preto sa pri dôležitých rozhodnutiach overuje aj pôvod požiadavky. Google napríklad na overenie Googlebota odporúča kontrolu IP adresy a reverzného DNS.

Ako môžeme riadiť crawlery na webe?

Základným nástrojom je súbor robots.txt, v ktorom crawlerom oznamujeme, ktoré časti webu majú alebo nemajú navštevovať. Dodržiavanie pravidiel nie je technicky vynútené, preto ich nemusia dodržať všetky crawlery. Okrem vyhľadávačov dnes web navštevujú aj AI boty a každý z nich má vlastný názov.

Čo si zapamätať o pojme crawler?

Crawler je automatický program, ktorý objavuje a sťahuje obsah webu. Ak ho na stránke nepustíme alebo mu stránku nedokážeme poskytnúť, obsah sa nedostane ani do vyhľadávača. Dostupnosť pre rôzne boty preto kontrolujeme už pri základnej technickej analýze.

Ako to rieši webstrankanamieru.sk: Pojem crawler patrí do technickej časti optimalizácie. Postup nájdete v sekcii SEO na mieru, zistenia z praxe v novinkách a ceny v cenníku. Ak chcete skontrolovať svoj web, napíšte nám.

Súvisiace pojmy: Crawling, Googlebot, User-agent, Robots.txt, AI bot, Bingbot, Firewall, Google-Extended, Chyba 429, Screaming Frog, Sitebulb

Často kladené otázky o pojme crawler

Čo je crawler?

Je to automatický program, ktorý prechádza web po odkazoch a sťahuje stránky. Používajú ho vyhľadávače aj ďalšie služby.

Aký je rozdiel medzi crawlerom a Googlebotom?

Crawler je všeobecný pojem pre takýto program. Googlebot je konkrétny crawler spoločnosti Google.

Je crawler to isté ako bot?

Crawler je druh bota, ktorý prechádza web a sťahuje stránky. Pojem bot je širší a zahŕňa aj iné automatizované programy.

Ako crawlerom zakážem vstup na stránku?

V súbore robots.txt môžeme oznámiť, ktoré časti webu nemajú navštevovať. Pravidlá však nemusia dodržať všetky crawlery. Pre dôverné stránky preto používame prihlásenie.

Prečo crawler niektoré stránky nenavštívi?

Stránky môžu byť blokované v robots.txt, dostupné len po prihlásení alebo na ne nevedie žiaden odkaz. Crawler nenavštívi ani všetko, čo objaví, a rozhoduje sa podľa vlastných algoritmov.

Zdroje

  1. Google Search Central: How Google Search worksAko crawlery objavujú adresy a ktoré stránky preskakujú.
  2. Google Search Central: Google's common crawlersZoznam bežných crawlerov Googlu a overenie Googlebota.
  3. Google Search Central: Introduction to robots.txtČo robots.txt dokáže a čo nie.

Všetky pojmy v slovníku