Googlebot je webový robot (crawler) spoločnosti Google, ktorý objavuje a sťahuje stránky pre Vyhľadávanie Google. Existuje v dvoch hlavných podobách, ako smartfónový a ako desktopový. Pri indexovaní sa dnes používa najmä smartfónový, v súlade s mobile-first indexingom.
Aké verzie má Googlebot?
Google uvádza dva hlavné typy, ktoré sa líšia v hlavičke user-agent.
- Googlebot Smartphone. Predstavuje sa ako mobilné zariadenie so systémom Android.
- Googlebot Desktop. Predstavuje sa ako počítač.
V súbore robots.txt sa pre oba používa rovnaký názov Googlebot.
Ako overiť, že ide o skutočný Googlebot?
Samotný user-agent nestačí, pretože ho môže podvrhnúť hocikto. Google odporúča overiť, že IP adresa patrí do jeho zverejnených rozsahov, alebo skontrolovať reverzný DNS záznam. Názov hostiteľa má končiť na googlebot.com.
Ako Googlebota riadime?
- Prístup. V robots.txt mu povolíme alebo zakážeme prehľadávanie častí webu.
- Indexovanie. Pomocou noindexu určíme, čo sa nemá zobrazovať vo výsledkoch.
- Rýchlosť. Pri preťaženom serveri Googlebot sám spomalí, no riešením je stabilný a rýchly server.
Čo si zapamätať o pojme Googlebot?
Googlebot je prvý článok v reťazci, ktorý vedie stránku do výsledkov Googlu. Ak naň web neodpovedá správne, ostatné SEO úpravy nepomôžu. Preto kontrolujeme jeho prístup k webu, ako aj k súborom, ktoré potrebuje na vykreslenie stránky.
Ako to rieši webstrankanamieru.sk: Pojem Googlebot patrí do technickej časti optimalizácie. Postup nájdete v sekcii SEO na mieru, zistenia z praxe v novinkách a ceny v cenníku. Ak chcete skontrolovať svoj web, napíšte nám.
Súvisiace pojmy: Crawler, Crawling, Robots.txt, User-agent, Mobile-first indexing, Bingbot, Cloaking, Crawl budget, Dynamické načítanie obsahu, Favicon, Firewall, Google-Extended, Chyba 401, Chyba 403, JavaScript, JavaScript rendering, Server-side rendering, Vyhľadávač
Často kladené otázky o pojme Googlebot
Čo je Googlebot?
Aké user-agenty Googlebot používa?
Ako zistím, či ide o pravý Googlebot?
Ako zakážem Googlebotovi vstup na časť webu?
Je Google-Extended to isté ako Googlebot?
Zdroje
- Google Search Central: Google's common crawlersTypy Googlebota, user-agenty, overenie a Google-Extended.
- Google Search Central: How Google Search worksAko Googlebot objavuje a spracúva stránky.
- Google Search Central: Mobile-first indexing best practicesGoogle indexuje obsah z mobilnej verzie crawlovanej smartfónovým Googlebotom.