Čo je Googlebot?

← Slovník SEO pojmov

Googlebot je webový robot (crawler) spoločnosti Google, ktorý objavuje a sťahuje stránky pre Vyhľadávanie Google. Existuje v dvoch hlavných podobách, ako smartfónový a ako desktopový. Pri indexovaní sa dnes používa najmä smartfónový, v súlade s mobile-first indexingom.

Aké verzie má Googlebot?

Google uvádza dva hlavné typy, ktoré sa líšia v hlavičke user-agent.

  • Googlebot Smartphone. Predstavuje sa ako mobilné zariadenie so systémom Android.
  • Googlebot Desktop. Predstavuje sa ako počítač.

V súbore robots.txt sa pre oba používa rovnaký názov Googlebot.

Ako overiť, že ide o skutočný Googlebot?

Samotný user-agent nestačí, pretože ho môže podvrhnúť hocikto. Google odporúča overiť, že IP adresa patrí do jeho zverejnených rozsahov, alebo skontrolovať reverzný DNS záznam. Názov hostiteľa má končiť na googlebot.com.

Ako Googlebota riadime?

  • Prístup. V robots.txt mu povolíme alebo zakážeme prehľadávanie častí webu.
  • Indexovanie. Pomocou noindexu určíme, čo sa nemá zobrazovať vo výsledkoch.
  • Rýchlosť. Pri preťaženom serveri Googlebot sám spomalí, no riešením je stabilný a rýchly server.

Čo si zapamätať o pojme Googlebot?

Googlebot je prvý článok v reťazci, ktorý vedie stránku do výsledkov Googlu. Ak naň web neodpovedá správne, ostatné SEO úpravy nepomôžu. Preto kontrolujeme jeho prístup k webu, ako aj k súborom, ktoré potrebuje na vykreslenie stránky.

Ako to rieši webstrankanamieru.sk: Pojem Googlebot patrí do technickej časti optimalizácie. Postup nájdete v sekcii SEO na mieru, zistenia z praxe v novinkách a ceny v cenníku. Ak chcete skontrolovať svoj web, napíšte nám.

Súvisiace pojmy: Crawler, Crawling, Robots.txt, User-agent, Mobile-first indexing, Bingbot, Cloaking, Crawl budget, Dynamické načítanie obsahu, Favicon, Firewall, Google-Extended, Chyba 401, Chyba 403, JavaScript, JavaScript rendering, Server-side rendering, Vyhľadávač

Často kladené otázky o pojme Googlebot

Čo je Googlebot?

Je to webový robot spoločnosti Google, ktorý objavuje a sťahuje stránky pre Vyhľadávanie Google.

Aké user-agenty Googlebot používa?

Dva hlavné, jeden pre smartfón a jeden pre desktop. Oba obsahujú reťazec Googlebot/2.1.

Ako zistím, či ide o pravý Googlebot?

Skontrolujeme, či IP adresa patrí do zverejnených rozsahov Googlu, alebo overíme reverzný DNS, ktorý má viesť na googlebot.com.

Ako zakážem Googlebotovi vstup na časť webu?

V súbore robots.txt pre user-agent Googlebot uvedieme pravidlo Disallow. Zákaz prehľadávania však neznamená zákaz indexovania, na to slúži noindex.

Je Google-Extended to isté ako Googlebot?

Nie. Google-Extended nemá vlastný user-agent a v robots.txt slúži len na riadenie použitia obsahu pre modely Gemini. Podľa Googlu neovplyvňuje zaradenie do Vyhľadávania ani poradie.

Zdroje

  1. Google Search Central: Google's common crawlersTypy Googlebota, user-agenty, overenie a Google-Extended.
  2. Google Search Central: How Google Search worksAko Googlebot objavuje a spracúva stránky.
  3. Google Search Central: Mobile-first indexing best practicesGoogle indexuje obsah z mobilnej verzie crawlovanej smartfónovým Googlebotom.

Všetky pojmy v slovníku