Čo je robots.txt?

← Slovník SEO pojmov

  • Publikované:
  • Aktualizované:
  • #seo #technickeseo

Robots.txt je textový súbor v koreňovom adresári webu, ktorým robotom oznamujeme, ktoré adresy môžu prehľadávať. Slúži hlavne na riadenie návštev robotov a preťaženia servera. Podľa Googlu nie je určený na to, aby stránku udržal mimo vyhľadávača.

Ako robots.txt vyzerá?

Ide o jednoduché pravidlá pre jednotlivých robotov. Príklad je ilustračný.

  • User-agent: * – pravidlá platia pre všetkých robotov.
  • Disallow: /admin/ – robotom nepovoľujeme prehľadávať adresy začínajúce na /admin/.
  • Sitemap: https://www.example.com/sitemap.xml – odkaz na sitemapu.

Súbor sa nachádza v koreňovom adresári domény, napríklad na adrese https://www.example.com/robots.txt. Roboty sa v ňom hlásia ich názvom z hlavičky user-agent.

Čo robots.txt nedokáže?

Najčastejšie nedorozumenie je, že robots.txt skrýva stránky pred vyhľadávačom. Google výslovne uvádza, že nie je mechanizmus na to, aby sa stránka nezobrazila. Zakázanú adresu môže zobraziť, ak na ňu vedú odkazy, aj keď bez popisu. Na vylúčenie z výsledkov slúži noindex alebo ochrana heslom. Súbor navyše nemusia dodržať všetky roboty a rôzne roboty môžu pravidlá čítať rôzne.

Aké riziká má nesprávny robots.txt?

  • Zákaz bráni noindexu. Ak je stránka zakázaná v robots.txt, robot nikdy neuvidí pravidlo noindex v jej kóde.
  • Zablokované zdroje. Skripty a štýly, ktoré robot potrebuje na pochopenie stránky, by sa blokovať nemali.
  • Preklep v pravidle. Omylom zakázaný celý web vie zo dňa na deň zastaviť prehľadávanie.

Čo si zapamätať o pojme robots.txt?

Robots.txt riadi, kam roboty chodia, nie čo sa zobrazí vo výsledkoch. Pred každou zmenou ho dôkladne otestujeme, lebo jedno nesprávne pravidlo vie zablokovať aj dôležité stránky. Kontrola robots.txt patrí k SEO auditu.

Ako to rieši webstrankanamieru.sk: Pojem robots.txt patrí do technickej časti optimalizácie. Postup nájdete v sekcii SEO na mieru, zistenia z praxe v novinkách a ceny v cenníku. Ak chcete skontrolovať svoj web, napíšte nám.

Súvisiace pojmy: Crawler, User-agent, Meta robots, Noindex, Sitemap, .htaccess, AI bot, Bingbot, ClaudeBot, Dynamická URL, Firewall, Google-Extended, Googlebot, GPTBot, Hlavička X-Robots-Tag, llms.txt, PerplexityBot, Prehľadateľnosť, Screaming Frog

Často kladené otázky o pojme robots.txt

Čo je robots.txt?

Je to textový súbor v koreňovom adresári webu, ktorým robotom oznamujeme, ktoré adresy môžu prehľadávať.

Skryje robots.txt stránku z Googlu?

Nie. Google uvádza, že robots.txt nie je mechanizmus na vylúčenie stránky z vyhľadávača. Zakázaná adresa sa môže zobraziť, ak na ňu vedú odkazy. Použite noindex alebo heslo.

Kde sa robots.txt nachádza?

V koreňovom adresári domény, napríklad na adrese www.example.com/robots.txt.

Čo znamená Disallow?

Je to pravidlo, ktorým robotom oznamujeme, že danú cestu nemajú prehľadávať.

Dá sa do robots.txt pridať sitemapa?

Áno. Riadok Sitemap s úplnou adresou je jednou z ciest, ako Googlu oznámiť, kde sitemapa je.

Zdroje

  1. Google Search Central: Introduction to robots.txtČo je robots.txt, jeho účel a obmedzenia.
  2. Google Search Central: Block Search indexing with noindexPrečo stránka v robots.txt nesmie byť, ak má fungovať noindex.
  3. Google Search Central: Build and submit a sitemapOdoslanie sitemapy riadkom v robots.txt.

Všetky pojmy v slovníku