ClaudeBot je robot spoločnosti Anthropic, ktorý zbiera webový obsah, čo môže prispieť k trénovaniu modelov. Anthropic používa aj ďalšie roboty s odlišným účelom. Správanie sa riadi súborom robots.txt.
Aké roboty Anthropic používa?
| Robot | Na čo slúži | Dopad zákazu |
|---|---|---|
| ClaudeBot | Zbiera obsah, ktorý môže prispieť k trénovaniu modelov. | Budúci obsah webu sa vylúči z trénovacích súborov. |
| Claude-User | Navštívi web, keď sa používateľ pýta Claude. | Obsah sa nenačíta pri otázkach používateľov, čo môže znížiť viditeľnosť. |
| Claude-SearchBot | Prechádza web, aby zlepšil kvalitu a relevantnosť vyhľadávania. | Obsah sa neindexuje pre vyhľadávanie, čo môže znížiť viditeľnosť. |
Ako robota zakázať alebo obmedziť?
Pravidlo pridáme do robots.txt v koreňovom adresári a zopakujeme ho pre každú subdoménu. Na zákaz celého webu slúži User-agent ClaudeBot s riadkom Disallow s lomkou. Anthropic podporuje aj nenormovanú direktívu Crawl-delay na obmedzenie rýchlosti prehľadávania.
Prečo neblokovať podľa IP adresy?
Anthropic to neodporúča, pretože blokovanie IP adries nemusí spoľahlivo fungovať a bráni robotom prečítať robots.txt. Zoznam adries uverejňuje, no na zákaz je určený súbor robots.txt. Ak používame firewall, nastavenia treba zosúladiť.
Čo si zapamätať o pojme ClaudeBot?
Pred zákazom zvážte dopad na viditeľnosť v odpovediach AI, pozri AI viditeľnosť. Zákaz Claude-User alebo Claude-SearchBot ju môže znížiť.
Ako to rieši webstrankanamieru.sk: Viditeľnosť v AI odpovediach sa buduje systematicky. Súvislosti medzi SEO, GEO, AEO a AI SEO vysvetľuje SEO na mieru a článok SEO, GEO, AEO a AI SEO: aký je rozdiel. Ako si web stojí v AI, môžete zistiť cez kontakt.
Súvisiace pojmy: AI bot, Robots.txt, Claude, GPTBot, PerplexityBot, Firewall
Často kladené otázky o pojme ClaudeBot
Čo je ClaudeBot?
Aké ďalšie roboty Anthropic má?
Ako ClaudeBot zakázať?
Podporuje Anthropic Crawl-delay?
Mám robota blokovať podľa IP?
Zdroje
- Claude Help Center: Does Anthropic crawl data from the web, and how can site owners block the crawler?Roboty Anthropic, robots.txt, Crawl-delay a blokovanie IP.
- Google Search Central: Introduction to robots.txtÚvod do robots.txt.
- Claude: Claude can now search the webVyhľadávanie na webe v Claude.