AI bot je automatický robot, ktorý patrí spoločnosti vyvíjajúcej AI a navštevuje webové stránky, aby z nich získal obsah na tréning modelov, na vyhľadávanie alebo na žiadosť používateľa. Je to špeciálny druh crawlera. Každý bot má vlastné označenie user-agent a spravidla sa dá riadiť v súbore robots.txt.
Aké druhy AI botov poznáme?
| Služba | Bot | Účel |
|---|---|---|
| OpenAI | GPTBot | Zber obsahu, ktorý sa môže použiť na tréning modelov. |
| OpenAI | OAI-SearchBot | Vyhľadávanie v ChatGPT. |
| OpenAI | ChatGPT-User | Načítanie stránky na žiadosť používateľa. |
| Anthropic | ClaudeBot | Zber obsahu, ktorý môže pomôcť pri tréningu modelov. |
| Anthropic | Claude-SearchBot | Zlepšovanie relevancie výsledkov vyhľadávania. |
| Anthropic | Claude-User | Načítanie stránky, keď si to otázka používateľa vyžaduje. |
| Perplexity | PerplexityBot | Zobrazovanie webov vo výsledkoch Perplexity, nie tréning modelov. |
| Perplexity | Perplexity-User | Načítanie stránky, keď používateľ potrebuje zdroj. |
Ako AI boty riadime?
Tri skupiny botov riešime samostatne. Boty na tréning, vyhľadávanie a požiadavky používateľa majú rôzny účel, takže ich môžeme povoliť alebo zakázať nezávisle. OpenAI napríklad uvádza, že nastavenia GPTBot a OAI-SearchBot sú nezávislé, takže je možné povoliť vyhľadávanie a zakázať tréning. Boty konajúce na žiadosť používateľa nemusia pravidlá v robots.txt dodržiavať. OpenAI to uvádza pri ChatGPT-User a Perplexity pri Perplexity-User. Anthropic naopak uvádza, že jeho boty robots.txt rešpektujú.
Ako je to s Googlom?
Google používa na AI funkcie rovnaké roboty ako pri Vyhľadávaní. Samostatný pokyn pre tréning a grounding je token Google-Extended.
Prečo prístup AI botov kontrolujeme?
Ak bot nemá prístup, služba nemusí obsah použiť v odpovedi. Prístup môže zablokovať robots.txt, ale aj firewall alebo ochrana servera. V rámci AI SEO auditu preto overujeme obe vrstvy. Zablokovať boty môžeme zámerne, ak nechceme, aby sa obsah používal.
Čo si zapamätať o pojme AI bot?
AI boty rozhodujú o tom, či sa obsah vôbec dostane do AI služieb. Pri AI SEO preto kontrolujeme robots.txt aj firewall a rozlišujeme tréning, vyhľadávanie a požiadavky používateľa.
Ako to rieši webstrankanamieru.sk: Viditeľnosť v AI odpovediach sa buduje systematicky. Súvislosti medzi SEO, GEO, AEO a AI SEO vysvetľuje SEO na mieru a článok SEO, GEO, AEO a AI SEO: aký je rozdiel. Ako si web stojí v AI, môžete zistiť cez kontakt.
Súvisiace pojmy: Crawler, Robots.txt, User-agent, Firewall, Google-Extended, AI SEO audit, AI viditeľnosť, AI agent, Bingbot, ChatGPT, Claude, ClaudeBot, DeepSeek, GPTBot, Chyba 429, llms.txt, Perplexity, PerplexityBot
Často kladené otázky o pojme AI bot
Čo je AI bot?
Aký je rozdiel medzi GPTBot a OAI-SearchBot?
Rešpektujú AI boty robots.txt?
Môžem zakázať tréning a povoliť vyhľadávanie?
Môže AI bota zablokovať aj firewall?
Zdroje
- OpenAI: Overview of OpenAI crawlersBoty OpenAI a ich nastavenie v robots.txt.
- Claude Help Center: Does Anthropic crawl data from the web, and how can site owners block the crawler?Boty Anthropic a ich správanie.
- Perplexity Docs: Perplexity crawlersBoty Perplexity a ich správanie.
- Google Search Central: Google's common crawlersRoboty Google a token Google-Extended.