LLM benchmark je štandardizovaný test, v ktorom jazykové modely riešia rovnakú sadu úloh a ich výsledky sa porovnávajú podľa jednotnej metriky, napríklad presnosti alebo miery halucinácie. Pri halucináciách rozhoduje o tom, ktorý model pôsobí spoľahlivejšie, a preto je dôležité vedieť, čo konkrétny benchmark meria a ako počíta odmietnuté odpovede.
Ako funguje LLM benchmark?
Benchmark obsahuje sadu otázok alebo úloh, pravidlá hodnotenia a metriku. Každý model dostane rovnaké úlohy a jeho odpovede sa ohodnotia, napríklad ako správne, nesprávne alebo odmietnuté. Výsledkom je skóre, ktoré sa dá porovnať s inými modelmi.
Časť úloh býva verejná a časť súkromná. Artificial Analysis pri prvej verzii testu AA-Omniscience zverejnil 10 % otázok a zvyšok ponechal súkromný, FACTS od Google DeepMind má verejnú aj súkromnú sadu. Súkromná časť umožňuje overiť výsledky na otázkach, ktoré nie sú verejne dostupné.
Aké benchmarky sa používajú pri halucináciách?
Každý benchmark meria inú podobu halucinácie. Jedny testujú fakty z pamäte modelu, iné to, či model verne zhrnie dodaný text, a ďalšie, či vie použiť vyhľadávanie.
| Benchmark | Čo meria | Kde sa uvádza |
|---|---|---|
| SimpleQA | Faktické otázky z pamäte modelu bez nástrojov | Systémová karta GPT-5 (OpenAI) |
| AA-Omniscience | Faktické znalosti. Správna odpoveď sa odmeňuje, nesprávna trestá a odmietnutie nemá trest | Artificial Analysis |
| FACTS | Faktickosť: pamäť, vyhľadávanie, obrázky a ukotvenie v texte | Google DeepMind |
| Vectara HHEM | Vernosť zhrnutia zdrojovému textu | Vectara |
Konkrétne čísla z týchto testov a ich porovnanie uvádzame v článku Čo je halucinácia v AI a prečo halucinuje aj umelá inteligencia?.
Prečo môžu výsledky benchmarku zavádzať?
Číslo z benchmarku nie je celková spoľahlivosť modelu. Zavádzať môže z troch dôvodov.
- Binárne hodnotenie. Kalai a kol. preskúmali desať populárnych testov a väčšina z nich hodnotí odpoveď len ako správnu alebo nesprávnu, bez bodov za priznanú neistotu. Tipovanie sa tak oplatí viac než odpoveď „neviem“.
- Metrika. V AA-Omniscience je miera halucinácie podiel nepravdivých odpovedí zo všetkých nesprávnych pokusov. Model, ktorý častejšie odmieta, môže mať nižšiu halucináciu aj pri nižšej presnosti.
- Verzia testu. AA-Omniscience mal v prvej verzii 6 000 otázok, verzia 1.1 má 3 000. Vectara rozšírila svoj test z 955 na viac než 7 700 článkov, pretože sa modely na pôvodnom zhlukovali, a nový test dáva všeobecne vyššie čísla.
Príkladom je test SimpleQA zo systémovej karty GPT-5. Model o4-mini mal presnosť 24 % a gpt-5-thinking-mini 22 %, no chybovosť bola 75 % a 26 %, lebo o4-mini odmietol odpovedať len v 1 % prípadov, zatiaľ čo gpt-5-thinking-mini v 52 %.
Ako čítať výsledky benchmarkov?
Pri každom čísle si overíme štyri veci: čo test meria (pamäť, zdroj alebo vyhľadávanie), akú metriku používa, ako počíta odmietnuté odpovede a ktorá verzia testu a z akého dátumu sa uvádza. Až potom má zmysel porovnávať modely.
Čísla z rôznych benchmarkov alebo rôznych verzií toho istého benchmarku sa navzájom nepočítajú ani nepriemerujú. Hodia sa na porovnanie modelov v rámci jedného testu a jeho jednej verzie.
Čo si zapamätať o pojme LLM benchmark?
LLM benchmark je merací nástroj so svojimi pravidlami. Číslo z jedného benchmarku nehovorí o celkovej spoľahlivosti modelu, preto pred porovnaním zisťujeme, čo test meria, akú má verziu a ako počíta odmietnuté odpovede.
Ako to rieši webstrankanamieru.sk: Výsledky benchmarkov pri halucináciách s ich dátumom a metódou rozoberáme v článku Čo je halucinácia v AI a prečo halucinuje aj umelá inteligencia?. Ďalšie články nájdete v novinkách a konzultáciu k vášmu webu cez kontakt.
Súvisiace pojmy: LLM, Halucinácia AI, Grounding, RAG, Prompt, Generatívna AI
Často kladené otázky o pojme LLM benchmark
Čo je LLM benchmark?
Ktoré benchmarky merajú halucinácie?
Prečo model s najvyššou presnosťou nemusí mať najnižšiu mieru halucinácie?
Môžeme porovnávať čísla z rôznych benchmarkov?
Dá sa výsledkom benchmarkov veriť?
Zdroje
- OpenAI: Why language models hallucinateTabuľka SimpleQA zo systémovej karty GPT-5 a návrh zmeny hodnotenia.
- Kalai, Nachum, Vempala, Zhang: Why Language Models Hallucinate (arXiv:2509.04664)Rozbor desiatich benchmarkov s binárnym hodnotením.
- Artificial Analysis: AA-OmnisciencePopis testu, metriky a aktuálne výsledky verzie 1.1.
- The Decoder: Gemini 3 Pro tops new AI reliability benchmarkPopis prvej verzie AA-Omniscience: 6 000 otázok, definícia miery halucinácie, 10 % verejných otázok.
- Google DeepMind: FACTS Benchmark SuiteŠtyri testy faktickosti s verejnou a súkromnou sadou.
- Vectara: Introducing the next generation of Vectara’s Hallucination LeaderboardZmena z 955 na viac než 7 700 článkov a dôvody zmeny testu.