GPT-5 a Gemini-3 znají 98 % faktů, ale třetinu si nevybaví. Přemýšlení navíc vrátí až 65 % odpovědí

Halucinace často není chybějící znalost, ale ztracený klíč

Když AI „halucinuje“, tedy vyrobí nepravdivou odpověď, obvykle za tím hledáme chybějící data. Tým kolem výzkumníka Nitaye Calderona z Google Research se rozhodl tenhle předpoklad ověřit. Vytvořili benchmark WikiProfile s 2 150 fakty z Wikipedie a nechali 13 modelů vygenerovat přes 4 miliony odpovědí. Výsledek je v mnoha ohledech překvapivý: u špičkových modelů znalosti prakticky nechybí, chybuje spíš přístup k nim. Klíčové je rozlišení, které autoři studie „Empty Shelves or Lost Keys“ (Prázdné regály, nebo ztracené klíče) zavádějí. Fakt je zakódovaný (encoded), když ho model dokáže zreprodukovat, pokud mu napovíte původní kontext z tréninku. Fakt model skutečně zná (known), teprve když na něj dokáže spolehlivě odpovědět z různých formulací a směrů otázky. Rozdíl je zásadní. „Chyby zakódování a chyby vybavování jsou pod běžnými metrikami přesnosti nerozlišitelné, přitom znamenají úplně jiné omezení a jiné řešení,“ píšou autoři. Zakódování selhává, když fakt v tréninku chybí — pak pomůže větší model nebo víc dat. Vybavování selhává, i když fakt model má uložený, jen ho nedokáže vytáhnout na povrch.

Pět stavů, ve kterých se fakt může nacházet

Studie ilustruje celou věc na jednoduchém příkladu: kapela Oasis odehrála svůj první koncert v klubu Boardwalk. Podle toho, jak se model k téhle informaci chová, autoři dělí znalost do pěti kategorií. Přímé vybavení — model fakt zná a okamžitě ho odpoví, bez dodatečného výpočtu. Ideální stav. Prázdný regál — model fakt nemá zakódovaný ani ho nezná. Nedokončí větu o raných letech Oasis, ani neodpoví na otázku. Tady je na místě víc tréninkových dat. Ztracený klíč — fakt je zakódovaný, ale model se k němu nedostane. Bez problémů dokončí původní text z tréninku, ale na otázku „kde Oasis odehráli první koncert“ neodpoví, ani když dostane čas. Vybavení s přemýšlením — fakt je zakódovaný, ale k odpovědi se model dostane až skrze takzvaný chain-of-thought, tedy řetězec mezikroků. Nejdřív selže na přímou otázku, ale když si vygeneruje související myšlenky o Manchesteru a tamní klubové scéně 90. let, „odemkne“ si uloženou odpověď. Odvození bez zakódování — model fakt nikdy neuložil, ale správně ho odvodí z jiných znalostí, které má. Například z faktu, že Oasis vznikli v Manchesteru a Boardwalk byl známý místní klub.

Větší model problém nevyřeší

Tady přichází možná nejdůležitější praktické zjištění. Když model odpoví špatně, standardní firemní reflex je „vezmeme větší model, případně dotrénujeme vlastní“. Studie ukazuje, že to je drahá slepá ulička — pokud je fakt už zakódovaný, ani jedna z cest nepomůže. Autoři to demonstrují na modelu Gemma 3. Když ho zvětšili z 1 miliardy na 27 miliard parametrů, podíl „prázdných regálů“ klesl z 85 % na 23 %. Jenže zároveň vzrostl podíl selhání vybavování — bez přemýšlení dosáhl vrcholu kolem 40 %. Zvětšování modelu tedy primárně plní regály, ale neřeší přístup ke znalostem. Čím víc faktů si model zapamatuje, tím větší část z nich uvízne ve stavu „zakódované, ale nedostupné“. Podobně si modely hůř vedou u obrácených otázek. Snadno odpoví, že Oasis hráli první koncert v Boardwalku, ale na otázku „kdo odehrál první koncert v tomhle klubu“ už zaváhají. Přitom když jim stejnou otázku položíte jako výběr z více možností, správnou odpověď poznají. A u vzácných faktů je mezera ve vybavování oproti oblíbeným faktům větší než 25 %, i když jsou obě skupiny zakódované stejně dobře.

Co to znamená, když stavíte AI aplikaci

Pro firmy, které nestaví vlastní modely, je tahle zpráva vlastně povzbudivá. „Předtrénování je enormně drahé a pro většinu firem nedosažitelné. Ale páky, na kterých teď záleží, dostupné jsou: post-trénink jde dělat s málo daty a inference-time nástroje, jako je přemýšlení, ověřování nebo retrieval, už většina týmů stejně používá,“ říká Calderon. Konkrétně to mění tři věci. Zaprvé, neřešte každý omyl nasazením RAG (retrieval-augmented generation). Vyhledávání v externích dokumentech je správná volba pro čerstvá nebo interní data, ale pokud ho použijete plošně na všechny halucinace, platíte latenci a náklady za fakta, která už model má uložená v paměti. „Spoustu toho, co týmy řeší RAGem, jsou fakta, která model umí zodpovědět z paměti. Platíte extra latenci a cenu za volání za nic,“ upozorňuje Calderon. Zadruhé, přemýšlení zapínejte selektivně. Přemýšlení obnovilo 40–65 % zakódovaných faktů, které model nejdřív nevybavil. Jenže jen 10–20 % faktů přemýšlení skutečně potřebuje — zapínat ho globálně znamená pálit výpočetní rozpočet zbytečně. Problém je, že modely dnes neumějí spolehlivě poznat, kdy se chystají selhat. Právě proto Google vyvíjí frameworky jako „faithful uncertainty“, které by modelu umožnily odhadnout vlastní nejistotu a spustit hlubší uvažování místo halucinace. Zatřetí, zkuste generuj-a-ověřuj. Model snáz pozná správnou odpověď, než ji vygeneruje od nuly. Ověřovací průchod nad vlastním výstupem dokáže chytit chyby, které přímé generování přehlédne.

Kolik to stojí a kde si to ověříte

Plné zmapování jednoho špičkového modelu na benchmarku WikiProfile vyjde zhruba na 500 dolarů, tedy v přepočtu kolem 11–12 tisíc korun. Cenu jde výrazně srazit vynecháním variant s výběrem odpovědí nebo menším počtem vzorků na otázku. Benchmark včetně všech použitých promptů je volně ke stažení na Hugging Face. Pro české týmy je důležité jedno upozornění: výzkum probíhal na encyklopedických faktech z Wikipedie. U interních, specializovaných firemních dat se chování může lišit — konkrétní firemní čísla v modelu opravdu nemusí být zakódovaná. „Na Wikipedii to byl hlavně problém vybavování. U doménově specifických faktů je klidně možné, že v modelu opravdu nejsou,“ shrnuje Calderon. Pipeline z benchmarku si ale tým může replikovat na vlastních datech a přesně zjistit, jestli jeho agent trpí chybějícími daty, nebo ztracenými klíči.