StateBench ukazuje, proč AI při dlouhém čtení ztrácí přehled

Dlouhý dokument není totéž co pochopený dokument

Výrobci jazykových modelů dnes běžně uvádějí rozsáhlá kontextová okna. Do jednoho zadání se vejde dlouhá smlouva, celý projektový archiv nebo tisíce řádků kódu. To však řeší pouze otázku, kolik textu model přijme. Neříká to, jestli si dokáže správně vést přehled o informacích, které se v textu postupně mění.

Právě na tuto schopnost se zaměřuje StateBench, benchmark zveřejněný Allen Institute for AI 3. listopadu 2026. Výzkumníci z Allen Institute for AI v něm testují sledování stavu v dlouhých sekvencích. Stav může znamenat hodnotu proměnné v programu, polohu předmětu v příběhu nebo třeba aktuální vlastníky několika objektů.

Pro běžného čtenáře se dá princip vysvětlit jednoduše. Pokud dokument říká, že Petr má klíče, později je předá Janě a ještě později je Jana vymění za jiný předmět, model musí zjistit, co se s klíči stalo na konci. Jedna přehlédnutá změna stačí k nesprávné odpovědi.

Čtyři úrovně sledování změn

StateBench nevytváří pouze jeden typ úlohy. Výzkumníci vycházejí z jednotné kostry přiřazení a její pomocí připravují čtyři varianty se stejným počtem proměnných a podobným rozmístěním operací. Liší se tím, jak složité změny musí model sledovat.

Neměnné a přepisované hodnoty

Nejjednodušší úroveň r-trivial pracuje s neměnným přiřazením. Proměnná dostane hodnotu a ta se dál nemění. Model musí najít původní informaci. Přirovnání z běžného života je datum narození. V textu může být zmíněno několikrát, ale jeho hodnota zůstává stejná.

Úroveň aperiodic dovoluje přepisování hodnot. Proměnná nejprve dostane číslo 4, později číslo 2. Správná odpověď je poslední přiřazená hodnota. Podobně funguje nastavení termostatu nebo stav vypínače. Starší informace už není relevantní.

Výpočty a odkazy mezi proměnnými

U úrovně soluble se nová hodnota odvozuje od předchozí. Typickou operací je x = x + 5. Modelu nestačí pouze najít poslední řádek. Musí průběžně udržovat výsledek, stejně jako při počítání skóre během zápasu.

Nejtěžší úroveň general finite přidává přiřazení podle reference. Proměnná může převzít aktuální hodnotu jiné proměnné. Někdy se hodnoty prohodí, jindy se několik odkazů řetězí. V praxi to připomíná několik krabiček, mezi nimiž se opakovaně přesouvá jeden předmět. Kdo si nepamatuje každý přesun, na konci neví, kde předmět skončil.

Rozdělení vychází z algebraické teorie známé jako Krohnova–Rhodesova teorie. Pro běžné používání AI není nutné znát její podrobnosti. Důležité je, že StateBench nerozlišuje jen „umí“ a „neumí“. Ukazuje, na jakém typu změn se model začne rozpadat.

Nejnovější modely ztrácejí přesnost u dlouhých řetězců

Autoři otestovali také několik současných frontier modelů, mezi nimi Gemini 3.8 Flash, Claude Opus 5.5 a GPT-6 Sol a Luna. U jednoduchých neměnných a přepisovaných hodnot si vedly dobře. Přesnost však výrazně klesala u úloh, ve kterých se hodnoty skládaly přes více kroků.

Na nejdelších sekvencích dosahovaly testované modely u úrovně general finite nejvýše 13procentní úspěšnosti. To není běžný test znalostí nebo schopnosti napsat text. Model dostane přesně definovaný sled operací a má určit konečný stav proměnných. Výsledek proto ukazuje konkrétní problém se sledováním závislostí, ne obecné hodnocení kvality modelu.

Testovací sekvence obsahují až 64 000 po sobě jdoucích přiřazení a úkolem modelů bylo vygenerovat konečnou hodnotu každé proměnné. S rostoucí délkou se zvyšuje počet kroků, které mohou ovlivnit výsledek. Model pak nemůže spoléhat pouze na poslední výskyt slova nebo hodnoty.

Velké kontextové okno problém neřeší

StateBench tím doplňuje běžné testy dlouhého kontextu. Ty často ověřují, zda model dokáže najít určitou informaci ukrytou v rozsáhlém textu. Taková úloha se podobá hledání věty v dlouhém dokumentu. StateBench jde dál. Model musí sledovat, jak se informace mění, a průběžně aktualizovat svůj vnitřní stav.

To je rozdíl mezi vyhledáním poslední věty „Petr má klíče“ a pochopením celé historie, v níž Petr klíče několikrát předal, získal zpět a následně vyměnil za jiný předmět.

Výsledek je důležitý také pro práci s kódem. Program obsahuje proměnné, funkce, reference a opakované změny. Jazykový model může správně vysvětlit jednotlivý řádek, ale při sledování dlouhého řetězce změn může dojít k chybnému závěru. Podobný problém se týká smluv, účetních záznamů nebo dlouhých pracovních konverzací, pokud se v nich mění lidé, termíny a odpovědnosti.

Rekurentní a hybridní modely mají jiný výsledek

StateBench porovnává také různé architektury. Vedle klasických Transformerů se zaměřuje na hybridní modely a architekturu Gated DeltaNet. Ta pracuje s průběžně aktualizovanou pamětí, která se přenáší dál spolu se zpracováním sekvence.

Výzkumníci natrénovali od nuly několik modelů s 275 miliony parametrů. Trénink probíhal na sekvencích dlouhých nejvýše 256 přiřazení, ale testovací sekvence měly až 64 000 přiřazení. To odpovídá zhruba 250násobku nejdelší sekvence použité při tréninku.

Hybridní modely a Gated DeltaNet zvládaly tři snazší úrovně téměř s přesností blížící se 100 procentům i na nejdelších testovaných sekvencích. Transformerové varianty se u delších vstupů zhoršovaly a nejtěžší úroveň se jim nepodařilo naučit ani při přímém tréninku.

U nejtěžší úrovně si varianta Gated DeltaNet s volnější aktualizací paměti udržela téměř perfektní výsledek přibližně do desetinásobku nejdelší trénovací sekvence. Autoři tím neříkají, že tento typ architektury vyřešil sledování stavu obecně. Výsledky se vztahují ke konkrétním úlohám, délce sekvencí a použitému nastavení.

Co benchmark zatím nepokrývá

StateBench má několik omezení. Test předpokládá pevný počet proměnných. V běžné konverzaci však mohou postupně přibývat noví lidé, dokumenty a předměty. Model musí nejprve zjistit, že nová entita existuje, a potom ji začít sledovat.

Benchmark také neříká, jak si model poradí s každou dlouhou knihou, právním spisem nebo programátorským projektem. Výsledek je přesnější interpretovat jako měření jedné schopnosti – sledování měnícího se stavu v přesně připravených úlohách.

Dataset, kód a podklady jsou dostupné veřejně přes dataset StateBench a repozitář na GitHubu. Dataset je v angličtině a nejde o placenou službu ani spotřebitelský nástroj. Pro českého uživatele proto není důležitá lokalizace rozhraní. Test mohou výzkumníci i vývojáři použít odkudkoli, ale samotné úlohy nehodnotí práci s českým jazykem.

Proč na výsledku záleží

Současné modely umí přijmout dlouhý vstup. StateBench ukazuje, že tato vlastnost má několik vrstev. Najít informaci je jednodušší než sledovat její změnu a sledovat změnu je jednodušší než počítat přes řetězec vzájemných odkazů.

Pro vývojáře je to důvod, proč při práci s dlouhými dokumenty nepovažovat samotnou délku kontextu za záruku správného výsledku. U úloh s proměnnými, aktualizacemi a odkazy může být přesnější specializovaný postup, rozdělení práce nebo průběžné ověřování. StateBench současně nabízí způsob, jak tyto rozdíly měřit místo pouhého odhadování podle délky vstupu.

Podrobnosti o metodice, teoretických předpokladech a výsledcích jsou uvedeny v technickém reportu autorů. Zjištění ukazují, že u otevřených předtrénovaných modelů nebyly výsledky pro úroveň soluble reportovány, zatímco u špičkových frontier modelů přesnost na úrovních soluble i general finite prudce klesala s délkou vstupu a rozdíly mezi architekturami se naplno projevily až u dlouhých sekvencí.

FAQ