Konec popularity contestu: Jak Arena nově měří faktickou přesnost

Arena.ai, dříve známá jako LMSYS Chatbot Arena, je už roky nejcitovanějším nezávislým žebříčkem velkých jazykových modelů. Její obrovskou výhodou je metoda „slepého testování" — uživatelé porovnávají dvě anonymní odpovědi a hlasují pro tu lepší, aniž by věděli, který model ji vygeneroval. Právě díky tomuto přístupu se Arena stala jakýmsi lidovým soudcem kvality AI.

Nově ale platforma přidává zásadní inovaci: faktickou přesnost. Každá odpověď modelu je automaticky rozložena na takzvané atomické ověřitelné výroky — nejmenší možná tvrzení, jejichž pravdivost lze nezávisle ověřit. Vyhledávací agenti pak každému výroku přiřadí kalibrovanou pravděpodobnost pravdivosti. V praxi to znamená, že textová odpověď průměrně obsahuje asi pět ověřitelných tvrzení, zatímco odpověď s vyhledáváním na webu jich má kolem deseti.

Celý systém stojí na masivním datasetu: přes 2 miliony označených tvrzení, která pocházejí z více než 130 000 textových bitev a 40 000 bitev v kategorii vyhledávání. Mezi 76 a 88 procenty všech bitev obsahuje alespoň jedno ověřitelné tvrzení a napříč modely se míra pravdivých tvrzení pohybuje mezi 87 a 89 procenty.

Výsledky těchto „faktických bitev" se pak kombinují s tradičními hlasy uživatelů pomocí statistického Bradleyova–Terryho modelu. Výchozí váha faktické přesnosti je nastavena na 25 procent — zbytek tvoří lidské preference. I tato relativně malá váha však stačila k tomu, aby se pořadí modelů dramaticky promíchalo.

Kdo vyhrál a kdo pohořel

Největším skokanem je GPT-5.5 od OpenAI, který vyskočil o 13 pozic a nově obsadil sedmé místo. Tento skok naznačuje, že model byl v čistě preferenčním hlasování systematicky podhodnocován — uživatelé jej možná vnímali jako méně zábavný nebo méně výřečný, ale jeho tvrzení obstála při faktickém ověření mnohem lépe, než se zdálo.

Naopak Meta Muse Spark, který byl v preferenčním žebříčku na sedmé pozici, se propadl o 13 míst na dvacátou příčku. To je obzvlášť pozoruhodné — model, který uživatelé konzistentně preferovali v přímém srovnání, se ukázal jako výrazně méně spolehlivý, když došlo na ověřování jeho tvrzení. Jinými slovy: Muse Spark umí skvěle přesvědčovat, ale ne vždy stojí na pevných faktech.

Ani Claude Fable 5 od Anthropicu, dosavadní lídr celkového textového žebříčku, nevyšel ze změny nedotčený — posunul se na druhé místo. Modely od OpenAI si obecně udržely nebo vylepšily své pozice s rostoucí vahou faktické přesnosti, což svědčí o konzistentnějším nakládání s fakty napříč jejich produktovou řadou.

Proč na tom záleží — a nejen pro výzkumníky

Tahle změna má dalekosáhlé důsledky. Především ukazuje, že lidský úsudek už nestačí. Jak jsou odpovědi modelů stále sofistikovanější, plynulejší a sebevědomější, lidští hodnotitelé čím dál hůře rozpoznávají faktické chyby ukryté v perfektně znějícím textu. Arena tím v podstatě přiznává to, co mnozí v oboru tušili: potřebujeme stroje na kontrolu strojů.

Pro firmy, které na těchto modelech staví své produkty, jde o zásadní informaci. Představte si banku, která používá AI pro analýzu rizik, nebo nemocnici, která nasazuje model pro podporu diagnostiky. V těchto scénářích není plynulost odpovědi podstatná — záleží jen na tom, zda model říká pravdu. A právě teď mají díky Areně k dispozici veřejný, transparentní a na datech založený nástroj pro srovnání faktické spolehlivosti jednotlivých modelů.

Dataset dvou milionů označených tvrzení navíc pokrývá i témata z regulovaných odvětví, jako jsou finance, zdravotnictví a právní služby — tedy přesně ty oblasti, kde faktické chyby nesou přímé a často vážné důsledky.

Co to znamená pro české firmy a uživatele

Pro české vývojáře a firmy, které integrují AI modely do svých aplikací, přináší nový žebříček konkrétní vodítko. Pokud stavíte chatbota pro zákaznickou podporu v češtině, pravděpodobně oceníte model, který přesvědčivě komunikuje. Pokud ale vyvíjíte nástroj pro analýzu právních dokumentů nebo finančních výkazů, potřebujete především faktickou přesnost — a nový žebříček vám pomůže vybrat ten správný model.

Všechny hlavní modely zmíněné v žebříčku — GPT-5.5, Claude i Gemini — podporují češtinu na velmi dobré úrovni. GPT-5.5 je dostupný přes ChatGPT (včetně bezplatné verze s omezením), Claude Fable 5 přes Claude.ai (s předplatným Claude Pro za přibližně 500 Kč měsíčně) a modely Gemini přes Google AI. Rozdíly v kvalitě českých odpovědí mezi těmito modely existují, ale nový faktický žebříček přidává zcela nový rozměr srovnání — ne jak hezky model česky mluví, ale jak pravdivé jsou jeho odpovědi.

Bradleyův–Terryho model: matematika, která rozhoduje

Pro technicky založené čtenáře dodejme, že Arena pro kombinování preferenčních hlasů a faktických skóre používá Bradleyův–Terryho model — statistickou metodu původně vyvinutou pro párové porovnávání v psychometrice a sportovní analytice. V kontextu AI leaderboardů tento model odhaduje „sílu" každého modelu na základě výsledků všech párových soubojů. Nově do výpočtu vstupuje i dimenze faktické přesnosti, což z něj dělá první skutečně vícerozměrný hodnoticí systém v historii AI benchmarkingů.