Nejtěžší zkouška pro AI: Drahé modely propadly, nedokážou doložit svá tvrzení

Biofyzika jako nejtvrdší zkouška pro AI

Autoři si nevybrali biofyziku náhodou. Je to obor, kde se potkává fyzika s biologií, a taky obor, kde AI narazí hned na tři překážky najednou. Aby odpověď dávala smysl, musí model najít důkaz v odborném článku, interpretovat ho přes konkrétní fyzikální rovnici a napojit výsledek na biologický mechanismus. Každý z těch tří kroků se dá pokazit, a stačí jeden, aby zněla odpověď věrohodně, ale byla věcně špatně.

Benchmark BioPhys-Bridge z dílny nezávislého výzkumníka Qingyanga Xua je postavený právě na tomhle řetězci: od naměřené hodnoty přes fyzikální model až po návrh dalšího experimentu. Na rozdíl od běžných testů, které jen kontrolují, jestli je odpověď „správná", tady se kontroluje něco důležitějšího — jestli model umí říct, odkud svou odpověď vzal.

Co přesně benchmark měří

První verze obsahuje 500 případů a 1 517 úloh, nasbíraných z otevřených recenzovaných článků napříč šesti biologickými oblastmi — od vazby proteinů a ligandů přes enzymovou kinetiku až po fázovou separaci biomolekul. Každý případ je rozřezaný na takzvané bloky důkazů s vlastními stabilními ID, tedy na malé citační jednotky, na které se model může odkázat.

Úlohy mají čtyři typy. Odvození (Derivation) chce po modelu, aby použil fyzikální vztah a ocitoval správné důkazy. Určení mechanismu z důkazů (Mechanism from evidence) vyžaduje odvodit biologický mechanismus z citovaných dat. Vysvětlení nesrovnalosti (Discrepancy explanation) chce objasnit rozpor mezi očekávaným chováním a naměřeným důkazem. A Návrh dalšího experimentu (Next experiment design) má navrhnout, jaký experiment nebo výpočet by měl následovat. Společné mají jedno: model musí vrátit nejen odpověď, ale i seznam důkazních ID, o které se opírá.

Hodnotí se pak takzvaným evidence-ID F1 skóre. Jde o harmonický průměr přesnosti a úplnosti výběru evidence-ID: zohledňuje, kolik správných důkazů model vybral, kolik relevantních vynechal a kolik jich přidal navíc. Skóre 1 by znamenalo perfektní shodu s požadovanými důkazními ID, 0 úplný nesoulad. Není to procento správných odpovědí ani prostý podíl správně vybraných vědeckých zdrojů.

Výsledky: hezky mluví, ale zdroj neřekne

Do testu se zapojilo sedm modelů plus jednoduchá lexikální metoda jako spodní laťka. Výsledky jsou poučné hned dvakrát. Zaprvé tím, jak nízko skončil i vítěz, zadruhé tím, co odhalily u modelů, které se o citace ani nepokusily.

Čísla v tabulce se týkají právě této konkrétní testovací podmnožiny 154 úloh. Celý benchmark obsahuje 1 517 úloh, ale výsledkový přehled pro porovnání modelů uvádí jen vybranou část; proto se počty prázdných citací vztahují ke 154 úlohám, nikoli k celému datasetu.

Nejvíc mě na té tabulce baví kontrast mezi DeepSeek-V4-Flash a DeepSeek v4 Pro. Logika by řekla, že „Pro" je dražší a lepší, jenže tady je to přesně naopak — Flash má vyšší evidence-ID F1 a Pro u 127 ze 154 úloh nevrátil žádnou citaci. U Gemini 2.5 Pro je to ještě výraznější: prázdné citace u 151 úloh, takže jeho skóre spadlo skoro k nule, i když samotný text odpovědi nebyl úplně mimo.

A to je podle mě to hlavní zjištění celého článku: splácat věrohodnou větu a doložit ji správným zdrojem jsou dvě úplně jiné dovednosti. Modely umí to první obstojně, to druhé zatím mizerně. Sami autoři v práci píšou, že některé modely vyprodukují plynulý text, ale selžou při vrácení použitelných důkazních ID. Právě proto je evidence-ID F1 v tomhle testu hlavní metrika — tokenové porovnání odpovědí je jen slabý kontrolní ukazatel.

Nejtěžší jsou podle výsledků úlohy na návrh dalšího experimentu: ve zdrojové práci tam nejlepší model dosáhl jen 0,216. Není to překvapivé — navrhnout, co dál měřit a proč, je otevřenější úkol než dosadit do rovnice.

Proč by tě to mělo zajímat, i když neděláš biofyziku

Biofyzika je tady jen jeviště. Problém, který benchmark odhaluje, se týká každého, kdo dnes AI používá k práci s dokumenty — a to v Česku dělá čím dál víc firem. Když necháš asistenta vyhledávat ve smlouvách, manuálech nebo odborné literatuře a on ti vrátí odpověď „s citacemi", tahle čísla ukazují slabý výkon v konkrétním biofyzikálním úkolu. Nelze z nich automaticky vyvodit, jak spolehlivé jsou všechny modely, všechny RAG systémy ani všechny vědecké zdroje.

Je to stejná hra jako u běžného RAG systému, jen s tím rozdílem, že věda je měřitelná. V biofyzice totiž víš, která rovnice a který důkaz k sobě patří, takže se dá přesně spočítat, kdy si model vymýšlí. V běžné kancelářské práci takovou „zlatou odpověď" nemáš, takže chyba projde bez povšimnutí.

Pro evropský kontext to má ještě jeden rozměr. Samotné hodnocení výzkumných podkladů nebo práce s dokumenty automaticky neznamená zařazení systému do vysoce rizikové kategorie podle evropského AI Actu. Záleží na konkrétním účelu a způsobu použití systému podle nařízení. Pokud by AI podporovala rozhodnutí s reálným dopadem v oblasti, na kterou se pravidla pro vysoce rizikové systémy vztahují, mohou být požadavky na transparentnost a dohledatelnost relevantní. Test, který přesně měří, jestli model doloží, co tvrdí, je proto užitečným nástrojem pro ověřování. Data i kód jsou navíc dostupné — kód pod MIT licencí, dataset pod CC-BY-4.0.

Férově: co tenhle test zatím neumí

Abych nebyl jen nadšený — tady je pár věcí, které je dobré vědět, než začneš čísla přeposílat dál. Práce je od jediného autora a zdroj ji uvádí v souvislosti s EMNLP 2026, takže jde spíš o pozvánku k diskusi než o hotový standard. Expertní kontrola pokrývá jen 81 z 500 případů, zbytek prošel automatickými validačními branami. Datový balíček i kód jsou dostupné v uvedených repozitářích, přičemž některé části nemusí být kompletní.

Autoři sami přiznávají ještě jednu potíž: při strukturování dat použili model GPT-4o, takže řádek pro GPT-4o-mini může být o něco zvýhodněný. A evidence-ID F1 neříká, jestli je odpověď vědecky správná — jen jestli je správně doložená. Model může citovat správný odstavec a přitom z něj vyvodit nesmysl. Pro korektnost vědy by bylo potřeba přidat ještě nezávislé expertní hodnocení, které v této verzi chybí.

I s těmi výhradami je to ale benchmark, který měří něco, co běžné testy AI přehlížejí: ne „co model ví", ale „co umí dokázat". V tomto konkrétním biofyzikálním úkolu zatím jeho výkon přesvědčivý není. Zároveň ale výsledek 0,360 nelze chápat jako obecné hodnocení všech modelů, RAG systémů nebo vědeckých zdrojů; vypovídá pouze o shodě s požadovanými evidence-ID v konkrétní testovací podmnožině.