Tohle není příběh o tom, že AI „nic neumí“. Spíše ukazuje, že mezi automatizací technické práce a samostatným vědeckým uvažováním vede poměrně hluboká propast. A právě ta může být důležitější než další tabulka s výsledky benchmarku.
Test, ve kterém se AI nemohla opřít o známou odpověď
Studii Can AI agents conduct open-ended AI research? připravil tým výzkumníků z Princetonu, UK AI Security Institute a dalších institucí. Autoři použili metodu nazvanou Shadow Evaluation, tedy hodnocení ve stínu.
Princip je jednoduchý, ale podstatný. Agent nedostal úkol reprodukovat známý experiment z veřejně dostupného článku. Místo toho obdržel hlavní výzkumnou otázku z dosud nezveřejněné práce. Původní autoři na ní pracovali několik měsíců a znali nejen výsledek, ale také slepé uličky, kompromisy a důvody, proč některé experimenty nedávaly smysl.
AI agent tedy nemohl jen vyhledat hotovou odpověď na webu nebo napodobit text z trénovacích dat. Musel sám navrhnout postup, vyhodnotit výsledky, reagovat na neúspěchy a vytvořit práci, která by obstála podobně jako článek pro konferenci NeurIPS.
Výzkumníci testovali dvě otázky. První se týkala toho, zda lze pomocí změn v parametrech jazykového modelu ovlivňovat jeho osobnostní rysy. Druhá se zabývala metodou TabPFN, která má odhalit situaci, kdy se provozní data výrazně liší od dat použitých při trénování predikčního modelu.
Šest dní práce a rozpočet 3 000 dolarů
Hlavní experimenty běžely na modelu Claude Opus 4.8 s nastavením Extra-High Reasoning. Každý agent dostal šest dní, přístup k virtuálnímu stroji, internetu, GPU výpočtům a 3 000 dolarů v API kreditech. Nešlo tedy o rychlé vyzkoušení chatbota v prohlížeči. Agent měl k dispozici prostředí, které mu umožňovalo spouštět podagenty, plánovat úlohy, čekat na dokončení výpočtů a následně zpracovávat jejich výsledky.
Celý systém fungoval jako softwarový orchestr. Zjednodušeně řečeno: hlavní agent rozdával práci dalším agentům, spouštěl experimenty a kontroloval průběh. Framework měl navíc automatické „buzení“ po dokončení delších GPU úloh, takže agent nemusel u všeho sedět jako student před počítačem během kompilace.
Výsledek byl v některých ohledech působivý. Agenti zvládli bez přímé lidské pomoci vyhledávání literatury, psaní a opravy GPU kódu, provádění experimentů, testování robustnosti i sestavení článku v LaTeXu. Lidé museli zasáhnout pouze třikrát: kvůli opravě chyby v podpůrném systému, prodloužení termínu a požadavku na lepší čitelnost textu.
Jenže technická samostatnost není totéž co vědecká kvalita.
Oba články by podle autorů neprošly
Původní autoři výzkumných otázek hodnotili výstupy podobně jako konferenční recenzenti. Oba články zamítli. Jeden z nich obdržel hodnocení Strong Reject.
Kritika nebyla založena na drobných chybách v syntaxi nebo několika nepřesných grafech. Problém byl hlubší: agenti podle hodnocení nepřišli s novým přesvědčivým přínosem, používali špatně zdůvodněná data a experimenty a nedokázali přesvědčivě vysvětlit, proč zvolený postup odpovídá položené otázce.
V jednom případě výzkumníci popsali argumentaci jako „důkaz příkladem“. Agent ukázal několik výsledků, ale z nich vyvozoval mnohem obecnější závěry, než data dovolovala. To je ve vědě podobné, jako kdyby někdo třikrát našel volné parkovací místo v centru Prahy a z toho usoudil, že parkování v centru už není problém.
Pět opakujících se slabin
Analýza záznamů odhalila několik vzorců, které se objevovaly v obou bězích:
- Špatný odhad publikační laťky: agent dokázal vytvořit technicky kompletní práci, ale nepoznal, že její hlavní myšlenka není dostatečně silná.
- Málo kreativní reakce na neúspěch: když původní hypotéza nefungovala, agent většinou zúžil tvrzení místo hledání nové cesty.
- Neefektivní návrat ze slepé uličky: ambiciózní cíle opustil velmi brzy a poté už se k nim nevrátil.
- Slabá práce s rozpočtem: jeden běh skončil sedm hodin před termínem, přestože agent využil méně než polovinu dostupných prostředků.
- Instrukční drift: v dlouhé práci postupně zapomínal na původní požadavky. Oba články překročily stanovený rozsah a jeden z nich neměl v hlavním textu žádné vizualizace.
Zajímavé je, že agenti dostávali kritiku také od dalších AI systémů. Během patnácti kol revizí se neobjevilo jediné hodnocení „Accept“. Přesto se agentům nepodařilo vyřešit zásadní výhrady. Uměli tedy kritiku zpracovat jako text, ale nedokázali ji proměnit v lepší výzkumný směr.
Proč to odporuje optimističtějším tvrzením laboratoří
Anthropic ve svém textu When AI builds itself popisuje rychlý růst podílu práce, kterou AI systémy zvládají při vývoji dalších modelů. Firma rozlišuje mezi technickým provedením experimentu a rozhodováním o tom, jaké cíle sledovat a které výsledky považovat za důležité. Právě v této druhé oblasti podle vlastního popisu přetrvávají významné mezery.
Anthropic zároveň uvádí, že současné systémy dokážou pomáhat s dobře specifikovanými experimenty a dlouhými úkoly. To se s novou studií nevylučuje. Studie totiž testovala otevřenější problém: agent neměl jen něco správně provést, ale také zjistit, co má smysl provést, kdy původní hypotézu opustit a jak poznat, že výsledek není dost dobrý.
Podobně OpenAI ve svém Preparedness Framework rozlišuje mezi schopností AI urychlovat výzkum a kritickou úrovní, při které by systém zvládl plně automatizovaný vývoj AI. OpenAI za kritický scénář považuje například superlidského výzkumného agenta nebo dlouhodobě udržitelnou akceleraci vývoje nových generací modelů.
Jinými slovy: tvrzení, že AI už dnes urychluje výzkumnou práci, může být pravdivé. Z této skutečnosti ale automaticky neplyne, že AI brzy převezme celý výzkumný cyklus bez člověka.
Engineering ano, výzkumný úsudek zatím ne
Nejpřesnější závěr studie je proto méně dramatický a o to užitečnější. Současní agenti zvládají výzkumné inženýrství: píší kód, spouštějí experimenty, opravují chyby, připravují tabulky a dokážou pracovat dlouhé hodiny s nástroji.
Horší je to s částmi, které vědec obvykle získává zkušeností. Patří sem odhad, zda je výzkumná otázka skutečně důležitá, cit pro zajímavou odchylku ve výsledcích, schopnost poznat nekvalitní experiment a ochota zahodit několik dní práce ve prospěch neověřené, ale slibnější myšlenky.
To je také důvod, proč běžné benchmarky mohou vytvářet příliš optimistický obraz. Pokud je správná odpověď jasně ověřitelná, agent může postupovat metodou pokus–omyl. V otevřeném výzkumu ale často není předem jasné, co je správný cíl, jak vypadá dostatečný důkaz ani kdy je čas změnit směr.
Autoři studie upozorňují, že jejich výsledek je zatím založený na dvou případových studiích, nikoli na definitivním měření všech AI agentů. Výzkum přesto přináší hodnotný test reality. Projekt CRUX, který za metodou stojí, chce podobná hodnocení opakovat v dlouhých a obtížně měřitelných úlohách.
Co to znamená pro firmy a české uživatele
Pro české firmy ani domácí uživatele studie neznamená, že by měli přestat používat AI nástroje. Naopak potvrzuje, kde dnes dávají největší smysl: při analýze dat, psaní kódu, rešerších, testování variant a automatizaci opakujících se kroků.
Současně je rozumné nechat člověka u rozhodnutí, která určují směr. Agent může připravit deset hypotéz, spustit stovky testů a sepsat report. Neměl by však bez kontroly rozhodnout, která hypotéza stojí za další investici, zda jsou data dostatečná nebo zda výsledek skutečně něco dokazuje.
Experimentovaný model ani podpůrný framework zde nejsou prezentovány jako běžná spotřebitelská služba s českou lokalizací nebo samostatným českým tarifem. Jde o výzkumné prostředí. Pro český a evropský trh je důležité hlavně praktické poučení: AI agent může výrazně zrychlit ruce výzkumníka, ale zatím neumí spolehlivě nahradit jeho úsudek.
To není malý rozdíl. Ve vědě totiž většinu času nezabere samotné spuštění experimentu. Nejtěžší bývá rozhodnout, který experiment vůbec stojí za spuštění.
FAQ
Co přesně znamená pojem Shadow Evaluation?
Jde o hodnocení, při kterém AI agent řeší výzkumnou otázku z dosud nezveřejněné práce. Výsledek potom posuzují původní autoři, kteří znají kontext, očekávanou laťku i důležité slepé uličky. Agent se tak nemůže jednoduše opřít o veřejně dostupnou odpověď.
Znamená studie, že AI agenti nejsou vhodní pro vědeckou práci?
Ne. Studie ukazuje, že jsou užiteční hlavně při technickém provedení práce: psaní kódu, spouštění experimentů, analýze a dokumentaci. Slabší zůstává samostatné rozhodování o tom, kterou myšlenku rozvíjet a zda výsledek skutečně představuje významný vědecký přínos.
Byl testovaný AI agent dostupný běžným uživatelům v Česku?
Nešlo o běžný produkt pro český trh, ale o výzkumný experiment s konkrétním modelem, agentním frameworkem, GPU výpočty a rozpočtem na API. Studie proto nehodnotí českou lokalizaci, cenu předplatného ani dostupnost služby pro domácí uživatele.
