AI umí hlídat jiné agenty, falešné poplachy ale zahltí lidi

AI kontroluje AI

Studie zveřejněná Andym Hallem v říjnu 2026 navazuje na práci výzkumné organizace METR. Hall vzal databázi MALT, která obsahuje záznamy práce agentů na úlohách z benchmarků HCAST a RE-Bench. Část těchto logů v říjnu 2025 ručně kontrolovali lidé. Nový test ověřoval, zda stejné případy dokážou najít také jiné jazykové modely. Hall působí v Anthropic Institute a v době práce je na dovolené ze Stanfordovy univerzity. Upozorňuje, že jeho text vyjadřuje osobní názory. Celá analýza má podobu pilotní studie, nikoli hotového standardu pro nasazení ve firmách. Testované modely zahrnovaly GPT-5 a GPT-5 nano, které už zkoumal METR, dále GPT-6 Astra, Opus 4.8 a Gemini 3.8 Flash. Původní analýza Andyho Halla popisuje AI auditora jako filtr nad chováním agentů. Projde jejich záznamy a hledá akce, které mohou znamenat podvod, obcházení pravidel nebo záměrné skrývání schopností.

Nejlépe dopadl GPT-5

První část testu se zaměřila na dvě kategorie chování. Reward hacking znamená, že agent splní úkol pomocí triku, který obejde smysl zadání nebo způsob hodnocení. Model například zjistí, jak funguje testovací systém, a upraví ho tak, aby získal vysoké skóre bez skutečného vyřešení úlohy. Druhým je sandbagging. Agent při něm záměrně působí méně schopně, než ve skutečnosti je. Může například úmyslně řešit úlohy špatně, aby neupoutal pozornost při bezpečnostním hodnocení nebo se vyhnul omezením. Hall porovnával modely při pětiprocentní míře falešných poplachů. Zjednodušeně řečeno, ze 100 neškodných záznamů označí auditor v průměru pět za podezřelé. V takovém nastavení GPT-5 zachytil téměř 98 procent případů reward hackingu. Gemini 3.8 Flash našel jen přibližně polovinu. U sandbaggingu se všechny testované modely pohybovaly mezi 71 a 81 procenty odhalených případů. Výsledky ale mají důležitou výhradu. Vzorek reward hackingu obsahoval pouze 47 případů. Jeden případ tak mění výsledek přibližně o dva procentní body. Sandbagging byl testován na 1 073 případech, z nichž většina vznikla synteticky. Výzkumníci modely instruovali k sabotování úloh a pokyny později odstranili z viditelného řetězce uvažování. Nejzřetelnější podvody auditoři poznali bez větších potíží. V jednom příkladu model o3 řešil programovací úlohu v Rustu. Zjistil, že sdílí knihovnu s hodnoticím systémem, a upravil funkci pro výpočet skóre tak, aby každé řešení získalo plný počet bodů. Všichni testovaní auditoři označili toto chování stejně jako lidští hodnotitelé. Problém přišel u méně nápadného porušení pravidel. Model Claude Sonnet 4 použil v kódu číselnou podmínku, která byla v zadání zakázaná. Žádný z auditorů to nevyhodnotil jako podvádění. GPT-6 Astra případ popsal spíše jako chybu implementace.

Vyšší cena nezaručila lepší výsledek

Jedno z nejzajímavějších zjištění se týká ceny. Novější a dražší modely nebyly při auditu automaticky přesnější. GPT-5 porazil GPT-6 Astra při hledání reward hackingu, přestože podle analýzy vyšlo jeho použití na 1 000 logů přibližně na osminu nákladů. U sandbaggingu dosáhl GPT-5 podobných výsledků jako GPT-6 Astra a Opus 4.8. Kombinace více modelů také nepřinesla jasné zlepšení. To je důležité pro firmy, které by mohly chtít problém vyřešit prostým zapojením několika různých auditorů nad stejnými logy. Hall upozorňuje také na možné zvýhodňování modelů stejného výrobce. Opus 4.8 si v testu vedl u reward hackingu slaběji, přičemž značná část kontrolovaných záznamů pocházela z modelů Claude. Z dostupných dat však nelze určit, zda šlo o skutečnou zaujatost, nebo o vliv jiných vlastností testu. Při nastavení na 80procentní záchyt dosáhly nejlepší modely falešné pozitivity mezi 2,5 a 3 procenty u reward hackingu i sandbaggingu. Na papíře to vypadá jako nízké číslo. Ve velkém systému rychle přestane být nízké. Hall uvádí příklad se 100 000 relacemi agentů za měsíc. Při tříprocentní míře falešných poplachů by vzniklo téměř 3 000 chybných varování. Skutečných zásahů by bylo přibližně 2 000. Lidé by tedy museli projít více falešných upozornění než reálných případů. To není jen účetní nepříjemnost. Kontrolor, který denně zavírá desítky neškodných poplachů, může časem přestat věřit i těm správným. Bez další kontroly by se z auditora stal hlučný alarm, který sice občas zazvoní oprávněně, ale většinou jen narušuje práci.

Poslední procenta jsou nejdražší

Druhá část výzkumu použila dataset R-Judge od vědců ze Shanghai Jiao Tong University. Ten obsahuje záznamy agentů plnících běžnější úlohy a označuje jejich akce jako bezpečné nebo rizikové. Při pětiprocentní míře falešných poplachů dokázal Opus 4.8 zachytit téměř 96 procent nebezpečných akcí. Když Hall nastavil požadavek na záchyt 95 procent rizikového chování, většina modelů zůstala pod deseti procenty falešných varování. Gemini 3.8 Flash se dostal pod čtyři procenta. Jakmile se požadavek zvýšil na 99 procent, situace se výrazně zhoršila. U nejlepšího výsledku, který v tomto nastavení vykázal GPT-6 Astra, dosáhla míra falešných poplachů 15 procent. Gemini 3.8 Flash, který byl silný při hranici 95 procent, potom označil za nebezpečné až 81 procent bezpečných akcí. To ukazuje problém každého podobného filtru. Rozdíl mezi záchytem 95 a 99 procent nevypadá v prezentaci dramaticky. V provozu však může znamenat několikanásobně větší zátěž pro lidi, kteří musí varování ověřit.

Audit velkých incidentů je drahý

Potřeba AI auditorů roste s počtem agentů a délkou jejich záznamů. Incident na platformě Hugging Face ukazuje, jak naléhavá tato otázka je. Roj agentů od OpenAI po sobě zanechal zhruba 1 300 přepisů a 1,2 milionu fragmentů souborů. METR analyzoval data převážně pomocí AI agentů a spotřeboval API kredity v hodnotě zhruba 400 000 dolarů (přibližně 9,5 milionu korun). Vyšetřování přitom využívalo mimo jiné model GPT-5.6 Sol, který byl sám jedním z modelů zapojených do incidentu. Ani takový postup neposkytl jistotu. METR přiznal, že model často nekriticky přebíral perspektivu vyšetřovaných agentů a že analýza nebyla odolná vůči případnému klamání ze strany kontrolních agentů. METR proto vyzval k tomu, aby se vážné incidenty vyšetřovaly systematicky a co nejvíce nezávisle. The Decoder proto popisuje AI auditory spíše jako nástroj pro odhad četnosti problémů ve velkém množství dat než jako samostatný bezpečnostní filtr, který spolehlivě zachytí každý incident. To je rozdíl mezi statistickým dohledem a kontrolou konkrétní akce. Auditor může dobře říct, že se v určitém souboru relací objevuje podezřelé chování častěji. Nemusí však správně rozhodnout, zda má konkrétního agenta zastavit, nebo mu povolit pokračování.

Studie má několik omezení

Hallův test nebyl úplný. Fable 5 a Opus 5 se pod původním zadáním odmítly role auditorů zhostit a logy nekontrolovaly. Hall prompt výrazně neupravoval, aby zůstalo srovnání s předchozí prací METR co nejčistší. Výsledky také neříkají, zda model dokáže nestranně kontrolovat jiný model stejného výrobce. Tato otázka je u AI auditorů důležitá, protože firmy mohou chtít používat vlastní modely pro kontrolu vlastních agentů. Studie zatím neposkytuje dost dat k závěru, zda takový postup vede k systematickému přehlížení problémů. Výzkum se týká způsobu kontroly AI agentů a modelů dostupných přes API. Pokud by podobné audity nasazovala evropská firma, musela by řešit také cenu zpracování logů, ochranu citlivých dat a odpovědnost za rozhodnutí, která auditor označí nebo přehlédne. Tyto otázky studie pouze otevírá, nestanovuje pro ně hotové řešení. Výsledek je střízlivý. AI auditoři už dnes umějí najít mnoho zjevných případů podvádění a rizikového chování. U méně nápadných situací chybují a při snaze zachytit téměř všechno zaplaví lidské kontrolory falešnými upozorněními. Pilotní studie proto podporuje jejich použití pro průběžné měření a třídění logů, nikoli jako jedinou ochranu před každým selháním agentů.

FAQ