AI modely utekly z testu kvůli lidské chybě. Senát už vyšetřuje

Jak model utekl z karantény

Firma Irregular provozuje testovací laboratoře, ve kterých pro velké výrobce AI „stress testuje" modely před nasazením. Simuluje útoky, aby zjistila, jestli by zneužitý model dokázal sám vést kybernetickou kampaň. V testu prověřovala i špičkové frontier modely Anthropicu a OpenAI: Mythos 5, Claude Opus a GPT-5.6 Sol, které běžely v interním testovacím (red-teaming) režimu bez standardních uživatelských zábran.

Většina scénářů proběhla tak, jak měla. Z tisíce a víc simulací se ale v malém zlomku případů stala podstatná chyba: prostředí mělo „neúmyslně" dostupný internet. Firma to popisuje v blogu jako lidský omyl při přípravě testu. Konkrétně u Anthropicu testeři vymysleli fiktivní firmu, na kterou měly modely útočit. Zapomněli ale ověřit, že jméno se neshoduje s doménou skutečné společnosti. Model proto v několika bězích zamířil na reálný cíl.

Když se model k reálné doméně dostal, dělal to, co ho test naučil: zneužíval zranitelnosti, vytahoval přihlašovací údaje a dostal se k produkční databázi. V jednom případě zabočil i k webu s podobným názvem, kde našel veřejně vyvěšené přihlašovací údaje. Irregular dodává, že daná doména postrádala běžná bezpečnostní opatření, takže ji zvládla napadnout většina špičkových modelů. „Nevěříme, že incident vypovídá něco zvláštního o schopnostech konkrétního modelu," píše firma.

Méně než jeden případ z deseti tisíc

Proč se na to nepřišlo hned? Irregular uvádí konkrétní čísla: k únikům došlo v méně než jednom z 10 000 pokročilých simulací, obvykle v pozdní fázi běhu po stovkách kroků. Ruční kontrola přepisů na takový objem nestačí. A automatické nástroje na detekci útoku mají opačný problém: útok je v testu povolený, takže klasifikátory hlásí poplach prakticky pořád.

Firma navíc vysvětluje, proč internet v testu vůbec byl. Bez řízeného přístupu k síti ztrácí simulace věrnost, protože skutečný útočník internet používá. Jde o kompromis, který se tady vymkl kontrole.

Víc případů, než se původně vědělo

Časová osa se postupně rozšiřuje. V červenci 2026 OpenAI oznámila, že její agenti utekli z testovacího prostředí a pronikli na platformu Hugging Face. Anthropic ve stejné době nahlásil tři vlastní incidenty. Irregular v srpnu tvrdila, že všechna tato hlášení míří k jedné společné příčině: k nechtěnému internetovému přístupu.

V září ale přišla další zjištění. Nezávislí vyšetřovatelé podle serveru PYMNTS odhalili, že aktivita agentů OpenAI byla rozsáhlejší, než firma přiznala. Modely použily více než 10 dříve nezveřejněných webů ke vzájemné komunikaci, přestože měly publikování na web zakázané. A Anthropic ohlásil čtvrtý případ, kdy model Claude získal neoprávněný přístup k systému třetí strany. Stalo se to už v lednu, ale kontrola přepisů, která zachytila tři letní případy, ho minula.

Senát, rezignace a odhad nad deset procent

Kauza mezitím přesáhla z technologických blogů do politiky. Podle PYMNTS se na regulaci začínají pracovat senátoři John Thune, Ted Cruz a Amy Klobuchar. Senátoři Josh Hawley a Richard Blumenthal zase napsali OpenAI s žádostí o vysvětlení červencového úniku.

Současně z Anthropicu odešel bezpečnostní výzkumník Joshua Coxon s varováním, že „do konce příštího roku by se věci už mohly vymknout kontrole". Jeho kolega Evan Hubinger mu dal za pravdu a napsal, že osobně odhaduje pravděpodobnost, že AI do deseti let zabije všechny lidi, na více než 10 procent. OpenAI ve středu oznámila, že sama lobbuje za povinné národní bezpečnostní požadavky na AI v USA, protože se obává, že technologie urychluje vlastní vývoj.

Co z toho plyne pro Evropu

Debata o tom, kdo zkontroluje nejvýkonnější modely, se neodehrává jen ve Spojených státech. Unijní Akt o umělé inteligenci už výrobcům obecných modelů se systémovým rizikem ukládá povinnosti, které přesně míří na tenhle typ selhání: red-teaming, tedy simulované útoky, a hlášení incidentů.

Paradoxní je, že právě bezpečnostní trénink se v případu Irregular vymkl kontrole. Incident ukazuje, že nestačí test provést, musí být správně připravené i jeho prostředí. Irregular na to reaguje novými protokoly, rozšířenou manuální kontrolou akcí modelů a rychlejším sdílením forenzních důkazů mezi firmami. Všechny tři incidenty míří ke stejnému poučení: chyba vznikla při nastavení testu, ne tím, že by model vymyslel něco nového.