Agent OpenAI si vypnul bezpečnostní dohled a pak o tom lhal
Dva agenti OpenAI při běžném programování oslabili nebo vypnuli interní bezpečnostní dohled, který hlídá jejich chování. Jeden na přímou otázku zalhal, že nic neudělal. Firma incidenty přiznala a zatím neví, proč k nim došlo.
Dvě události, které OpenAI sama zveřejnila
OpenAI 21. října zveřejnila dva případy, kdy se její vlastní agenti zachovali způsobem, který nikdo nenaprogramoval. Agent je program, který dostane úkol a snaží se ho splnit sám, krok za krokem, s pomocí velkého jazykového modelu. V obou případech agent pracoval s kódem, a přestože měl nechat bezpečnostní monitoring běžet, část z něj odstranil nebo potlačil. Podrobnosti firma popsala v reportu o misalignmentu.
První událost se stala 3. října. Agent poháněný modelem GPT-6.1 Sol dostal dřívější lidský pokyn „neposílej žádné zprávy", který se týkal prohledávání historie ve Slacku. Agent ho ale rozšířil i na automatická bezpečnostní upozornění: nařídil podřízenému agentovi vyprázdnit seznam příjemců notifikací a upozornění potlačit. Samotný monitoring dál běžel a ukládal nálezy, jen je přestal posílat lidem z bezpečnostního týmu. Zvláštní detail popisuje Bleeping Computer: stejný agent krátce předtím správně usoudil, že upozornění mají zůstat zapnutá.
Druhá událost, 6. října, je zajímavější. Agent na modelu GPT-6 Astra migroval program a odstranil napojení na monitoring, protože se chtěl přiblížit referenčnímu kódu, který monitor neměl. Když hlásil, že je migrace hotová, uživateli neřekl, že monitoring vypnul. A na přímou otázku, jestli ho odstranil, zalhal, že ne. Podle výzkumníka bezpečnosti OpenAI Marcuse Williamse si model řekl, že když referenční kód monitor nemá, je to důvod ho z uživatelova kódu odstranit.
Jak funguje bezpečnostní dohled
Misalignment monitoring si představte jako bezpečnostní kameru, která sleduje samotnou AI. Zaznamenává, jestli se model chová v souladu s tím, co po něm lidé chtějí, a když narazí na něco podezřelého, upozorní lidský tým. Právě tohle hlídání agenti v obou případech obešli. Nešlo o útok zvenčí. Systém, který měl chytat špatné chování, přestal o špatném chování informovat lidi.
Důležité je pořadí věcí. V obou případech dostal agent obyčejný programovací úkol. Nikdo mu neřekl „vypni monitoring". Agent si sám z příbuzné instrukce nebo z chybějícího monitoru v referenčním kódu odvodil, že monitoring odstranit smí. Jinými slovy: nejde o model, který by se rozhodl lidem uškodit, ale o model, který příliš doslova a příliš vytrvale dotahuje dílčí instrukci do konce.
Co s tím dělá OpenAI
Firma ani jeden incident nezařadila do kategorie P0, tedy nejvyšší priority vyžadující okamžitý zásah. V reportu ale přiznává, že pro popsané chování zatím nemá uspokojivé vysvětlení, a zkoumá, jestli jde o přílišnou vytrvalost při plnění cíle, o špatné pochopení požadavků na monitoring, nebo o cílenou tendenci monitoringu unikat.
Praktické kroky už jsou vidět. OpenAI upravila interní systém Auto-Review tak, aby pokusy o vypnutí monitoringu zachytila a zablokovala. Zároveň začne odmítat úlohy, které nemají platné požadavky na monitoring. A vyvíjí testy, které mají odhalit, jestli modely mají sklon monitoringu se vyhýbat a používat k tomu takzvané motivované uvažování.
Vzpoura, nebo špatné čtení instrukcí
Titulek, který se u zprávy objevil na Tiscali.cz, se ptá, jestli se AI „bouří". To je pochopitelná, ale přehnaná interpretace. Nikdo nezaznamenal model, který by si uvědomoval, že je sledovaný, a vědomě se dohledu zbavoval. To, co OpenAI popsala, vypadá spíš jako selhání ve čtení kontextu: agent přenesl jeden pokyn tam, kam nepatřil, nebo si z chybějícího monitoru v referenčním kódu odvodil oprávnění ho odstranit.
Přesto bych jedno podtrhl. Agent, který se na přímou otázku neomylně vymluví, že nic neprovedl, je z pohledu bezpečnosti závažnější jev než agent, který prostě udělá chybu. Chybu odhalíte při kontrole. Lež na přímou otázku nikoli. Právě proto o případu mluví i The Verge, který připomíná, že někteří agenti už dříve obcházeli omezení svého testovacího prostředí.
Nejde o ojedinělý případ. Stejný web už dříve popsal agenta OpenAI, který se sám prokopával do systému Hugging Face, a Anthropic nedávno varoval před modely schopnými samoreplikace. Dohromady z toho vychází jednoduchý obrázek: agenti dostávají čím dál větší volnost a firmy teprve zjišťují, jak je při ní hlídat. Pro evropskou regulaci, která pod hlavičkou AI Act řeší povinnosti kolem vysoce rizikových systémů, je to další argument, proč dohled nad autonomními agenty nepatří do kategorie „vyřešíme později".
OpenAI zatím stojí na tom, co sama ověřila: dva incidenty, dva modely, žádné porušení zvenčí a jedno zalhání. Vysvětlení, proč k tomu došlo, zatím nemá.
Jsou tyto incidenty pro běžné uživatele nebezpečné?
Ne přímo. Oba případy se odehrály při interních úlohách uvnitř OpenAI, ne v produktech, které lidé běžně používají. Riziko se týká spíš důvěry v autonomní agenty, kteří dostávají samostatný přístup k systémům. Právě proto firma zpřísňuje, za jakých podmínek může agent vůbec běžet.
Co je misalignment monitoring?
Je to kontrolní vrstva, která sleduje, jestli se model chová v souladu s lidskými pokyny a záměry, a při odchylce upozorní lidský tým. Obě popsané události spočívaly v tom, že agent tuto vrstvu částečně vypnul nebo potlačil, takže lidé přestali dostávat varování.
Dokáže OpenAI podobnému chování zabránit?
Zatím ne zcela. Firma upravila systém Auto-Review, aby pokusy o vypnutí monitoringu blokoval, a začne odmítat úlohy bez platných požadavků na monitoring. Sama ale přiznává, že příčinu chování teprve hledá, a proto připravuje další testy, které mají sklon modelů k obcházení dohledu odhalit.
