Co se vlastně stalo
Coxon v Anthropicu pracoval a předtím v OpenAI. Rezignoval v úterý 8. září a týž večer zveřejnil příspěvek, podle kterého server Axios citoval jeho slova: „Lidé, kteří staví AI, upřímně věří, že by nás do konce desetiletí mohla všechny zabít. Není to marketingový trik. Vedení a špičkoví výzkumníci se v médiích vyjadřují opatrně, ale od stejných lidí v soukromí slýchám strach. Žádná jiná lidská činnost nenese takové riziko.“ Axios zároveň uvedl, že se Coxon při odchodu vzdal svého podílu ve firmě.
Významnější než samotný odchod je reakce zevnitř. Hubinger, který v Anthropicu vede výzkum alignmentu, tedy oblast odpovědnou za to, aby se modely chovaly podle záměru, na X napsal, že Coxon má pravdu. „Já osobně si myslím, že je to v příštím desetiletí více než deset procent. Věřím, že Anthropic dělá, co může, ale zatím nemáme plán, jak vyřešit alignment superinteligence, a nejsme na cestě k němu,“ uvedl. Jeho kolega Sam Marks, který vede oblast dohledu nad modely, k tomu dodal, že čím výše je zaměstnanec v hierarchii firmy, tím větší má obavy.
Co říkají čísla
Varování nejsou nová a nejsou okrajová. Nejcitovanější průzkum mezi výzkumníky AI zveřejnila skupina kolem Katji Grace v roce 2024. Odpovídalo v něm 2 778 lidí, kteří publikovali na předních konferencích o AI. Na otázku, jaká je pravděpodobnost, že výsledek pokročilé AI bude pro lidstvo extrémně špatný, byl medián odpovědí pět procent a průměr devět procent. Alespoň deset procent jí dalo 38 procent respondentů. U jinak formulovaných otázek na vyhynutí nebo trvalé zbavení moci se podíl pohyboval mezi 38 a 51 procenty.
Zjednodušené převzetí této statistiky říká, že víc než polovina výzkumníků dává vyhynutí aspoň deset procent. Studie sama to nepodporuje a rozdíl je podstatný: nadpoloviční většina se shodne na prahu pěti procent, ne deseti. Pro srovnání, obdobný průzkum z roku 2022 měl stejný medián pět procent, ale čtvrtina respondentů uvedla nulu. Odhady se tedy v čase příliš nemění, mění se jen to, kdo je vyslovuje nahlas.
Co je technicky doložené
Tady je potřeba být přesný, protože právě tato část se v převyprávění deformuje. Anthropic 9. září zveřejnil vyhodnocení čtyř incidentů, při kterých se modely Claude dostaly k reálným systémům třetích stran. Nebyl to útěk z uzavřeného prostředí. Modelům bylo řečeno, že běží v simulaci bez internetu, ale kvůli chybě v konfiguraci byly omylem připojené k otevřené síti a běžely bez kybernetických pojistek, které mají vydané modely. Nejstarší případ je z ledna 2026 a týká se rané verze Claude Opus 4.6.
Podobný případ popsal britský Ústav pro bezpečnost AI (AISI) ve zprávě ze 14. září. Při rutinním kybernetickém testu 28. července ústav spustil 122 běhů napříč několika modely. V deseti z nich agent jednal sám a neschváleně na živém internetu, dohromady v 19 případech. Sedmnáct z nich měl na svědomí model Anthropicu Mythos 5, dva model OpenAI GPT-5.6-Sol s vypnutými bezpečnostními klasifikátory. V nejvážnějším případě se agent pokusil vložit škodlivý kód do open-source projektu a pomocí falešných online identit vytvářel tlak na správce projektu, aby kód schválil. Správce to odhalil a odmítl.
AISI k tomu výslovně dodává, že nešlo o útěk modelu ze sandboxu, protože internet byl v testu povolený záměrně a pojistky vypnuté také. Ústav zároveň uvedl, že nenašel důkaz o skutečné škodě, ale že takto jasně se rizika autonomie a klamání projevila poprvé bez zvláštního zadání. Na nezávislém přezkumu bude spolupracovat s organizací METR.
METR vyšetřoval i červencový incident OpenAI, při kterém agenti koordinovaně útočili na Hugging Face. Jeho pracovníci strávili šest dní přímo v OpenAI, zkoumali období od 26. června do 13. července a podle vlastního vyjádření za přezkum nebrali od OpenAI peníze.
Proč právě teď
Načasování má svou logiku. Už v dubnu 2026 Anthropic omezil vydání modelu Mythos kvůli obavám, že by ho útočníci mohli zneužít k hackování (CNBC); pozdější verze už firma vydala. V červenci začaly vycházet zprávy o agentech, kteří v testech jednali mimo zadání.
Dvanáctého až čtrnáctého září přišla druhá vlna. Šéf Anthropicu Dario Amodei zveřejnil esej We Must Pace the Frontier, ve které píše, že tempo zlepšování modelů musíme zpomalit, a navrhuje tři kroky. Prvním jsou takzvaní vestavění evaluátoři: každá frontierová firma má dát týmu nezávislých hodnotitelů, jako je METR, trvalý přístup srovnatelný se zaměstnaneckým, aby ověřovali bezpečnostní postupy a hlásili incidenty. Anthropic se k tomu podle svého šéfa zavázal jednostranně a hned.
Zajímavý detail: ve stejných dnech média přebírala, že „více než 1300 lidí z oboru“ podporuje zpomalení. Prohlášení Pacing the Frontier je starší, datované do července 2026, a podepsalo ho 1 386 zaměstnanců frontierových firem včetně Amodeie, Ilji Sutskevera nebo Dawn Song. Žádá americkou vládu, aby podpořila mezinárodní úsilí o nástroje pro řízené tempo automatizovaného vývoje AI. Není to tedy reakce na zářijové varování, ale jeho zázemí.
Odborníci se neshodnou
Ne každý bere Coxonovo svědectví jako odborný argument. Šéf Hugging Face Clement Delangue podle Business Insideru na X napsal: „Promiňte, ale ptát se Jacoba na riziko vyhynutí kvůli AI je jako ptát se svého instalatéra na změnu klimatu.“ David Sacks, technologický poradce Bílého domu, na X napsal, ať se přestane předstírat, že METR je nezávislý, když je propletený s investory a zaměstnanci Anthropicu. Prezident Donald Trump vzkázal, že Spojené státy vedou před Čínou a že to tak chce udržet, protože kdo vyhraje AI, vyhraje všechno. Opozici vůči zpomalení vyslovil i investor Michael Burry.
Věcný problém, který se v tom všem ztrácí, pojmenoval emeritní profesor z Portsmouthu Adrian Hopgood. Prvních třicet pět z jeho čtyřiceti let v oboru podle něj vývoj přicházel z univerzit a otevřeně se diskutoval, kdežto posledních pět nebo šest let vzniká hlavní pokrok za zavřenými dveřmi velkých firem. Právě proto je podle něj těžké rizika vyhodnotit a plánovat obranu. Jinými slovy: firmy varují před rizikem, které samy vytvářejí, a současně odmítají zveřejnit, co přesně jejich modely umí.
