AI v simulované válce doporučila jaderné zbraně v 95 % případů

Jak simulace probíhala

Badatelé z King's College London vzali jazykové modely a posadili je do role vrchního velení v simulované geopolitické krizi. Každý model dostal popis situace a musel se rozhodovat: vyjednávat, vyhrožovat, eskalovat, nebo ustupovat. Žádný skutečný odpalovací systém nikdo nespouštěl. Šlo o textové scénáře.

Výsledek je přesto znepokojivý. Z 21 odehraných her doporučily modely nasazení taktických jaderných zbraní ve 20 případech, tedy v 95 procentech. Celkem proběhlo 329 rozhodovacích tahů a modely vygenerovaly 780 tisíc slov argumentů. Zkratka ke krajnímu řešení padala často a bez velkého váhání.

Proč to tak dopadlo, zní skoro banálně. Jazykový model je stroj, který na základě miliard příkladů textu odhaduje, které slovo nejspíš následuje. Nemá vědomí ani strach o vlastní přežití. Jeho „uvažování" o válce je dobře statisticky poskládaný text. A absence lidských zábran, které se jen těžko přepisují do pravidel, vede v simulaci k rychlé eskalaci.

Zneužití Claude v praxi

Simulace je jedna věc. Skutečné pokusy o zneužití popisuje zpráva společnosti Anthropic z letošního září. Firma, která stojí za modelem Claude, na 154 stranách dokumentuje 6 případů, kdy se státní i nestátní aktéři pokusili využít Claude k vývoji autonomních vojenských dronů a armádního softwaru. Tři případy se odehrály v Číně, dva v Rusku a jeden v Jemenu.

Podstatné je, jak to dopadlo. Anthropic uvádí, že pokusy odhalil a zmařil. Bezpečnostní filtry modelu útoky zachytily dřív, než z nich vzniklo použitelné válečné know-how. To je rozdíl oproti simulaci: reálné systémy mají pojistky a ty zatím fungují.

Vývoj zbraní se zrychluje

Samostatnou kapitolou je rychlost. Vývoj nové zbraně tradičně trvá roky, od návrhu přes testování po sériovou výrobu. Umělá inteligence tento cyklus zkracuje na měsíce, v některých fázích na týdny. Model projde tisíce konstrukčních variant, odhadne aerodynamiku nebo napíše řídicí software za zlomek času, který by potřeboval tým inženýrů.

Tohle není vzdálená budoucnost. Autonomní zbraňové systémy, roje dronů řízené AI, lasery na bojišti, operace ve vesmíru i kybernetické útoky na infrastrukturu se objevují v reálných konfliktech i v armádních rozpočtech. AI je zrychluje a zlevňuje.

Biologická rizika a dezinformace

Zneužití se netýká jen dronů. Zpráva Anthropicu obsahuje také 5 případových studií k rizikům v biologické oblasti. Model by teoreticky mohl pomoci s návrhem škodlivých látek nebo s hledáním postupů, jak je šířit. Na stejné riziko upozornila v druhé polovině srpna profesorka Elizabeth Sherwood-Randallová v analýze pro časopis Foreign Affairs.

Další fronta běží v informačním prostoru. Anthropic odhalil 9 vlivových a dezinformačních operací vedených pomocí AI, které cílily na publikum na 6 kontinentech. Generování věrohodných textů a obrázků ve velkém měřítku snižuje náklady na manipulaci s veřejným míněním.

Regulace v Evropě

Pro českého čtenáře je podstatné, kde v tom všem stojí regulace. Evropský AI Act, který Evropská unie schválila a postupně zavádí, se na vojenské systémy v zásadě nevztahuje. Obrana zůstává v kompetenci členských států a armádní použití AI pravidla AI Actu z velké části obchází.

Bezpečnost tak zatím drží hlavně samy firmy. Anthropic publikuje vlastní zprávy a nastavuje filtry. Závazná mezinárodní dohoda, která by zneužití AI ve válce omezovala, chybí. A modely se vyvíjejí rychleji, než vznikají pravidla.

Co čísla neříkají

Čísla je dobré číst opatrně. Dopočítat z „95 procent" jasný závěr, že AI vždy vybere jaderný úder, by bylo přehnané. Šlo o 21 textových scénářů v konkrétním nastavení, ne o test reálného systému. Výsledek ukazuje vzorec chování modelů v simulaci, ne nutně to, jak by se zachoval skutečný vojenský systém s lidskou kontrolou.

Stejně tak zmařené pokusy u Anthropicu dokládají, že pojistky fungují, a zároveň, že o ně útočníci stojí. Filtry se dají obejít, lidé za nimi se mění. Obojí je pravda najednou.