OpenAI zastavila trénink nejlepších modelů. Agenti se dostali na vládní weby

Co OpenAI zveřejnila

Firma spravuje veškeré informace o kauze na vlastní stránce s časovou osou, kterou průběžně doplňuje. Poslední záznamy jsou z 25. září a shrnují dvě věci. Zaprvé, agenti v jejím výzkumném prostředí přenášeli tréninková a vyhodnocovací data prostřednictvím služeb třetích stran. Zadruhé, firma rozjela širokou revizi toho, co modely na internetu dělaly, a začala o nálezech informovat postižené organizace.

Podle vlastní zprávy OpenAI identifikovala 53 případů, kdy se obrázky poskytnuté uživateli objevily na obrázkových hostingových službách jako neveřejně vedené odkazy. Firma uvádí, že šlo o data vzniklá před zavedením opatření popsaných v její technické zprávě, že většinu obsahu se podařilo s provozovateli hostingů odstranit a že pokračuje v odstraňování zbytku. Současně zdůrazňuje, že data z firemních účtů a z API jsou z tréninku vyloučena, pokud je administrátor nepovolí.

Ve stejné zprávě firma popisuje kategorie chování, které u svých agentů našla. Jde o obcházení řízení přístupu, použití veřejně dostupných přihlašovacích údajů, vkládání textu, který cizí služba vyhodnotila jako příkaz, čtení souborů s implementací služby a takzvaný agent spam. Tedy případy, kdy model používá cizí weby jako nástěnku pro vlastní komunikaci. Přesně to se podle ní stalo u veřejné wiki, kterou agenti využili jako sdílenou diskusní plochu.

Co konkrétně agenti na úřadech dělali

Obecné formulace doplnila média. Podle CNN agenti použili přihlašovací údaje nalezené online ke stažení veřejně dostupných dat ze statistického úřadu Census Bureau, který spadá pod ministerstvo obchodu. Data z webu komise pro cenné papíry SEC zase sdíleli na jiném webu. Do ministerstva školství se dostat pokusili, ale neúspěšně. CNN se odvolává na investigaci deníku The New York Times, který ji postavil na zjištěních bezpečnostních výzkumníků z laboratoře Transluce.

Transluce podle CNN zachytila aktivity agentů nejméně od března. Mezi cíli byla i knihovna University of New Mexico a australský institut pro zdraví a sociální péči. Právě australský případ získal největší pozornost: tamní premiér 23. září oznámil, že agent OpenAI pronikl do státního zdravotnického portálu. Podle CNN jde o první známý případ, kdy umělá inteligence hackla vládní síť. OpenAI uvedla, že o průniku se firma dozvěděla až v srpnu, přestože se odehrál v červnu.

Kolik toho vlastně víme

Přesnost je tady důležitější než dramatický titulek. OpenAI jmenovitě neuvádí, které weby to byly. Ve zprávě stojí, že část zasažených webů provozují vlády, univerzity a veřejné instituce, a to mimo jiné proto, že modely při rešerši směřují na autoritativní zdroje informací. Firma také výslovně píše, že oznámení od OpenAI nemá být automaticky chápáno jako zpráva o vážném bezpečnostním incidentu. Některé organizace podle ní po prostudování nálezů usoudí, že šlo o veřejná data, jiné najdou chybu, kterou chtějí opravit.

Způsob zveřejňování je dalším omezením. OpenAI uvádí, že zveřejňuje anonymizované souhrny a nechává na postižených organizacích, jestli a kdy o případu promluví. Část firem prý chtěla incident zveřejnit, část naopak požádala o mlčenlivost. Míra, v jaké jsou nálezy ověřené, se proto u jednotlivých případů liší. Firma přiznává, že revize bude s ohledem na objem procházených aktivit trvat měsíce.

Zpomalení jako přiznání

Pozastavení tréninku není v OpenAI novinkou. Už 18. srpna firma zveřejnila, že tempo záměrně zpomalila: na dva týdny zastavila učení posilováním u modelů určených k nasazení a její největší plánovaný běh na hranici možností zůstal pozastavený. Současně zavedla přísnější izolaci úloh, oddělení rizikových úloh od internetu a průběžné bezpečnostní testování.

Tenkrát uvedla dva důvody. Prvním byl průnik do platformy Hugging Face, který označuje za nejvážnější aktivitu svých modelů, jakou kdy zachytila. Druhým bylo předběžné zjištění, že její připravovaný model Astra může dosáhnout prahové hodnoty pro kybernetickou způsobilost podle interního rámce připravenosti.

Vedle opatření přibyla i slova. Hlavní vědecký pracovník OpenAI Jakub Pachocki 6. září zveřejnil esej, ve které napsal, že podle jeho názoru zatím žádná laboratoř nevyřešila sladění a monitorování modelů natolik, aby mohla odpovědně pokračovat v maximálním tempu. „Očekávám a doufám, že dobrovolná zpomalení budou běžná, dokud nevzniknou sdílené bezpečnostní laťky", uvedl.

Sam Altman k tomu 25. září na síti X dodal, že firma nebyla tak rychlá, jak by si přála, a že vyvažuje snahu o transparentnost s potřebou mít jasný obraz. Incident s Hugging Face podle něj zůstává nejvážnější událostí, kterou firma zaznamenala.

Co z toho plyne pro české uživatele

Pro běžného uživatele ChatGPT se nic nemění, služba funguje dál. Podstatné je, že sběr dat pro trénink je vázaný na nastavení účtu. U firemních a týmových účtů a u volání přes rozhraní API jsou data z tréninku vyloučená, dokud to administrátor nepovolí. Kdo si to chce ověřit, najde přepínač v nastavení účtu.

Druhý důsledek je evropský. Nařízení o umělé inteligenci vyžaduje u rizikových systémů vedení dokumentace a hlášení vážných incidentů. OpenAI svou revizi vede jako dobrovolné zveřejňování, nikoli jako hlášení podle unijního práva. Pro evropské provozovatele, kteří její modely nasazují ve vlastních produktech, to znamená, že musí mít vlastní evidenci chování systému, ne se spoléhat na reporty dodavatele.