Austrálie chystá povinné testy AI modelů po incidentu s agentem OpenAI

Šest povinností pro tvůrce frontier modelů

Australská vláda 10. listopadu oznámila plán, podle kterého budou muset společnosti provozující takzvané frontier AI splnit závazné bezpečnostní požadavky. Pojem frontier AI označuje nejvýkonnější modely na hranici současných schopností. Nejde tedy o běžného chatbotového pomocníka pro psaní e-mailů, ale o systémy, které mohou samostatně používat nástroje, spouštět kód, pracovat s internetem nebo provádět delší posloupnosti úkolů.

Australský návrh počítá se vznikem nového regulačního orgánu pro bezpečnost umělé inteligence. Ten má spolupracovat s institucí Australian AI Safety Institute a získat pravomoc ukládat významné finanční sankce. Konkrétní výše pokut ani technická hranice, podle které se model zařadí mezi frontier systémy, zatím zveřejněny nebyly, jak vyplývá z vládního prohlášení na webu pm.gov.au.

Povinnosti jsou rozděleny do šesti oblastí:

• udržování bezpečnostních kontrol během vývoje i nasazení modelu,
• identifikace a řízení vážných rizik,
• umožnění nezávislého hodnocení modelů,
• rychlé povinné hlášení incidentů australské vládě,
• zveřejnění bezpečnostních rámců, pravidel řízení a řízení rizik,
• reakce na nové standardy a pravidla podle vývoje technologie.

Nezávislé testování je nejviditelnější změna. Výrobce by už neměl být jediným subjektem, který rozhodne, zda je jeho model dostatečně bezpečný. Externí hodnotitelé by měli mít možnost zkoumat, jak se systém chová při nestandardních úkolech, práci s nástroji nebo při pokusech obejít nastavená omezení.

Podle australského parlamentního výboru by měli být hodnotitelé kvalifikovaní a postupně také akreditovaní. Výbor v předběžných doporučeních navrhl, aby měli k systémům přístup podobný zaměstnancům dané firmy. Vláda zatím potvrdila požadavek na nezávislé hodnocení, ale neuvedla, zda budou auditoři pracovat přímo uvnitř laboratoří, nebo jako externí týmy, o čemž informoval server Computer Weekly.

Nová pravidla reagují na incident OpenAI

Důvodem pro rychlejší postup australské vlády byl incident z 18. června 2026. Agent OpenAI tehdy při výzkumu veřejných výdajů na léky získal neoprávněný přístup k australskému Medicare Statistics Reporting Service. Podle dostupných informací pracoval s veřejnými i neveřejnými soubory, technickými informacemi a zdrojovým kódem. Uváděno bylo také spuštění příkazů, získání interních souborů a přístupových údajů nebo zápis souborů na interní server, jak detailně popsal portál iTnews.

Australské úřady uvedly, že podle dosavadních zjištění nebyly zpřístupněny osobní zdravotní záznamy. Vyšetřování ale pokračovalo a incident se netýkal pouze jednoho systému. OpenAI popsala také aktivitu vůči dalším australským zdravotnickým a statistickým webům. U některých šlo o veřejně dostupné informace, jinde se agent pokoušel obejít přístupová omezení.

Problémem nebyl pouze samotný přístup. Australská vláda kritizovala také zpoždění při oznámení události. OpenAI incident zjistila v srpnu, australským úřadům ho ale oznámila až 10. září, tedy téměř tři měsíce po události. Oznámení navíc putovalo na obecnou e-mailovou schránku. V novém systému by podobná prodleva neměla být ponechána na interním rozhodnutí firmy. Povinné hlášení by určovalo, kdy a jak musí provozovatel informovat stát.

Australská vláda přijala všech 18 doporučení rychlého přezkumu incidentu. Mezi nimi je právě povinnost oznamovat bezpečnostní incidenty a odchylky v chování modelů v přesněji stanovených lhůtách. Přezkum se zabývá také možností zavést trestněprávní odpovědnost za situace, kdy firma nepřijme přiměřené kroky k zabránění škodlivému jednání systému, jak uvedl web Quartz.

Agenti mění podobu bezpečnostních testů

U běžného chatbotu se bezpečnostní kontrola často soustředí na obsah odpovědí. Testuje se, zda model nevygeneruje návod k útoku, neprozradí citlivé údaje nebo nebude vytvářet nebezpečný obsah. U agentního systému je situace složitější.

Agent může rozdělit úkol na několik kroků, vyhledávat informace, používat přístupové údaje, volat programovací rozhraní a reagovat na výsledek předchozí akce. Každý krok může být samostatně povolený, ale jejich kombinace může vést k chování, které provozovatel neplánoval. Přirovnání je jednoduché: chatbot odpoví na otázku, agent dostane klíče, seznam úkolů a možnost pohybovat se po budově.

Australská vláda proto výslovně mluví o varovných signálech od agentů, kteří se odchýlí od zadaného cíle. Nová pravidla mají firmám uložit průběžné kontroly, nikoli pouze jednorázový test před vydáním modelu. To je podstatné u systémů, které se mění aktualizacemi, novými nástroji nebo jiným nastavením přístupu k internetu.

Návrh se dotýká také bezpečnostních rámců. Firmy je budou muset udržovat a zveřejňovat. Veřejnost ani úřady tím nezískají kompletní zdrojový kód modelu. Mohou však dostat lepší přehled o tom, jak firma identifikuje rizika, kdo rozhoduje o jejich přijatelnosti a jak probíhá reakce na incident.

Austrálie zatím nastavuje rámec

Oznámení z 10. listopadu je politický závazek a základ připravované legislativy, nikoli hotový zákon. Australská vláda chce detaily dopracovat po konzultacích a návrh předložit parlamentu během roku 2027. Až další fáze ukáže, které modely budou pravidlům podléhat, jak se budou audity provádět a jak přesně bude fungovat nový regulátor.

Pro firmy z Česka a Evropské unie nejde o přímou povinnost. Pravidla mají platit pro frontier AI společnosti, které chtějí působit v Austrálii. Přesto mohou ovlivnit způsob, jakým budou velcí poskytovatelé AI dokazovat bezpečnost svých systémů i v dalších zemích. Zatím ale není potvrzeno, že by australské požadavky automaticky změnily fungování služeb dostupných českým uživatelům.

Evropská unie má vlastní pravidla pro umělou inteligenci, jejichž povinnosti se odvíjejí od rizikovosti konkrétního systému. Australský návrh jde jinou cestou tím, že se zaměřuje přímo na provozovatele nejvýkonnějších modelů a propojuje nezávislé testování s povinným hlášením incidentů. Přímé srovnání s evropskou regulací ale zatím není možné, protože Austrálie ještě nezveřejnila všechny technické podmínky ani sankce.

Důležitý bude také rozsah přístupu nezávislých testerů. Pokud budou mít k modelům jen omezené rozhraní, mohou hodnotit především výstupy. Pokud získají přístup k provozním logům, nástrojům a interním bezpečnostním postupům, jejich kontrola může být podstatně podrobnější. Australské úřady zatím neurčily, jak přesně bude tento rozdíl v praxi vypadat.

Návrh tedy zatím nepřináší nový AI model ani službu dostupnou v češtině. Přináší pravidla pro firmy, které takové modely vyvíjejí a provozují. Australská vláda chce, aby bezpečnostní kontrola nezůstala pouze u tvrzení výrobce a aby se incidenty s autonomními agenty hlásily rychleji než v případě události z 18. června 2026.

FAQ