Největší problém není robot s červenýma očima
Primární text na Sify.com používá výraz „rogue AI“ a vrací do hry známý scénář digitálního monstra. Ten je efektní, ale pro běžného čtenáře trochu zavádějící. Dnešní jazykový model nemá vlastní vědomí ani tajný plán na převzetí lidstva. Je to statistický systém, který zpracuje vstup a vygeneruje pravděpodobnou odpověď. Pokud ho napojíte na e-mail, cloud nebo vývojářské nástroje, může však provádět kroky s reálnými následky. Bezpečnost proto není jen otázka toho, zda model odmítne jednu zakázanou otázku.
Jde také o to, zda firma umí předem měřit nebezpečné schopnosti, zda zveřejní výsledky, zda má postup pro incidenty a zda zaměstnanec může upozornit na problém, aniž by přišel o práci. Přirovnání k autu sedí lépe než Terminátor: nejde jen o výkon motoru, ale také o brzdy, airbagy a servisní manuál.
Co skutečně zjistil bezpečnostní index
Future of Life Institute porovnal Anthropic, OpenAI, Google DeepMind, xAI, Metu, Zhipu AI a DeepSeek v šesti oblastech. Celkové známky nebyly povzbudivé: Anthropic získal C+ (2,64 bodu), OpenAI C (2,10), Google DeepMind C− (1,76), xAI D (1,23), Meta D (1,06), Zhipu AI F (0,62) a DeepSeek F (0,37). Jde o průměr přes všech šest oblastí, nikoli o měření „inteligence“ modelů.
Nejcitovanější je samostatná kategorie existenční bezpečnosti. V ní dostaly Anthropic známku D a Google DeepMind D−. OpenAI, xAI, Meta, Zhipu AI i DeepSeek skončily na F. Termín zní jako scénář z filmového plakátu, v reportu ale označuje hlavně přípravu na rizika systémů, které by jednou mohly mít výrazně širší autonomii a schopnosti. Index netvrdí, že takový systém už existuje. Tvrdí něco střízlivějšího: firmy zveřejnily jen omezené a ne vždy přesvědčivé plány, jak by jeho chování udržely pod kontrolou.
Proč známka není rozsudek
Výzkumníci sbírali podklady od 24. března do 24. června 2025 a expertní hodnocení probíhalo do 9. července. Pracovali s veřejnými materiály a 34otázkovým průzkumem, na který odpověděly pouze OpenAI, Zhipu AI a xAI. To je zásadní omezení: nízká známka může znamenat slabou praxi, ale také slabé zveřejňování informací. Autoři navíc upozorňují na západocentrickou metodiku a na to, že ne každý hodnotitel posuzoval každou oblast.
Index tedy není certifikát, který by říkal „Anthropic je bezpečný a DeepSeek nebezpečný“. Je to spíše audit toho, co lze zvenku dohledat. Právě to je pro veřejnost důležité. Bez transparentnosti nemohou zákazníci, novináři ani regulátoři rozlišit skutečně robustní ochranu od hezky napsané stránky s etickými zásadami.
Biologické riziko: jen tři firmy ukázaly seriózní testy
V oblasti nebezpečných schopností index uvádí další nepříjemný detail. Substantivní testování schopností spojených s bioterorismem nebo kyberterorismem doložily pouze Anthropic, OpenAI a Google DeepMind. Anthropic jako jediný popsal také zkoušku, do níž byli zapojeni lidé a která se týkala biologického rizika. U ostatních firem byly podklady omezené, nebo chyběly.
Nejde o návod k výrobě nebezpečných látek a report sám nedokazuje, že by model některé firmy takový návod poskytl. Ukazuje ale slabé místo celého oboru: test „model odmítl dotaz“ je mnohem jednodušší než ověřit, zda kombinace modelu, nástrojů a lidského operátora skutečně snižuje riziko v reálném světě. Hodnotitelé kritizovali také to, že metodiky často dostatečně nevysvětlovaly, jak konkrétní test souvisí s konkrétním rizikem.
Evropa přidává pravidla, ne kouzelné tlačítko
Pro české uživatele je podstatné, že modely těchto firem jsou běžně dostupné přes webová rozhraní a API i z Česka a většina z nich zvládá češtinu. Samotný index však českou kvalitu ani lokalizaci neměří. U české firmy proto nejde bezpečnost přenést na větu „používáme evropskou službu“: rozhodující je, k jakým datům a nástrojům model dostane přístup a kdo schvaluje jeho výstupy.
Evropský AI Act už mezitím není jen návrh na konferenčním slidu. Podle aktuálního implementačního kalendáře začala většina pravidel platit 2. srpna 2026. Poskytovatelé obecných modelů (GPAI) mají povinnosti v oblasti dokumentace, řízení rizik a transparentnosti. U systémů vytvářejících syntetický text, obraz, zvuk nebo video se povinnost označování pro dříve uvedené systémy naplno projeví 2. prosince 2026.
To jsou konkrétní povinnosti, nikoli důkaz, že model je bezpečný. Zákon také nevyřeší situaci, kdy firma interně ví o problému, ale informace se k veřejnosti nedostane. Index uvádí, že úplnou veřejnou whistleblowingovou politiku publikovala pouze OpenAI; u dalších společností byly informace částečné nebo neveřejné. Pro evropské odběratele je proto stejně důležitá smluvní dokumentace, možnost incident nahlásit a auditní stopa jako samotný název modelu.
Co z toho plyne při práci s AI
Nejrozumnější reakce není vypnout všechny chatboty ani věřit každému „bezpečnému“ odznaku. Firmy by měly začít u jednoduchého provozního pravidla: model bez dozoru nesmí sám posílat peníze, mazat data, publikovat text ani měnit produkční kód. Přístupová práva mají být co nejmenší, citlivé údaje oddělené a důležité kroky schvalované člověkem. To platí pro český e-shop stejně jako pro velkou banku.
Většina dnešních problémů ostatně nevypadá jako vzpoura stroje. Vypadá jako přesvědčivá halucinace, uniklé osobní údaje, zneužitý agent nebo automatizované šíření podvodu. Zpráva Sify má pravdu v tom, že marketingové sliby o budoucí inteligenci bývají odvážnější než popis kontrolních mechanismů. Přesnější závěr indexu je ale méně filmový a o to užitečnější: čím více pravomocí modelu svěříme, tím více potřebujeme měřit nejen jeho výkon, ale i kvalitu brzd.
Znamená známka F, že je model dané firmy okamžitě nebezpečný?
Ne. Index hodnotí veřejně doložené bezpečnostní postupy, transparentnost a připravenost, nikoli pravděpodobnost konkrétního útoku. Nízká známka znamená, že autoři nenašli dostatečné důkazy o robustním přístupu.
Týká se AI Safety Index přímo českých uživatelů?
Nepřímo. Hodnocené firmy poskytují své modely i evropským zákazníkům, ale index neprovádí samostatný test češtiny ani českých služeb. Pro české firmy jsou proto důležité také povinnosti podle EU AI Actu a vlastní kontrola přístupů k datům.
Co může udělat malá firma bez vlastního bezpečnostního týmu?
Omezit oprávnění AI nástrojů, nepřipojovat je automaticky k citlivým systémům, vést záznamy o použití a vyžadovat lidské schválení u nevratných akcí. To jsou základní provozní pojistky, které nezávisí na marketingové známce modelu.
