Od asistenta k autonomnímu vývojáři za pár let

Ještě před několika lety modely jako GPT-3 sotva zvládaly napsat souvislý odstavec textu. Dnes nejpokročilejší systémy samostatně provádějí komplexní úkoly — píší a testují kód, koordinují se s dalšími AI agenty a v některých oblastech překonávají lidské experty. Claude Mythos, dosud nejsilnější model Anthropicu, objevil tisíce kritických zranitelností ve všech hlavních operačních systémech a prohlížečích.

Právě tento prudký růst schopností vedl Anthropic k vydání zprávy, v níž varuje před scénářem, kterému odborníci říkají rekurzivní sebezdokonalování. V praxi to znamená, že AI systémy by mohly začít samy navrhovat, trénovat a vylepšovat své další generace — bez toho, aby člověk procesu plně rozuměl nebo ho dokázal kontrolovat. Jinými slovy: AI by se stala tvůrcem lepší AI a lidský dohled by se vytratil.

„Věříme, že by bylo prospěšné, kdyby měl svět možnost zpomalit nebo pozastavit vývoj špičkové umělé inteligence, aby sociální struktury a výzkum bezpečnosti AI mohly držet krok s vývojem technologie," citovala zprávu Anthropicu vietnamská televize VTV, která jako první o materiálu informovala 5. června 2026.

Čtyři katastrofické scénáře, kterých se Anthropic obává

Jen několik dní po zprávě zmíněné VTV zveřejnil Anthropic 10. června rozsáhlý dokument nazvaný Policy on the AI Exponential, který identifikuje čtyři kategorie katastrofických rizik spojených s nekontrolovaným vývojem AI:

Biologické riziko — stejné schopnosti, které urychlují vývoj léků, mohou zlevnit a usnadnit výrobu nebezpečných virů biologickými útočníky. Anthropic proto doporučuje screening genové syntézy a systémy včasného varování před novými patogeny.

Kybernetické riziko — špičkové modely dnes dokážou v masivním měřítku odhalovat softwarové zranitelnosti. Obranně je to přínos, ale stejný nástroj v rukou útočníků znamená ohrožení nemocnic, energetických sítí a další kritické infrastruktury.

Ztráta kontroly — čím schopnější AI systémy budou, tím těžší bude zajistit, aby jednaly v souladu se záměry svých tvůrců. Anthropic otevřeně přiznává, že výzkum v této oblasti je zatím v plenkách.

Automatizovaný výzkum a vývoj — AI systémy už dnes automatizují vývoj samotné AI, což může všechna tři předchozí rizika dramaticky zesílit. Jde o multiplikátor, který zrychluje celý cyklus vývoje — včetně rizik.

Konkrétní návrhy: transparentnost, nezávislý audit i vládní zásah

Anthropic ve svém rámci navrhuje sadu konkrétních opatření. Vývojáři špičkových modelů — definovaných jako systémy trénované s výpočetním výkonem nad 10²⁵ FLOPs u firem s příjmy z AI nad 500 milionů dolarů — by museli splňovat čtyři klíčové podmínky:

Transparentnost — zveřejňovat výsledky bezpečnostních testů, pravidelně reportovat o rizicích a publikovat bezpečnostní rámce. To už dnes vyžadují zákony v Kalifornii a New Yorku. Anthropic jde dál a požaduje pravidelné zprávy o celkovém rizikovém profilu.

Nezávislý audit — zapojit alespoň jednoho kvalifikovaného nezávislého hodnotitele, který přezkoumá testování a rizikové zprávy. Paralelně by vlády měly budovat ekosystém těchto nezávislých auditorů.

Bezpečnost infrastruktury — chránit tréninková data a váhy modelů proti kyberútokům, a to jak zvenčí, tak zevnitř firmy. Modely jsou dnes cenným terčem i pro státní aktéry.

Vládní pravomoc zastavit nasazení — to je nejkontroverznější bod. Anthropic navrhuje, aby vláda mohla zablokovat nebo odradit od nasazení modelů, které představují významné riziko katastrofického poškození. Zároveň ale varuje před příliš širokými pravomocemi a navrhuje konkrétní pojistky proti zneužití.

Proč je to kontroverzní

Ne všichni vítají Anthropicem navrhovaná opatření s nadšením. Kritici upozorňují na zjevný paradox: firma s tržní hodnotou téměř bilion dolarů volá po zpomalení závodu, ve kterém sama vede. Někteří investoři a experti varují, že podobné regulace mohou nechtěně zvýhodnit etablované hráče a zabrzdit inovaci menších firem a startupů.

Ironií osudu je, že pouhý den po zveřejnění rámce — 12. června 2026 — americká vláda vydala směrnici o kontrole exportu, která pozastavila přístup k modelům Fable 5 a Mythos 5, tedy k nejvýkonnějším systémům, které Anthropic dosud vytvořil. Firma tak na vlastní kůži zažívá přesně to, co navrhuje pro celé odvětví.

Co to znamená pro Česko a Evropu

Zatímco v USA se debata o regulaci AI teprve rozjíždí na federální úrovni, Evropská unie už má vlastní AI Act, který vstoupil v platnost a zavádí povinnosti pro vývojáře vysoce rizikových AI systémů. Anthropicem navrhovaný rámec je v mnoha ohledech ambicióznější — zejména v požadavku na pravomoc vlád blokovat nebezpečné modely, což evropská legislativa v této podobě neobsahuje.

Pro české firmy a vývojáře z toho plyne jasné poselství: regulace AI není jen bruselské téma. I nejhodnotnější AI startup planety říká, že bezpečnostní brzdy jsou nutné. Pro menší evropské hráče to může znamenat příležitost — pokud budou schopni prokázat, že jejich modely jsou bezpečné a transparentní, mohou v regulovaném prostředí získat konkurenční výhodu oproti těm, kdo bezpečnost podceňují.

Česká republika navíc letos spustila Czech AI Factory v Ostravě, která má ambici stát se součástí evropské AI infrastruktury. Právě důraz na bezpečnost a transparentnost může být pro české projekty cestou, jak se v globální konkurenci prosadit.