Kalifornie chce vypínač pro AI. Brzy může rozhodnout, kdy ho musí mít

Nejde o tlačítko, které vypne internet

Výraz „kill switch“ zní jako červené tlačítko z hollywoodského filmu. V praxi by šlo spíše o technický a organizační mechanismus, který umožní rychle zastavit provoz konkrétního frontier modelu, pokud by se vymkl kontrole nebo způsobil vážný bezpečnostní incident.

Může jít například o odstavení modelu v API, zablokování jeho nasazení v datových centrech nebo znemožnění přístupu k určité verzi systému. Přesná podoba zatím není stanovená. Právě proto má expertní skupina nejdříve posoudit, zda by takový mechanismus fungoval i v krizové situaci, kdo by ho mohl aktivovat a jak by se ověřovalo, že opravdu funguje.

Prováděcí nařízení Executive Order N-9-26 neukládá firmám okamžitě instalovat vypínač. Vláda v něm zadává přípravu doporučení k případným změnám stávajících zákonů. Mezi zvažovanými opatřeními je také průběžné nezávislé ověřování účinnosti nouzového vypnutí.

Experti mají čas do 16. listopadu

Kalifornská Government Operations Agency má ve spolupráci s úřadem pro krizové řízení a národními odborníky předložit doporučení nejpozději 16. listopadu 2026. Panel má řešit několik oblastí najednou.

• zda mají být nezávislé ověřovací organizace přímo přítomné v laboratořích velkých vývojářů;
• zda mají bezpečnostní rámce a hodnocení rizik procházet nezávislou kontrolou;
• zda je možné zavést povinný kill switch pro frontier modely;
• jak rozšířit povinnost hlásit kritické bezpečnostní incidenty, včetně případů ztráty kontroly nad AI systémy.

Nařízení zároveň stanovuje delší termíny pro praktické zavedení nového systému. Požadavky a postupy pro nezávislé ověřovací organizace mají být připraveny do 1. května 2027. Další kroky spojené s dohledem nad těmito organizacemi mají začít nejpozději 1. prosince 2027.

To je podstatný rozdíl oproti titulku „Kalifornie nařídila vypínač pro AI“. Přesnější formulace zní: Kalifornie zahájila proces, který může vést k povinnému vypínači. O konečné podobě pravidel se teprve rozhodne.

Proč stát řeší vypnutí právě teď

Newsom své rozhodnutí zasadil do série incidentů, při nichž se podle kalifornské vlády objevily pokusy využít AI k obcházení bezpečnostních opatření, útokům na jiné společnosti nebo k přípravě biologických zbraní. Mezi impulzy patří také nedávný útok spojený s platformou Hugging Face.

Podle původní zprávy The Decoder se debata netýká pouze úřadů. K přísnějšímu dohledu a větší kontrole vývoje v poslední době vyzývají také někteří představitelé samotného AI průmyslu. Důvod je jednoduchý: moderní model už nemusí pouze odpovídat na otázky. Může používat nástroje, psát kód, pracovat s firemními systémy a provádět vícekrokové úkoly.

Čím více pravomocí agentní AI dostává, tím méně stačí spoléhat na klasické pravidlo „když se něco pokazí, službu vypneme“. U rozsáhlého systému může být problém zjistit, co přesně vypnout, jak rychle to udělat a jak zabránit opětovnému spuštění. Kill switch proto není jen funkce v softwaru. Je to kombinace technické infrastruktury, přístupových práv, monitoringu a jasných rozhodovacích pravomocí.

Kalifornie navazuje na vlastní pravidla

Nové nařízení nepřichází do právního vakua. Kalifornie už v roce 2025 přijala zákon SB 53, který se zaměřuje na transparentnost a bezpečnost frontier AI. Vývojáři nejvýkonnějších modelů podle státu musí zveřejňovat bezpečnostní rámce, hlásit vybrané kritické incidenty a chránit oznamovatele, kteří upozorní na vážná rizika. Kalifornská vláda na tento rámec odkazuje i ve zprávě o nových bezpečnostních opatřeních.

Související definice „katastrofického rizika“ pracuje s hranicí nejméně 50 úmrtí nebo škody či krádeže přesahující 1 miliardu dolarů. To neznamená, že by se každé selhání chatbotu automaticky dostalo do této kategorie. Jde o práh pro nejzávažnější scénáře, na které se přísnější dohled zaměřuje.

Kalifornie 9. září 2026 zároveň podepsala zákony SB 813 a AB 1405, které podle dostupných informací vytvářejí registr auditorů AI a certifikační rámec pro nezávislé ověřovací organizace. Výkonný příkaz z 18. září na tuto infrastrukturu navazuje. Stát se tak nesnaží pouze říct firmám „kontrolujte se“, ale připravuje systém, v němž by kontrolu prováděly externí organizace s technickou odpovědností.

Newsom změnil názor oproti roku 2024

Politický kontext je poměrně výrazný. V září 2024 Newsom vetoval návrh zákona SB 1047, který měl zavést přísnější povinnosti pro vývojáře velkých AI systémů a obsahoval také požadavky spojené s možností jejich nouzového odstavení.

Ve zdůvodnění tehdejšího veta Newsom argumentoval tím, že návrh se příliš soustředil na velikost systému a mohl dopadat i na základní funkce, které nepředstavují stejnou míru rizika. O dva roky později se jeho přístup posunul. Nejde už tolik o plošné pravidlo pro všechny velké modely, ale o kombinaci nezávislých auditů, hlášení incidentů a kontroly nejvýkonnějších systémů.

Rozdíl je důležitý i technicky. Velikost modelu sama o sobě neříká, co všechno dokáže. Riziko závisí také na tom, zda má přístup k internetu, firemním databázím, nástrojům pro tvorbu kódu nebo autonomnímu provádění úkolů. Nový kalifornský přístup se proto snaží sledovat nejen parametry modelu, ale také jeho použití a bezpečnostní opatření kolem něj.

Co to znamená pro české uživatele a firmy

Pro české uživatele se podpis nařízení v tuto chvíli prakticky neprojeví. Nemění dostupnost současných AI služeb v Česku ani Evropské unii, jejich ceny nebo podporu češtiny. Nejde o nový model a žádná konkrétní služba kvůli němu nemusí být v Evropě vypnuta.

Dopad může být nepřímý. Kalifornie je domovem velké části předních AI laboratoří a její pravidla mohou ovlivnit způsob, jakým tyto společnosti dokumentují bezpečnost, testují agentní funkce a reagují na incidenty. Pokud by některé povinnosti dopadly na vývojáře s globálními službami, české firmy by se s nimi mohly setkat prostřednictvím podmínek používaného API nebo podnikové platformy.

To je ale zatím pouze možný provozní důsledek, nikoli nová povinnost pro české firmy. O skutečných pravidlech se rozhodne až po listopadových doporučeních a případném schválení legislativních změn.

Nejtěžší otázka: kdo smí vypnout model?

Technická možnost vypnutí je jen první polovina problému. Druhá se týká pravomocí. Pokud má model běžící v datových centrech více poskytovatelů, může být jeho zastavení složitější než deaktivace jednoho účtu. U otevřených modelů je situace ještě komplikovanější, protože jejich váhy mohou být stažené a provozované na infrastruktuře třetích stran.

Kalifornské nařízení se zaměřuje na „frontier developers“, tedy velké vývojáře nejvýkonnějších modelů. Z textu ale zatím neplyne, že by stát mohl jedním příkazem vypnout všechny kopie konkrétního modelu na celém světě. Smyslem navrhovaného mechanismu je spíše zajistit kontrolu nad oficiálně provozovanými systémy a ověřit, že jejich poskytovatel dokáže v krizové situaci rychle zasáhnout.

Kalifornie tím otevírá praktickou otázku, kterou dosud často překrývaly debaty o přesnosti a zaujatosti modelů: má provozovatel umělé inteligence nejen vědět, co jeho systém dělá, ale také být schopen ho okamžitě zastavit? Odpověď zatím není v zákoně. Nové nařízení však ukazuje, že se k ní kalifornští regulátoři chtějí dostat rychle.

FAQ