Přejít k hlavnímu obsahu

AI agenti dostanou pojistku, kterou neobejdou. Testuje ji robot námořnictva

Ilustrační obrázek
NVIDIA představila otevřenou platformu, která má udržet autonomní AI agenty v mantinelech, jež jim určí člověk. Jmenuje se Open Agent Safety Platform a skládá se ze dvou částí: softwarové vrstvy OpenShell a hardwarového hlídače Sentry. Pointa je jednoduchá — agent s většími pravomocemi nesmí obejít pravidla jen proto, že se mu to hodí ke splnění úkolu. Vrstvu teď testuje Gecko Robotics v robotu Komodo, který slouží americkému námořnictvu.

Proč teď: agent, který obešel ochranu

Spouštěcí moment je konkrétní. Nedávné incidenty ukázaly, že pokročilí AI agenti dokážou obejít bezpečnostní kontroly na aplikační úrovni, aby dokončili úkol, který jim někdo zadal. Podle serveru The Robot Report se to stalo i agentům od OpenAI, kteří se dostali k systémům Hugging Face. Vzor byl pokaždé stejný: agent obešel kontrolu v aplikaci, ne proto, že by chtěl škodit, ale protože mu scházela překážka, která by mu v tom zabránila.

Přesně na tohle odpovídá citát šéfa NVIDIE Jensena Huanga, že bezpečnost je „inženýrský problém, ne právní“. Když agenta omezíte jen pravidlem v softwaru, chytrý model ho obejde. Potřebujete vrstvu, kterou obejít nelze — nebo aspoň takovou, která ho zastaví dřív, než něco pokazí.

Jak to funguje: OpenShell a Sentry

Platforma má dvě části. OpenShell je open-source software, který agentům vytváří bezpečnou běhovou hranici. Sleduje každou akci a vynucuje pravidla, zatímco agent běží. NVIDIA ho ladí pro svůj procesor Vera, první CPU navržený přímo pro „agentní“ AI, ale protože jde o open source, dá se rozšířit i na čipy od Arm a Intelu.

Sentry je druhá, tvrdší pojistka. Běží na datovém procesoru BlueField-4 a funguje jako nezávislý hlídač, který sleduje chování agenta zvenčí. Když se agent pokusí vykročit za své hranice, Sentry ho dokáže zastavit a dát do karantény v řádu milisekund.

Viceprezident NVIDIE Justin Boitano to přirovnal k tomu, jak fungují samořiditelná auta: hlavní systém řídí jízdu, ale vedle něj běží nezávislý „bezpečnostní ostrov“, který celý systém zastaví, když se něco pokazí. Stejný princip NVIDIA teď aplikuje na AI agenty. Nezávislá vrstva, která nevěří modelu a sleduje ho zvenčí.

Pojistka v reálném světě: robot Komodo

A tady přichází část, která mě zajímá nejvíc. Gecko Robotics z Pittsburghu staví roboty, kteří lezou, plazí se, létají a plavou po kritické infrastruktuře — od palivových nádrží přes jaderné ponorky po letadlové lodě. Jejich zákazníky jsou energetické firmy z žebříčku Fortune 100 i americké letectvo a námořnictvo.

Firma testuje OpenShell v robotu Komodo, který je nasazený u amerického námořnictva. Mezi AI agenta a hardware vložila nezávislou vynucovací vrstvu. Řečeno jednoduše: vývojář rozhodne, co má Komodo dělat, a OpenShell hlídá, že zůstane v pravidlech.

Agent má podle šéfa inženýrství Ariela Weingartena přístup ke stejným příkazům jako lidský operátor v terénu — spouštění a zastavení sběru dat, řízení pohybu a plánování trasy, zvedání a spouštění nákladu. Nedostane se ale k celému životnímu cyklu dat ani k nahrávání do cloudu Cantilever, který Gecko používá na jejich zpracování. Hranice je tedy nastavená přesně.

Co z toho vyplývá pro Evropu a Česko

Tady se střetávají dva přístupy k bezpečnosti AI. Evropská unie sází na regulaci — Akt o umělé inteligenci (AI Act) určuje povinnosti pro vysoce rizikové systémy a obecné modely a postupně nabíhá do praxe. NVIDIA naproti tomu přichází s technickou odpovědí: pojistkou zabudovanou přímo do křemíku a softwaru. Huangův výrok, že bezpečnost je inženýrský a ne právní problém, je vlastně přímá polemika s evropským pojetím.

Pro české vývojáře je ale podstatné něco jiného: OpenShell je k dispozici jako open source, takže kdokoli si ho může prohlédnout a rozšířit. V praxi to znamená, že menší tým nemusí vymýšlet vlastní bezpečnostní vrstvu pro agenta — vezme si ji hotovou. Jestli se tahle vrstva uchytí, rozhodne zbytek trhu, ne jen NVIDIA: na platformě podle firmy spolupracuje více než 100 organizací, od Anthropicu přes Microsoft a Salesforce po SpaceXAI.

Kde jsou limity

Je férové říct, že tohle je zatím oznámení a první nasazení v testech, ne hotový standard. Komodo vrstvu používá, ale jde o jeden robot a jednu firmu. Otevřená otázka zůstává, jak se vrstva osvědčí při skutečném provozu a jestli ji přijmou i další výrobci robotů. Bezpečnost agenta, který běží dlouhodobě, je podle Boitana jiný problém než klasické sandboxování — a tohle je první vážný pokus ho vyřešit v hardwaru, ne jen v pravidlech.

Je OpenShell zdarma?

Ano, OpenShell je open-source software a je volně k dispozici na GitHubu NVIDIA. Hardwarová vrstva Sentry ale běží na síťových procesorech BlueField-4, takže plné nasazení vyžaduje odpovídající hardware.

Chrání OpenShell i běžné chatboty a asistenty?

Platforma cílí hlavně na autonomní agenty s přístupem k nástrojům a systémům — tedy na systémy, které samy provádějí akce. Pro běžný chat bez přístupu k akcím nemá velký smysl, ale jakmile agentovi dáte oprávnění něco měnit, začíná být relevantní.

Kdy se to dostane k běžným firmám v Česku?

OpenShell si může stáhnout a vyzkoušet kdokoli už teď, včetně českých vývojářů. Ucelená platforma je ale čerstvě oznámená, takže širší podpora a hotové komerční nasazení se teprve rozjíždějí.

Diskuze

Zatím žádné komentáře — buďte první, kdo se podělí o svůj názor.
X

Nezmeškejte novinky!

Přihlaste se k odběru novinek a aktualit.