AI našlo 28 neznámých chyb v robotickém softwaru za dva dny

Co se vlastně našlo

VicOne uvádí, že pomocí AI asistovaného výzkumu prošla nástroje kolem takzvané fyzické AI – systémů, které propojují modely se skutečným světem a pohybem. Výsledkem je 28 nálezů, které firma po prvotním ověření klasifikovala jako zero-day. To je označení pro chybu, o které výrobce dosud neví a pro kterou neexistuje oprava.

Mezi zasaženými projekty jsou podle VicOne nástroje, na jejichž vývoji nebo údržbě se podílejí Google, Nvidia a Meta. Většina z nich slouží k trénování modelů, simulaci a testování robotů, tedy k práci, která předchází samotnému nasazení do výroby. Firma zároveň dodává, že počet se po revizi výrobců a autorit, které vydávají CVE identifikátory, může změnit, a část nálezů své CVE číslo zatím nedostala.

Proč na zero-day záleží a kde do toho vstupuje AI

Zranitelnost, kterou nikdo nezná, nemá záplatu. Když se o ní dozví útočník dřív než výrobce, může ji zneužít dřív, než dorazí oprava. A tady AI zrychluje tempo na obou stranách.

Hledání zranitelností znamená číst zdrojový kód, sledovat, jak spolu komponenty komunikují, a ověřovat, jestli je podezřelá slabina skutečně zneužitelná. AI dokáže část téhle práce zautomatizovat a projít víc softwaru za kratší čas. VicOne přesně tohle využila. Stejné nástroje ale může nasadit i útočník.

Pozadí ukazuje na širší trend. Anthropic zveřejnila náhled modelu Mythos, který má právě hledání zranitelností urychlovat, a Cloud Security Alliance (CSA) na něj reagovala briefingem označeným jako „AI vulnerability storm“. Doporučení je jedno: bezpečnostní týmy by měly přejít z měsíčních záplatovacích cyklů na trvalý režim, který CSA nazývá „Mythos-ready“.

Tři místa, kudy se chyba dostane k robotovi

VicOne nálezy rozdělila do tří fází životního cyklu robota: vývoj a trénink, simulace a validace, nasazení a provoz. Podle dat z výzkumu spadalo 75 % nálezů do nástrojů pro vývoj, trénink, simulaci nebo validaci. Největší riziko tak nevzniká až u běžícího robota, ale ještě předtím, než vyjede do provozu.

Při vývoji a tréninku si tým stáhne předtrénovaný model a přizpůsobí ho svému robotovi. Když při načítání zpracuje škodlivý soubor, může útočník získat přístup k trénovacímu systému a měnit trénovací data nebo samotný model. Manipulovaný model se při běžném testování chová normálně, po nasazení ale reaguje špatně na určitý objekt, scénu nebo příkaz.

Při simulaci a validaci může import podvržené scény nebo modelu robota útočníkovi zpřístupnit simulační prostředí. S dostatečnou kontrolou pak mění údaje ze senzorů, fyzikální podmínky nebo výsledky testů. Robot projde testem, který měl jeho nebezpečné chování odhalit, a tým ho pustí do reálného provozu na základě zavádějících důkazů.

Při nasazení a provozu může útočník měnit soubory, které ovlivňují plánování pohybu, nebo posílat podvržená mapová data, která shodí monitorovací obrazovku operátora. Ohrožený počítač pro dálkové řízení pak může ohrozit i příkazy posílané robotu. Důsledkem může být změna pohybu robota nebo situace, kdy operátor nevidí, co se děje.

VicOne sama zdůrazňuje, že jde o potenciální, nikoli prokázané důsledky u každého nálezu. Skutečný dopad záleží na přístupu útočníka, konstrukci systému a na tom, jestli jiné pojistky změnám zabrání dostat se až k fyzickému chování.

Robot, který dělá všechno správně, a přesto je nebezpečný

VicOne předvedla i konkrétní případ slabiny v ochranné funkci. Její výzkumníci zneužili zranitelnost tak, aby přestal fungovat příkaz nouzového zastavení robota. Tato ukázka vysvětluje, proč nestačí robot testovat v běžném provozu – je třeba ověřit, že pojistky fungují i ve chvíli, kdy je podpůrný software napadený.

Související myšlenku rozebírá článek na blogu VicOne z rozhovoru s Jomanem Chu, šéfem produktové bezpečnosti v Boston Dynamics. Robot může fungovat přesně podle toho, co mu říká software, a přesto skončit nebezpečně, pokud byla tahle informace zmanipulovaná. Autorizovaný příkaz „krok doleva“ robot vykoná správně – jenže když ten krok vede ze schodiště, dopadne to špatně. Chu v rozhovoru říká, že útočníci se snaží z málo pravděpodobných událostí dělat události opakovatelné a spolehlivé.

Záplata je teprve první krok

Ani vydaná oprava není konec práce. Tým musí určit, kterých systémů se týká, ověřit kompatibilitu a zkontrolovat, že aktualizace nezměnila zamýšlené chování. VicOne doporučuje tři otázky: kde postižený software používáme (trénovací počítače, simulace, nasazení roboti), co může slabina změnit (modely, výsledky testů, viditelnost operátora, chování robota) a jak ověřit, že ochrana skutečně funguje. Když není možné aktualizovat hned, přichází na řadu dočasné opatření, třeba omezení přístupu k postižené službě.

Firma k tomu nabízí vlastní nástroje: Radeis pro hledání zero-day zranitelností a simulaci jejich dopadu před nasazením, Rthena pro detekci a reakci v provozu. Obojí je součástí nabídky VicOne, jde tedy o doporučení výrobce, ne o nezávislé hodnocení.

Český a evropský kontext

Pro české a evropské výrobce má téma konkrétní termín. Nové nařízení EU o strojních zařízeních (EU) 2023/1230 poprvé výslovně požaduje, aby výrobci strojů a robotů řešili i kybernetickou bezpečnost, včetně ochrany proti neoprávněnému přístupu a zneužití softwaru. Plně se začne používat 20. ledna 2027. Na digitální produkty pak dopadá i nařízení o kybernetické bezpečnosti známé jako Cyber Resilience Act (CRA).

Česka se to týká víc než jiných zemí. Tuzemská ekonomika stojí z velké části na automobilovém průmyslu, který patří k nejvíc zautomatizovaným odvětvím v Evropě. Podle Mezinárodní federace robotiky (IFR) se Česko dlouhodobě řadí mezi země s nejvyšší hustotou průmyslových robotů v regionu. Čím víc robotů v provozu, tím víc záleží na tom, jestli se jim dá věřit.