Umělá inteligence schopná samostatné činnosti je dnes běžnější. Agenti odesílají e-maily, přesouvají soubory a objednávají nebo ruší služby. Důsledky akcí se tak přesouvají z generovaného textu do reálného světa. Monitor StepSafe od výzkumníků z Yale řeší načasování bezpečnostního zásahu, aby k zastavení operace nedošlo předčasně ani příliš pozdě.
Načasování bezpečnostního zásahu
Dosavadní bezpečnostní systémy pro AI agenty vyhodnocovaly, zda je konkrétní akce nebezpečná. Podle autorů však neurčovaly vhodný okamžik pro zásah. Příkladem může být situace, kdy agent odesílá zprávu s osobními údaji oprávněnému příjemci. Jednodušší kontrolní mechanismus by proces zastavil hned na začátku kvůli přítomnosti citlivých dat, čímž by zabránil splnění úkolu. Jiný systém by zakročil až po odeslání. StepSafe analyzuje každou navrženou akci před jejím provedením a hodnotí ji vzhledem k předchozím krokům. Model rozlišuje tři situace: pokračovat, pokud riziko nevzniklo, požádat o potvrzení, dokud lze škodě předejít, a zastavit operaci ve chvíli, kdy je náprava ještě možná. S každým dalším krokem agenta se přitom případná škoda může stát nevratnou.Tři varianty rozhodnutí
Výstup monitoru se neomezuje na prosté schválení či zamítnutí. Pro každou akci systém vybírá ze tří možností: Continue (pokračovat), Ask (vyžádat ověření) a Stop (zablokovat). K tomu připojuje strukturovaný verdikt s deseti položkami. Mezi ně patří míra rizika na škále od 0 do 100, typ porušení pravidel, důvod, možná škoda a původ požadavku. Zásahy jsou díky tomu zpětně dohledatelné. U každého zastavení je zaznamenán konkrétní důvod i dřívější záznam, který k němu vedl. Systém poskytuje kontrolní soupis parametrů s vysvětlením.Tréninková metoda ASPO
Tréninková metoda nese označení ASPO a opírá se o dva mechanismy. Prvním je stage-aligned policy optimization. Každé rozhodnutí se hodnotí podle fáze, v níž k němu došlo, a srovnává se s jinými odpověďmi ve stejném kroku. Pokračování před vznikem rizika přináší odměnu, dotaz ve fázi objasňování rovněž. Nejvyšší ohodnocení má zastavení v posledním možném kroku před vznikem škody. Běžné bezpečné kroky mají stejnou váhu jako kroky vyžadující zásah, aby v tréninku nepřevládly. Druhým mechanismem je adaptivní sebedestilace. Model využívá vlastní výstupy k dalšímu učení. U rizikových kroků vychází z anotací, u bezpečných kroků se učí z vlastních falešných poplachů. Tyto případy ukazují hranice zbytečných zásahů. Tréninková data autoři doplnili o red-teaming s 512 rizikovými scénáři, z nichž každý má bezpečnou variantu lišící se v jediném parametru.Výsledky testů
Autoři monitor otestovali na pěti benchmarcích agentní bezpečnosti s celkem 4 033 trajektoriemi. Hlavním ukazatelem je Youdenovo J, které kombinuje úspěšnost záchytu hrozeb s podílem bezpečné práce dokončené bez zbytečného blokování. Vyšší hodnota značí lepší vyváženost. StepSafe-4B dosáhl výsledku 53,0 bodu a varianta 8B získala 54,4 bodu. Dřívější open-source model StepGuard zaznamenal 46,2 bodu. StepSafe dosáhl nejvyššího skóre mezi otevřenými modely na třech z pěti testů.| Hlídač | Youdenovo J |
|---|---|
| GPT-5.6 Sol (uzavřený) | 66,6 |
| Claude Sonnet 5 (uzavřený) | 64,0 |
| GPT-5.6 Terra (uzavřený) | 57,6 |
| GPT-5.6 Luna (uzavřený) | 55,7 |
| StepSafe-8B | 54,4 |
| StepSafe-4B | 53,0 |
| StepGuard-4B | 46,2 |
| TS-Guard-7B | 37,2 |
| AgentDoG-4B | 34,8 |
| ShieldAgent-7B | 30,8 |
| SafePred-8B | 30,1 |
| Llama-Guard-3-8B | 28,9 |
Dostupnost kódu a omezení
Kód systému StepSafe je dostupný na GitHubu. Model vychází z Qwen3-4B, lze jej tedy stáhnout a provozovat na vlastní infrastruktuře. Pro organizace to znamená možnost ponechat data na interních serverech a zjednodušit plnění GDPR bez poplatků za jednotlivé dotazy. Model 8B dosahuje v prevenci výsledků bližších systémům od společností OpenAI a Anthropic. Projekt má svá omezení. Výsledky pocházejí z preprintu zveřejněného v říjnu 2026. Tréninkové anotace vytvářely jazykové modely, což do dat může vnášet chyby. Metrika užitku navíc hodnotí nepřítomnost falešných poplachů, nikoli plnění skutečných úkolů v ostrém provozu. Uzavřené modely GPT-5.6 Sol a Claude Sonnet 5 si v celkovém skóre benchmarků udržují odstup.Jaký hardware potřebuji k provozu StepSafe?
Základní varianta vychází z Qwen3-4B, tedy zhruba 4miliardového modelu. Patří mezi menší otevřené modely a vejde se na jedno moderní GPU; přesnou paměťovou náročnost inference autoři v práci neuvádějí.
Čím se StepSafe liší od běžných filtrů, jako je Llama Guard?
Llama Guard a podobné systémy posuzují, jestli je text sám o sobě škodlivý. StepSafe hodnotí jednotlivé akce agenta s ohledem na předchozí kroky a rozhoduje o načasování zásahu. V testech Llama-Guard-3-8B dosáhl Youdenova J 28,9, StepSafe-4B 53,0.
Můžu StepSafe zapojit do svého agenta hned teď?
Kód je zveřejněný na GitHubu, takže technicky ano, ale chce to vlastní integraci do vašeho agentního systému. Autoři model trénovali na konkrétním formátu verdiktu a pěti benchmarcích, takže před nasazením je potřeba ověřit, jak si poradí s vaším prostředím.
