AI, která odmítne, může přitom škodlivě uvažovat. Vědci našli cestu

Nový problém uvažujících modelů

Velké uvažující modely, označované zkratkou LRM, se od běžných chatbotů liší tím, že si před odpovědí rozepisují postup krok za krokem. Díky tomu zvládají matematiku a programování lépe než starší modely. Jenže ten samý řetězec uvažování přináší nové bezpečnostní riziko.

Autoři článku, publikovaného na arXivu 5. listopadu 2026, popisují dva scénáře. První je ten, že model na škodlivý dotaz nakonec odmítne, ale v mezivýpočtu už škodlivý obsah vygeneroval. Druhý ukázali na konkrétním příkladu: zeptali se modelu DeepSeek-R1-7B, jak napsat podvodný e-mail, který má z lidí vylákat údaje k bankovnímu účtu. Model záměr nepoznal a rovnou vygeneroval šablonu podvodného e-mailu. Stejný model po tréninku metodou SAVeR² nejprve záměr rozpozná, pojmenuje ho jako nelegální a odpověď odmítne s konstruktivní radou.

Čtyři ověřitelné odměny

Dosavadní metody vyrovnávání modelů měly podle autorů tři slabiny. Špatně zobecňují na nové typy útoků, při bezpečnostním tréninku ubývá inteligence a jediné hrubé bezpečnostní skóre jde obelstít. SAVeR² proto nerozdává jednu odměnu za „bezpečnou odpověď", ale čtyři samostatné signály.

Model dostává odměnu za bezpečné uvažování, za celkovou neškodnost uvažování i odpovědi, za konzistenci mezi tím, co si myslí a co řekne, a za užitečnost odmítnutí. Každou část hodnotí silnější model GPT-4o v roli rozhodčího. Odměny jsou ověřitelné, protože se dají u každé odpovědi zkontrolovat zvlášť. Přesně tohle podle autorů zabraňuje tomu, aby se model naučil hrát na jedno číslo.

Daň za bezpečnost

Každý, kdo někdy zkoušel „bezpečnější" verzi modelu, zná ten efekt: model víc odmítá a u byť jen podezřele znějících dotazů zbytečně couvá. Autoři tomu říkají bezpečnostní daň. Bezpečnostní a uvažovací trénink táhnou model opačnými směry a výsledkem je model, který je sice opatrnější, ale hloupější.

SAVeR² to řeší matematicky. Při každém kroku tréninku spočítá, jestli úprava ve jménu bezpečnosti poškozuje schopnost uvažovat. Pokud ano, nasměruje úpravu tak, aby uvažování neškodila. K tomu přidává trénink na nevinných dotazech, které jen vypadají podezřele, aby model neodmítal zbytečně. Výsledkem je model, který odmítá, jen když má, a jinak normálně odpovídá.

Srovnání s Claude a Gemini

Autoři metodu otestovali na modelech od 1,5 miliardy do 671 miliard parametrů. Nejzajímavější je největší z nich, SAVeR²-671B, postavený na open-source modelu DeepSeek-R1. V testu BSA, který měří bezpečnost samotného uvažování, poráží uzavřené modely, které zná i běžný uživatel.

Rozdíl je nejlépe vidět na metrice Think@1, která hodnotí bezpečnost myšlenkového procesu na první pokus. SAVeR²-671B dosahuje 72,99 bodu, zatímco Claude-4-Sonnet 48,89 a Gemini-2.5-Flash 40,46. Zkombinované skóre F-score je 78,40 proti 64,37 u Claude. U obecných znalostí v MMLU zůstává model na 85,29 bodu, tedy jen o málo pod výchozím DeepSeek-R1 s 86,63. Bezpečnost se tu nekupuje za inteligenci.

Souvislost s evropskou regulací

Na menších modelech ukazují čísla stejný směr: verze 7B dosahuje v průměru bezpečnosti 92,80 bodu a verze 14B 94,28, obě při zachovaných obecných schopnostech. Trénink největšího modelu běžel 500 kroků na 1024 akcelerátorech Ascend 910B3, menší modely stačily vytrénovat na osmi GPU H200.

Pro českého čtenáře to zatím není nástroj, který by si mohl stáhnout. Je to výzkumný preprint, který neprošel recenzním řízením a autoři k němu nezveřejnili model ani kód. Téma ale přímo souvisí s evropským AI Aktem, který po nasazení vysoce rizikových systémů vyžaduje prokazatelné bezpečnostní záruky. Metody, které hlídají nejen odpověď, ale i to, jak k ní model došel, se budou pro takový audit hodit. Výzkum běží na otevřených modelech z rodiny Qwen, takže výsledky lze reprodukovat i mimo laboratoře Alibaby.