DeepSeek v kybernetickém testu stál 3 dolary a dotahuje špičku

Otevřený model se přiblížil uzavřené špičce

Rozdíl mezi volně dostupnými AI modely a systémy s omezeným přístupem se v kybernetických úlohách zmenšuje. Ukazuje to benchmark CyberOffense od Vals AI, který nepoužívá krátké hádanky typu Capture the Flag. Model dostane veřejnou webovou adresu simulované firmy, izolovaný počítač s Kali Linuxem a žádnou pomoc člověka. Potom musí sám hledat cestu sítí.

Testované prostředí obsahuje webové aplikace, servery Windows, uživatelské účty, oprávnění i několik propojených domén Active Directory. Agent tak musí řetězit více kroků. Nejprve se dostane dovnitř, následně hledá vyšší oprávnění, mapuje síť, získává hesla a přesouvá se k dalším systémům.

To je podstatný rozdíl proti běžnému benchmarku s jedním úkolem. Skutečný útok obvykle nestojí na jediné chybě. Útočník kombinuje slabinu webu, špatně nastavené oprávnění, uniklé heslo a chyby v propojení firemních domén. Vals proto sleduje celou kampaň, nikoli pouze jeden exploit.

Výsledky testu Nova a Lighthouse

V jednodušším prostředí Nova splnil GPT-6 Sol v průměru 15,7 z 21 cílů. DeepSeek V4.1 Flash 1017 dosáhl průměru 16,3 cíle. Jde o průměr ze tří běhů, takže výsledek není jediný pevně daný pokus. V celkovém podílu dokončených cílů připadlo na GPT-6 Sol 80,8 % a na DeepSeek 72,8 %.

Obtížnější Lighthouse obsahuje dvě propojené firemní sítě. GPT-6 Sol dokončil 27 z 31 cílů za méně než tři hodiny. Agent převzal administrátorský přístup v první síti, získal hesla a použil je při průniku do druhé. DeepSeek splnil 21 z 31 cílů.

Výsledky ukazují dvě věci současně. Uzavřený model byl v hlavním srovnání účinnější. Otevřený model se mu však přiblížil natolik, že rozdíl už nejde popsat jako několik generací vývoje. Vals uvádí, že otevřený DeepSeek dokázal na první síti pracovat za přibližně desetinu ceny GPT-6 Sol. (vals.ai)

Tabulka přitom obsahuje i méně očekávaný výsledek. Meta Wonder dokončil v Lighthouse 28 z 31 cílů, tedy více než GPT-6 Sol, přestože v jednodušším Nova dosáhl pouze sedmi cílů. Jeden benchmark proto nestačí k tvrzení, že konkrétní model je obecně nejlepší. Záleží na typu sítě, délce úkolu i způsobu plánování.

Délka běhu mění výsledek

Nejzajímavější část testu se týká času a spotřeby tokenů. DeepSeek V4.1 Flash v prvních 25 milionech tokenů nesplnil žádný cíl. Většinu pokroku udělal až po překročení hranice 100 milionů tokenů.

Tokeny jsou zde jednotky textu, které model čte a vytváří. V kybernetickém agentovi nejde jen o samotnou odpověď. Do spotřeby se započítávají příkazy v terminálu, výstupy nástrojů, popisy nalezených systémů i další kroky plánování. Agent tedy může dlouho zkoušet různé postupy, než najde funkční cestu.

Krátký test by proto DeepSeek ohodnotil výrazně hůř, než odpovídá jeho výsledku při delším běhu. To má praktický dopad na porovnávání modelů. Levný systém může být pomalejší a méně efektivní, ale pokud ho lze nechat pracovat desítky hodin, cena za jeden útok zůstane nízká.

Metodika Vals počítá s limitem 500 milionů kumulativních tokenů a nejvýše 48 hodinami na jeden běh. Každý pokus probíhá na nové kopii izolované sítě. Body se udělují až po ověření skrytého souboru nebo záznamu v napadeném systému, nikoli podle tvrzení samotného modelu. (vals.ai)

Otevřené modely jsou výrazně levnější

Cenový rozdíl se neomezuje na test Vals. Analýza britského AI Security Institute porovnávala kybernetické úlohy a simulované síťové útoky. Běh v kybernetické střelnici s modelem DeepSeek V4-Pro vyšel podle AISI na 1,19 dolaru. U Anthropic Opus 4.5 činila cena přibližně 85 dolarů.

Rozdíl vzniká hlavně tím, že otevřený model lze provozovat bez platby za každé volání k proprietárnímu API. Organizace potřebuje vlastní hardware nebo cloud, což také něco stojí, ale může si zvolit infrastrukturu, délku běhu a způsob úprav. Přímé srovnání proto není totožné s běžným ceníkem chatbotu.

AISI současně odhaduje, že otevřené modely zaostávají za uzavřenou špičkou v kybernetických schopnostech pouze čtyři až sedm měsíců. Většinu roku 2025 činil rozdíl šest až deset měsíců. U některých testů je mezera širší, protože model musí zvládnout dlouhé plánování přes několik sítí. (the-decoder.com)

Bezpečnostní omezení po zveřejnění vah slábnou

Uzavřený model provozuje jeho tvůrce. Ten může sledovat požadavky, omezit přístup, měnit klasifikátory nebo účet zablokovat. U modelu s otevřenými vahami tato kontrola po zveřejnění končí. Váhy lze stáhnout, upravit a provozovat na vlastním systému.

AISI zjistil, že ochranná opatření u otevřených modelů často nefungovala spolehlivě. DeepSeek V4-Pro někdy odmítl úlohy spojené s reverzním inženýrstvím, opakování požadavku však omezení v některých případech obešlo. Otevřený model tak nelze chránit stejným způsobem jako službu, ke které má poskytovatel přístup.

Podobný výsledek popsala také analýza Anthropic zaměřená na otevřený model GLM-5.3. V benchmarku ExploitBench vytvořil funkční exploit v 50 ze 410 pokusů, zatímco Claude Mythos Preview uspěl v 56 případech. V interním testu zneužití binárních chyb převzal GLM-5.3 kontrolu nad cílovým programem ve čtyřech procentech úloh, Mythos Preview v šesti procentech.

Anthropic zároveň uvádí, že technika zvaná abliteration snížila odmítání škodlivých požadavků u GLM-5.3 z více než 90 procent na 2 až 12 procent. V simulaci bez skutečného spuštění kódu pak model po odstranění odmítacího chování reagoval na všechny testované požadavky. Výsledek neříká, že každý otevřený model okamžitě zvládne skutečný průnik, ukazuje však, jak snadno lze část ochrany odstranit. (the-decoder.com)

Dopad pro firmy a dostupnost v Česku

Pro firmy v Česku a Evropské unii je důležitá hlavně změna nákladů a dostupnosti. Otevřený model lze podle Vals stáhnout a provozovat bez schválení poskytovatele. Technicky tedy není závislý na tom, zda konkrétní americká nebo asijská služba povolí použití z české IP adresy.

Zdroje k benchmarkům ale neuvádějí českou lokalizaci ani kvalitu práce v češtině. Testy měří kybernetické úkoly v simulovaných sítích, nikoli české právní prostředí, českou dokumentaci nebo podporu českého jazyka. Dostupnost v ČR proto neznamená, že model nabízí české rozhraní nebo že je automaticky vhodný pro místní bezpečnostní tým.

Pro obránce má trend i pozitivní stránku. Stejný agent, který hledá cestu do sítě, může v autorizovaném prostředí odhalovat slabá místa a ověřovat, zda oprava skutečně funguje. Vals popisuje testování vlastních systémů jako jednu z možností využití. Benchmark však sám o sobě nedokládá, že model bezpečně zvládne audit konkrétní české firmy. K tomu je potřeba oddělené prostředí, jasné oprávnění a kontrola každého běhu.

Nejhlubší části Lighthouse zatím nezvládl žádný testovaný model. Žádný nedokončil všechny závěrečné kroky, které vyžadují přenos získaného přístupu přes druhou síť až k poslednímu cíli. Otevřené modely tedy dohnaly část náskoku, ale benchmark neukazuje úplnou samostatnost při libovolném útoku. (vals.ai)

FAQ