Kimi K3.1 Pro měla ztratit hackerské schopnosti. V kybertestu přesto vyskočila

O tom, že Moonshot vydala Kimi K3.1 Pro s milionovým kontextem a otevřenými vahami, které zatím chybí, jsme na Jarvis AI psali už v sobotu. Další zprávy se od té doby soustředí na jinou část oznámení, kterou jsme tehdy jen naťukli: čínská firma tvrdí, že u modelu záměrně potlačila schopnost provádět kybernetické útoky.

Co Moonshot omezila a jak to změřila

Podle technického blogu firma zjistila, že schopnost hledat zranitelnosti rostla společně s rozsahem dotrénování. Příčinu našla ve dvou místech: kybernetický obsah byl součástí obecného korpusu z fáze mid-trainingu a kybernetické úlohy se do prostředí pro posilované učení dostaly jako vedlejší produkt širokého tréninku. Moonshot proto oba zdroje pro vydání otevřených vah odstranila a ponechala obecné programátorské úlohy.

Dopad měřila na interním testu xdev-bench-hard. Model má u zranitelností v softwaru, jako je jádro Linuxu, Node.js nebo JavaScriptCore, vytvořit exploit, spustit v odděleném prostředí libovolný kód a získat tajný řetězec. Kontrolní verze bez omezení vyřešila 90,5 procenta úloh (pass@3), finální Kimi K3.1 Pro 81,0 procenta. Předchozí Kimi K3 dosáhla 33,3 procenta. Jde o měření výrobce na vlastním testu, nezávislé ověření zatím chybí.

Moonshot k tomu uvádí, že její ofenzivní schopnosti zůstávají pod úrovní špičkových uzavřených modelů, které jsou veřejně dostupné nejméně tři měsíce. Zásadu formuluje tak, že nechce vydávat otevřené váhy, které by posunuly absolutní hranici kybernetických schopností.

Nezávislý test ukazuje skok

Artificial Analysis měří kybernetické schopnosti jiným způsobem. Její Cyber Index hodnotí, zda model zranitelnost najde, reprodukuje a opraví, aniž by rozbil stávající software. Podle VentureBeat, který data z launch reportu rozebírá, vzrostl index u Kimi K3.1 Pro ze 41 na 64 procent. V dílčím testu CyberGym-E2E-AA stoupl výsledek z 58 na 95 procent a překonal model GPT-6 Sol Daybreak Blue s přístupem omezeným na vybrané uživatele (93 procent). Jinde se Kimi nevede tak dobře: v CWE-Bench-AA dosáhla 61 procent a prohrála s DeepSeek V4.1 Flash 1017 (69 procent), v DeepsecBench-AA získala 37 procent proti 48 procentům u Daybreak Blue.

Celkový Intelligence Index modelu vyšel na 55 bodů, což je čtvrté místo za Claude Opus 5.5, Claude Sonnet 5.5 a Muse Wonder Full. Artificial Analysis navíc zaznamenala, že Kimi na těchto úlohách neodmítla žádný požadavek. Některé konkurenční služby body ztrácejí, protože část zadání odmítnou, takže pořadí odráží i to, co poskytovatel vývojářům dovolí.

Proč si čísla neodporují

Moonshot se zaměřuje na nejnebezpečnější schopnost, tedy napsat funkční exploit. Cyber Index měří hlavně obrannou práci: najít chybu, ověřit ji a navrhnout opravu. Obě dovednosti vycházejí ze stejné znalosti kódu, a proto se překrývají. Moonshot to sama připouští: lepší obecné programování a dlouhé ladicí řetězce se podle ní přenášejí i do kybernetických úloh, přestože cílená data odstranila. Omezení tedy snížilo ofenzivní špičku, ale nevytvořilo model, který by v bezpečnostní práci selhával.

Zbývá otázka, co přesně dostane uživatel API a co si po 4. listopadu stáhne. Moonshot píše, že zásahy do dat provedla „pro vydání otevřených vah“. Zda je modelem za API totéž, blog výslovně neříká, proto to nelze tvrdit. Odpověď poskytnou nezávislé testy publikovaných vah.

Co to znamená pro uživatele

Pro vývojáře je Kimi K3.1 Pro zajímavá pro kontrolu kódu a opravy chyb. API stojí 2 dolary za milion vstupních a 10 dolarů za milion výstupních tokenů, ve stejné cenové třídě jako Claude Sonnet 5.5. Pro firmy, které čekají nástroj bez rizika zneužití, je lepší počítat s tím, že omezení snižuje ofenzivní schopnost, ale neruší ji. Kdo bude váhy po vydání nasazovat, měl by si bezpečnostní chování otestovat na vlastních úlohách. Podrobnosti o modelu najdete v katalogu AI modelů.