IBM dává modelům Granite nový jazyk, který odděluje data od pokynů

LLM už nemusí hádat, co je pokyn

Velký jazykový model dostává při každém dotazu směs různých informací. Je v ní systémové pravidlo, uživatelův požadavek, text z dokumentu, výsledek vyhledávání, odpověď nástroje nebo podmínka pro výsledný formát. Pro člověka je většinou jasné, co je příkaz a co pouze materiál ke čtení. Model ale všechny tokeny zpracovává jako součást jednoho kontextu.

Právě v této směsi vzniká prostor pro indirect prompt injection, tedy nepřímý útok pomocí instrukce ukryté v datech. Útočný text může být například v dokumentu načteném přes RAG, ve webové stránce nebo v odpovědi externího nástroje. Agent ho pak může chybně přečíst jako nový příkaz.

LLMON, což je zkratka pro LLM Object Notation a vyslovuje se jako „lemon“, se snaží tento problém řešit strukturou promptu. Jednotlivé části dostávají vlastní značky, identifikátory a význam. Speciální blok exec následně určuje, kterou instrukci má model provést, nad jakými daty a s jakými požadavky.

IBM tento princip popsalo v oficiálním oznámení na Hugging Face. Samotný formát připomíná XML, ovšem značky nejsou běžné znaky. Používá vyhrazené speciální tokeny, které jsou oddělené od textového obsahu.

Proč IBM nechce zůstat u JSONu

JSON je výborný formát pro programy a parsovací knihovny. Jazykový model ho ale nečte stejně jako klasický parser. Uvozovka uvnitř dokumentu může vypadat stejně jako uvozovka uzavírající hodnotu. Závorky zase musí model správně párovat přes dlouhé úseky textu.

U menších modelů to může vést k chybám při generování strukturovaného výstupu. LLMON se snaží hranice jednotlivých částí označit explicitně. Model proto nemusí pouze statisticky odhadovat, kde končí data a začíná instrukce.

Pro vývojáře je důležité, že IBM nechce stávající JSON pipeline zahodit. Součástí projektu jsou převodní nástroje, které umí JSON převést do LLMON a následně zpět bez ztráty struktury. K dispozici je také otevřený repozitář na GitHubu s knihovnami, šablonami a ukázkami.

LLMON zároveň nenahrazuje chatové šablony. Rozšiřuje je. Vývojář může dál vytvářet běžný seznam zpráv s rolemi system, user a assistant. Šablona modelu potom jednotlivé části automaticky převede na adresovatelné bloky. Ruční psaní podivně vypadajících sekvencí speciálních tokenů tedy není nutné.

Výsledky testů proti prompt injection

IBM a autoři výzkumného preprintu testovali modely na benchmarku OPI, který vkládá škodlivé instrukce do dat klasických úloh zpracování jazyka. Podle práce Post-Training Large Language Models with LLMON klesla úspěšnost útoků z rozsahu 53 až 100 % u běžných modelů na 0,02 až 5,6 % u modelů s LLMON.

V jiném vyjádření IBM uvádí, že modely LLMON odrazily o 47 % více útoků než nejlepší testovaný komerční frontier model a o 95 % více než nejlepší testovaný open-weight model. Toto srovnání se týká konkrétních experimentů a statických nepřímých útoků. Neříká, že Granite s LLMON je obecně bezpečnější ve všech situacích.

Výzkumníci výslovně upozorňují, že testy nezahrnují všechny adaptivní útoky, které se mohou měnit podle předchozího průběhu konverzace. LLMON proto není bezpečnostní záruka. Jde o způsob, jak model při tréninku naučit rozdíl mezi příkazem a obsahem, který má pouze přečíst.

Výsledky obecných benchmarků měly podle IBM zůstat na úrovni odpovídajících modelů Granite 4.1 Instruct. V oznámení však nejsou uvedena srovnatelná čísla proti konkrétním současným modelům GPT, Gemini nebo Claude. Přímé tvrzení o celkové převaze by proto nebylo podložené.

Dva modely pro experimenty

IBM uvolnilo varianty granite-4.1-3b-LLMON-preview a granite-4.1-8b-LLMON-preview. První model má 3 miliardy parametrů, druhý 8 miliard. Oba vznikly dodatečným tréninkem základních modelů Granite 4.1, nikoli pouhým přidáním filtru nad hotový chatovací model.

Tréninkový korpus obsahoval 4,6 miliardy tokenů strukturovaných dat. Zahrnoval běžné instrukce, RAG, volání nástrojů a také záměrně vložené rušivé bloky. Model se tak učil, že informace přítomná v kontextu nemusí být instrukcí k provedení.

Podle zveřejněných měření LLMON snížil spotřebu tokenů o 15 až 30 % proti ekvivalentním strukturám v JSONu. Chybovost při parsování struktur klesla pod 2 %, zatímco u 3B modelů se u srovnávaného JSONu pohybovala mezi 8 a 12 %. Jde o výsledky uvedené v rámci této metodiky, nikoli o univerzální vlastnost každého JSON workflow.

Čeština a dostupnost v Evropě

Modelové karty uvádějí podporu 12 jazyků, mezi nimiž je také čeština. Vedle angličtiny seznam zahrnuje například němčinu, španělštinu, francouzštinu, japonštinu, portugalštinu, italštinu, korejštinu, nizozemštinu, čínštinu a arabštinu.

Modely jsou dostupné ke stažení z Hugging Face a lze je provozovat přes Transformers, vLLM nebo další nástroje uvedené v modelové kartě. Kód i modelové váhy jsou uvolněné pod licencí Apache 2.0. IBM neuvádí samostatný API ceník pro LLMON preview, takže hlavním nákladem zůstává vlastní hardware nebo infrastruktura poskytovatele, přes kterého model nasadíte.

Pro české vývojáře je zajímavá kombinace místního provozu, podpory češtiny a oddělení nedůvěryhodných dat od instrukcí. Hodit se může hlavně u interního vyhledávání, zpracování dokumentů a agentů, kteří čtou obsah z více zdrojů. Běžný uživatel přitom LLMON vůbec nemusí vidět. Knihovna ho může generovat na pozadí podobně, jako aplikace využívá strojový kód, aniž by ho člověk ručně psal.

Preview má své limity

IBM označuje modely jako experimentální preview a výslovně je nedoporučuje pro produkční nasazení. To je důležitější informace než samotné výsledky testů. Model může podle pravidel LLMON lépe rozlišovat instrukci a data, přesto stále může chybovat v samotné odpovědi.

LLMON také neřeší všechny problémy agentních systémů. Vývojář musí dál kontrolovat oprávnění nástrojů, výstupy modelu, práci s citlivými daty a kroky, které mohou změnit stav externího systému. Oddělený blok exec zpřehlední vazby v promptu, ale sám o sobě nenahradí bezpečnostní architekturu aplikace.

Význam novinky je proto praktický a poměrně úzce vymezený. IBM zkouší, zda lze jazykovým modelům předat strukturu podobnější programu než běžnému textu. První výsledky ukazují nižší úspěšnost statických nepřímých útoků, dostupné modely však zůstávají experimentem pro vývojáře a výzkumníky.

FAQ