Kyutai zrychluje světové modely. Reakce se vejde pod 230 ms

CADRE řeší zpoždění mezi akcí a obrazem

Světový model je simulátor prostředí naučený z videa. Dostane několik předchozích snímků a informaci o akci, například pohybu robotického ramene, zatočení volantem nebo změně směru kamery. Potom odhaduje, co se stane dál.

Problém je v tom, že takový systém obvykle nepracuje přímo s obrazovými body. Video nejdříve převede do menšího latentního prostoru video autoenkodér. Ten funguje jako kompresor a dekodér v jednom. Z obrazu odstraní část dat, která je pro další výpočty méně důležitá, a model pak pracuje s kratším zápisem scény.

U běžných generátorů videa tento přístup dává smysl. Mohou si připravit více snímků najednou a výsledek dopočítat později. Robot, automobil nebo interaktivní simulace ale potřebují reagovat průběžně. Každý zbytečný snímek navíc znamená další čekání.

Kyutai tvrdí, že řada dosavadních světových modelů přebírala autoenkodéry původně určené pro offline generování videa. CADRE vznikl s opačným zadáním. Má video komprimovat tak, aby se světový model nezdržoval při každé nové akci.

Jak CADRE komprimuje video

Název CADRE je zkratka pro CAusal Diffusion REpresentation autoencoders. Kauzální část znamená, že systém zpracovává video postupně a nespoléhá na budoucí snímky. To je důležité pro interaktivní použití, protože model v okamžiku výpočtu ještě neví, co uživatel nebo robot udělá za chvíli.

Enkodér využívá zmrazený obrazový model DINOv3, který z jednotlivých snímků získává obrazové vlastnosti. Nad ním pracuje naučené úzké hrdlo, takzvaný bottleneck. To rozhoduje o míře komprese. Dekodér pak rekonstruuje obraz pomocí difuzního transformátoru.

Kyutai použila samo-distilaci, díky které dekodér zvládne výstup vytvořit v jednom nebo dvou krocích. U běžných difuzních systémů bývá počet kroků vyšší, což je pro interaktivní práci nepříjemná vlastnost. Jeden krok zde neznamená bezchybný obraz, ale kratší výpočetní cestu.

Výzkumníci vydali sedm konfigurací s různou časovou a prostorovou kompresí. Například varianta CADRE-2x16x16 ukládá jeden latentní bod na každé dva snímky a prostorový blok 16 × 16 pixelů. Při vstupním rozlišení 288 × 512 vzniká latentní reprezentace o 64 kanálech a prostorové mřížce 18 × 32 bodů. Parametry nejsou zrovna kapesní. Autoenkodér má 475 milionů trénovaných parametrů a dalších 86 milionů zmrazených parametrů DINOv3.

Výsledky na jedné kartě H100

Modely postavené na CADRE podle autorů běží na jediné NVIDIA H100 rychlostí 20 snímků za sekundu. Reakce na akci se dostává pod 230 milisekund, tedy pod hranici, při které lidé začínají vnímat zpoždění vlastního pohybu jako rušivé. Tento údaj se týká celého interaktivního řetězce, nikoli pouze dekódování jediného snímku.

Světový model má 1,2 miliardy parametrů. Kyutai ho testovala ve čtyřech prostředích: při manipulaci robotem, lidské manipulaci, řízení a navigaci v interiéru. Model nejprve dostal dvě sekundy skutečného videa a potom měl ze zaznamenaných akcí generovat dalších 4,8 sekundy.

Výsledky zahrnovaly kvalitu obrazu, kvalitu pohybu a schopnost sledovat zadané akce. V materiálech Kyutai se používají metriky FID, FVD a ARR. U FID a FVD je nižší hodnota lepší, u ARR naopak vyšší. ARR měří, jak dobře lze ze vzniklého videa zpětně odhadnout akci, která ho vytvořila.

V dodaném srovnání měl CADRE-2x16x16 při řízení FVD 162,6. Wan 2.2 dosáhl 599,7 a LTX-2 913,3. V robotické manipulaci však nejlepší výsledek neměl CADRE. Cosmos zde vykázal FVD 39,5, zatímco CADRE-2x16x16 měl 47,6. Autoenkodér Wan 2.2 také lépe rekonstruoval testovací video podle PSNR, kde dosáhl 35,02 dB proti 25,12 dB u CADRE-2x16x16.

Čísla pocházejí z měření Kyutai, nikoli z nezávislého laboratorního testu. Autoři ve svém srovnání uvádějí, že CADRE byl rychlejší a kvalitnější ve 42 ze 48 porovnání s modely MIRA, Wan 2.2, Cosmos a LTX-2. Výsledek tedy závisí na prostředí, kompresi a zvolené metrice.

Komprese závisí na pohybu kamery

Jedním z nejzajímavějších závěrů práce je rozdíl mezi statickou a pohybující se kamerou. U manipulace s objekty může být výhodná jiná časová komprese než při řízení automobilu nebo navigaci, kde se mění celá perspektiva scény.

Kyutai zároveň zjistila, že časovou kompresi je vhodnější provádět už v autoenkodéru. Když se místo toho seskupují snímky až uvnitř světového modelu, obraz ztrácí detaily a schopnost správně reagovat na akce může klesat. V jednom z testů kleslo ARR při zpracování osmi snímků najednou z 0,72 na 0,56.

Vysoká prostorová komprese také není zadarmo. U robotické manipulace vedla konfigurace s blokem 32 × 32 k přibližně 2,4násobně horšímu FVD než varianta s blokem 16 × 16. Kvalita jednotlivých snímků přitom klesla méně než kvalita pohybu. Pro robotiku je to nepříjemná kombinace. Obraz může vypadat přijatelně, ale model nemusí správně zachytit, kam se objekt pohybuje.

Otevřený kód, váhy a licence

Kyutai zveřejnila technický popis CADRE, zdrojový kód na GitHubu, modely na Hugging Face a také interaktivní demo. Kód je dostupný pod licencí MIT.

U vah je situace omezenější. Autoenkodér CADRE-2x16x16 je pod licencí CC BY-NC 4.0, která nepovoluje komerční použití. Součástí je také zmrazený enkodér DINOv3 s vlastní licencí. Před nasazením ve firmě proto nestačí stáhnout soubory z Hugging Face a začít je prodávat jako službu. Je potřeba projít podmínky obou licencí.

Veřejné demo obslouží dva aktivní uživatele současně na jediné H100. Další návštěvníci čekají ve frontě. To je důležitý detail, protože výsledek ukazuje výpočetní náročnost výzkumného prototypu, nikoli hotovou cloudovou službu pro běžné používání.

Význam pro české vývojáře

CADRE není spotřebitelská aplikace a nemá uvedenou českou lokalizaci. Pro český trh však může být zajímavý tím, že zdrojový kód, modely i demo jsou dostupné bez regionálního omezení. Vývojář v Česku nebo na Slovensku si může prohlédnout implementaci, stáhnout model a testovat ho na vlastní infrastruktuře, pokud dodrží hardwarové a licenční podmínky.

Pro domácí počítač nejde o jednoduché stažení a spuštění. Autoenkodér má stovky milionů parametrů, světový model 1,2 miliardy a publikované měření používá H100. Cena samotného provozu nebyla v materiálech Kyutai uvedena. Výhodou je otevřený přístup k modelu, nikoli nízké nároky na hardware.

Pro robotiku, autonomní řízení a simulaci prostředí je důležitější odezva než samotná kvalita izolovaného snímku. CADRE proto testuje jiný kompromis než běžné video generátory. V některých metrikách zůstává za konkurencí, ale jeho autoenkodér je navržen tak, aby se akce rychle propsala do dalšího obrazu. To je také důvod, proč Kyutai zveřejnila několik kompresních variant místo jediného univerzálního modelu.

FAQ

Další technické podrobnosti, benchmarky a licenční podmínky jsou uvedeny v rozboru MarkTechPost, v repozitáři projektu a v dokumentaci modelů na Hugging Face.