Otevřené modely NVIDIA Cosmos 3 propojují obraz s LiDARem v interaktivní smyčce

Interaktivní simulace fyzického prostředí

Generování videa pomocí difuzních modelů známe z nástrojů pro tvorbu obsahu. Po zadání textového pokynu systém po desítkách sekund vytvoří krátký klip. Pro trénování fyzikální umělé inteligence (Physical AI) je však takový postup nepoužitelný. Když robot pohne ramenem nebo auto sešlápne brzdu, prostředí musí reagovat okamžitě. Akce agenta bezprostředně mění to, co senzory zaznamenají v dalším zlomku sekundy. Princip uzavřené smyčky řeší nově publikované kontrolní body v rámci platformy NVIDIA Cosmos. Místo statických videoklipů generují průběžná vizuální a senzorická pozorování na základě konkrétních řídicích povelů. Systém nenahrazuje fyzikální engine, ale propojuje prostorová data s fotorealistickým zobrazením.

Čtyři modely pro auta a robotické paže

Inženýři v NVIDIA rozdělili úlohy do čtyř samostatných variant Cosmos 3 Nano, z nichž každá řeší jinou část simulačního řetězce:

• Cosmos3-Nano-Transfer-Auto: Model pro offline generování syntetických dat pro autonomní vozidla. Zvládá synchronizované generování až 11 kamerových pohledů současně, a to včetně objektivů typu rybí oko. Souběžně s obrazem generuje také prostorová data ze senzoru LiDAR převedená do 3D mračna bodů. Pomocí mapy scénáře a textových pokynů lze měnit počasí, denní dobu i hustotu provozu.
• Cosmos3-Nano-Sim-Auto: Destilovaná varianta předchozího modelu určená pro plynulé streamování bez znatelné prodlevy. Využívá kauzální generování po malých blocích snímků s minimálním počtem odšumovacích kroků. Zpoždění je natolik nízké, že model dokáže bezprostředně reagovat na volant, plyn a brzdu řízeného auta.
• Cosmos3-Nano-Sim-Transfer: Převádí surové geometrické výstupy z fyzikálního simulátoru (hloubkové mapy, segmentaci objektů, detekované hrany) do plnobarevného fotorealistického videa. Fyzikální kolize a dynamiku počítá klasický simulátor, zatímco Cosmos zajišťuje vizuální výstup řízený textovým promptem.
• Cosmos3-Nano-Sim-Bimanual: Model navržený přímo pro dvourukou robotickou manipulaci. Na vstupu přijímá předchozí snímky a kinematická data akcí obou chapadel. Následně predikuje, jak se scéna promění, když robot uchopí předmět, otevře skříňku nebo posune nástroj po stole.

Oddělení fyziky a fotorealismu

U dřívějších pokusů o generativní simulátory byla problematická snaha nechat neuronovou síť počítat všechny aspekty scény, od gravitace a tření až po odlesky na karoserii. Sítě v takových situacích často ztrácely geometrickou stálost a objekty se svévolně deformovaly. Architektura Cosmos 3 to řeší oddělením rolí. Využívá systém World Scenario Map (WSM). Fyzikální stav, přesné trajektorie objektů i kolizní geometrie zůstávají pod kontrolou deterministického enginu, například NVIDIA Isaac Lab. Model Cosmos 3 funguje jako vizuální interpret. Přebírá prostorové souřadnice, hloubkové profily a hranice segmentace a vykresluje odpovídající obrazové vstupy i LiDAR pro řídicí politiku. Pokud se textový pokyn změní z „jasné letní poledne“ na „husté sněžení v noci na mokré vozovce“, prostorové rozložení budov a aut zůstane stejné, senzory vozidla však dostanou věrný test v extrémních podmínkách.

Hardwarové nároky a rychlost

Všechny čtyři modely mají 16 miliard trénovatelných parametrů. Publikovaný inferenční setup běží přes framework vLLM-Omni v kontejneru na Linuxu (vyžaduje Docker a NVIDIA Container Toolkit) a NVIDIA jej v praxi otestovala na jediném čipu NVIDIA GB200, přičemž zdůrazňuje, že nejde o minimální paměťovou specifikaci. Nízké latence a plynulého chodu u streamovacích variant (Sim-Auto a Sim-Bimanual) inženýři dosáhli čtyřfázovým tréninkovým receptem:

• Fáze 0 (Bidirectional adaptation): Model se z kompletních záznamů učí základní doménu a vztahy mezi řídicími signály a videem.
• Fáze 1 (Teacher forcing): Predikce jednotlivých bloků z dřívějších pozorování s maskováním budoucích kroků.
• Fáze 2 (Consistency distillation): Pomocí zmrazeného učitelského modelu je natrénován studentský model, který generuje každý blok v pouhých 4 odšumovacích krocích.
• Fáze 3 (Self-forcing s KV cache): Trénink na vlastních vygenerovaných datech zabraňuje kupení chyb v dlouhých sekvencích. Výpočet probíhá v latentním prostoru, kde jeden časový krok odpovídá 4 RGB snímkům.

Podobný princip NVIDIA ukázala už v říjnu 2026 na odvozeném modelu Cosmos3-H-Dreams, který slouží k interaktivní simulaci chirurgických zákroků podle pohybů robotických ramen. Tento systém zvládá interaktivní běh bez prodlev na jediném GPU NVIDIA RTX PRO 6000. Pro plnohodnotné streamování 11 kamer v automobilovém provozu však běžná pracovní stanice nestačí a je nutné sáhnout po serverové infrastruktuře.

Dostupnost, licence a využití pro vývojáře

Licenční politika je pro vývojáře příznivá. NVIDIA zvolila licenci Linux Foundation OpenMDW-1.1, která výslovně povoluje bezplatné komerční i nekomerční využití, modifikaci i distribuci odvozených kontrolních bodů. Váhy modelů jsou volně ke stažení z repozitářů Hugging Face a vývojový rámec Cosmos Framework je dostupný na GitHubu. Pro české i evropské technologické firmy a univerzitní laboratoře, které vyvíjejí robotické manipulátory, zemědělskou autonomní techniku nebo systémy sledování dopravy, to znamená přímý přístup k syntetickým datům bez nutnosti platit poplatky za proprietární simulační nástroje. Kód obsahuje i recepty pro adaptaci na vlastní domény a senzorické sestavy, takže si tuzemské týmy mohou modely dotrénovat na specifické lokální prostředí nebo specifické kamery vozidel.