World Labs učí roboty bez reálných pokusů. Jedna úloha vytvoří tisíce simulací

Startup World Labs, který založila výzkumnice Fei-Fei Li, představil systém Real-to-Sim-to-Real, zkráceně R2S2R. Jeho princip je poměrně přímočarý: nejprve zachytí skutečného robota, jeho senzory, prostředí a ukázku úlohy. Poté z těchto dat vytvoří interaktivní virtuální svět, ve kterém se objekty nejen zobrazují, ale také reagují na pohyb a fyzický kontakt.

V takto připraveném prostředí lze měnit osvětlení, polohu a počet předmětů, míru nepořádku, úhel kamery, stav robota i fyzikální vlastnosti, například tření. Z jediné demonstrace tak vzniknou tisíce kontrolovaných variant. Nejde pouze o hezčí grafiku. Robotický model dostává více příležitostí zjistit, co funguje a co selže.

Podle zjištění The Decoder World Labs testovala úlohy zahrnující vedení kabelu, zasouvání pružného konce kabelu do otvoru, balení krabice oběma rukama, přesouvání zkumavek nebo oddělování tenkých předmětů z husté hromady. Právě kabely, pružné materiály a objekty v těsném kontaktu patří mezi situace, na kterých tradiční simulace často narazí.

Proč je trénink robotů výrazně složitější než trénink chatbotů

Jazykový model může získávat zkušenosti z obrovského množství textu, který už existuje na internetu. Robot takové štěstí nemá. Každý nový pokus znamená pohyb skutečného zařízení, přípravu scény, návrat předmětů na původní místo a případné řešení následků chyby.

Když robot upustí tužku, není to jen jeden špatný řádek v logu. Někdo musí scénu znovu připravit. Pokud manipuluje s kabelem nebo zkumavkou, může se úloha po chybě dostat do jiného stavu, než se kterým počítal další pokus. Fyzický hardware zkrátka neumí tlačítko „reset“ tak elegantně jako simulátor. A jeho provoz také není zadarmo.

World Labs proto tvrdí, že hlavním omezením robotiky není pouze architektura modelu, ale především objem zkušeností a možnost jejich systematického vyhodnocování. Podobný problém řeší také autonomní řízení, letectví nebo vývoj dronů, kde simulace umožňují opakovat nebezpečné či vzácné situace bez poškození zařízení.

Oficiální popis systému v textu Fei-Fei Li rozděluje R2S2R na dvě části. První, real-to-sim, převádí fyzický svět do simulace. Druhá, sim-to-real, v simulaci trénuje a testuje řídicí modely a ověřuje, zda jejich chování odpovídá skutečnému robotu.

Jedna úloha, tisíce kontrolovaných variant

Nejzajímavější částí je schopnost systematicky rozšiřovat jedinou reálnou ukázku. Pokud robot například omotává kabel kolem lednice, simulace může měnit pozici kabelu, jeho fyzikální vlastnosti, polohu lednice nebo množství dalších objektů v okolí.

Takový proces se označuje jako data augmentation, tedy rozšiřování trénovacích dat. V běžném strojovém učení může znamenat například otočení fotografie nebo změnu jejího jasu. U robotů je ovšem potřeba měnit nejen vzhled, ale také fyziku. Předmět musí zůstat ve správné poloze, kabel se musí ohýbat uvěřitelným způsobem a kontakt mezi robotem a objektem musí vést k odpovídajícímu výsledku.

World Labs uvádí, že systém porovnává stejnou akční sekvenci v simulaci a v realitě. Sleduje pozorování senzorů, pohyb objektů i výsledný stav úlohy. Cílem není vytvořit dokonale vypadající kopii světa, ale simulaci, která poskytne podobné odpovědi na praktické otázky: Kde model selže? Která verze je lepší? A přenese se zlepšení také na skutečný robot?

Modely se učily ve virtuálním světě, pak pracovaly na hardwaru

Jednou z testovacích platforem byl ALOHA, otevřený systém se dvěma robotickými rameny, který vznikl na Stanfordově univerzitě. ALOHA se v robotickém výzkumu používá mimo jiné proto, že jeho konstrukce a dokumentace jsou veřejně dostupné a náklady jsou nižší než u komerčních výzkumných platforem.

World Labs uvádí, že modely trénované výhradně v simulaci běžely na čtyřech dalších robotických platformách po dobu jedné hodiny bez zásahu člověka. Úlohy zahrnovaly například omotání napájecího kabelu kolem lednice oběma rameny, přesné přesouvání zkumavek nebo vytahování fixů a tužek z husté hromady.

To je důležitý rozdíl proti ukázce, ve které robot zvládne jeden pohyb několikrát za sebou. Hodina autonomního provozu vytváří více příležitostí pro chyby, zejména pokud se mění poloha objektů nebo se materiál chová nepředvídatelně. Zároveň ale platí, že jde o firemní výsledky z kontrolovaných demonstrací, nikoli o nezávislý standardizovaný benchmark.

Simulace jako filtr před drahými testy

R2S2R nemá sloužit jen k tréninku. World Labs ho použil také k porovnání různých řídicích modelů a jejich vývojových verzí. V testu s předáváním kostky mezi dvěma rameny ALOHA proběhlo pro každý kontrolní bod 2 000 simulovaných a 100 reálných pokusů.

Podle zveřejněných výsledků zůstalo pořadí modelů v simulaci a na skutečném hardwaru do značné míry stejné. Simulace dokázala zachytit i hraniční situace, například když robot kostku uchopil jen za její okraj, a odpovídající neúspěšné pokusy. Test zahrnoval různé typy modelů, mimo jiné GR00T N1.6 a π₀.₅.

Praktický přínos je zřejmý: vývojový tým může nejdříve vyřadit slabé modely ve virtuálním prostředí a na skutečném robotu ověřovat jen nejslibnější kandidáty. Simulace přitom nemusí přesně kopírovat absolutní úspěšnost reality. Pokud ale správně zachová pořadí modelů a jejich typické oblasti selhání, může výrazně zkrátit počet fyzických testů.

World Labs navazuje na vývoj prostorové inteligence

R2S2R zapadá do širší strategie World Labs, která se zaměřuje na takzvané world models, tedy modely schopné vytvářet reprezentaci prostředí, chápat jeho prostorové vztahy a předvídat, co se stane po určité akci. Firma v červenci 2026 oznámila, že se k ní připojil startup SceniX zaměřený na robotiku a simulace. Podrobnosti zveřejnila v oficiálním oznámení World Labs.

Nejde přitom o totéž jako u generátoru videa. Video může vytvořit obraz, který vypadá přesvědčivě, ale robot potřebuje také vědět, zda objekt skutečně stojí na stole, jak se pohne po zatlačení a zda se kabel ohne, nebo pouze nepřirozeně „propluje“ překážkou. Proto je u robotiky důležitá kombinace prostorové reprezentace, fyzikální simulace a řídicího modelu.

World Labs už dříve ukazoval také spolupráci se společností Lightwheel, kde jeho technologie Marble převádí jednoduché záznamy prostředí do simulací. Oficiální případová studie popisuje zkrácení tvorby prostředí z týdnů na minuty. Tento proces se týká hlavně tvorby scén, zatímco R2S2R jde dále a propojuje scénu s konkrétními robotickými úlohami, chováním a vyhodnocením.

Co zatím zůstává otevřené

Největší otázkou je přenos výsledků do méně kontrolovaného prostředí. Robot v laboratoři může pracovat v prostoru, který byl přesně zachycen a připraven. Domácnost, sklad nebo výrobní hala ovšem přinášejí více nepořádku, odlesků, deformovatelných objektů a neočekávaných situací.

Otevřená zůstává také otázka škálování na další typy robotů a složitější úlohy. World Labs tvrdí, že rekonstruovaný svět lze znovu použít pro různé řídicí modely a robotické platformy. To je slibná vlastnost, ale samotné zveřejněné výsledky zatím neznamenají, že každý model půjde bez úprav přenést na libovolný robot.

Pro české vývojáře a firmy je podstatné také to, že R2S2R není veřejná spotřebitelská aplikace. World Labs neuvedl běžnou cenu, bezplatný tarif ani dostupnost této robotické platformy v češtině či pro český trh. Technologie je zatím určena především pro výzkumné a průmyslové týmy. Veřejný ekosystém World Labs a jeho API je dostupný pro tvorbu 3D světů, ale to samo o sobě neznamená přístup k R2S2R pro trénink robotů.

Směr je přesto zřetelný: robotika se bude stále více opírat o simulace, které nebudou pouze kulisou, ale testovacím hřištěm s vlastní fyzikou. Největší hodnotou R2S2R proto nemusí být samotné vytvoření tisíců variant. Důležitější je možnost předem zjistit, proč model selhává, a nečekat na každou chybu až ve chvíli, kdy stojí vedle skutečného robota.

FAQ