Robot zvedne láhev, minibar ale nedoplní. Nový dataset ho učí, co dělat dál

Rozhodování místo pohybu

Robot umí sebrat láhev s dokonalou přesností, a přesto nedoplní minibar. Nechá prázdnou láhev, přidá moc nových nebo zopakuje krok, který už udělal. Chybí mu schopnost před pohybem vyhodnotit, co situace vyžaduje.

Přesně na to cílí Physical Reasoning. Na rozdíl od běžných datasetů, které zaznamenávají jednu pevnou sekvenci pohybů, tenhle sbírá víc cest ke stejnému cíli. Mění se počet objektů, překážky, volné místo i to, jak daleko robot s úkolem došel. Stejný požadavek tak může vyžadovat jiný postup.

Vraťme se k minibaru. Aby měl robot v lednici tři plné lahve, musí poznat, které jsou prázdné, spočítat ty plné a rozhodnout, co vyhodit a co doplnit. Úspěšný úchop je jen část úkolu. Robot potřebuje představu o tom, jak má vypadat konečný stav, a umět ji porovnat s tím aktuálním.

Jiný scénář: klíč leží za krabicí. Když je místa dost, stačí sáhnout přímo. Když krabice překáží, musí ji robot nejdřív odsunout. Hledání v šuplících pak přidává problém s pamětí – samotný obraz z kamery systému neřekne, které šuplíky už prošel. Je to rozdíl mezi opisováním tahů a pochopením hry.

Devět schopností a tři obtížnosti

Podle popisu společnosti AGIBOT v odkazovaném materiálu dataset rozděluje podle devíti schopností: výběr objektů podle vlastností, výběr podle kontextu, posouzení, jestli je manipulace vůbec proveditelná, uvažování o předpokladech kroku, hledání směrem k cíli, sledování stavů a počtů, plánování delších sekvencí, udržování paměti a řazení dílčích úkolů.

V praxi se tyhle schopnosti překrývají. Doplňování regálu vyžaduje rozpoznání, počítání a sledování postupu. Hledání předmětu kombinuje strategii prohledávání se záznamem o tom, kde už robot byl. Delší úklid může vyžadovat několik takových úsudků za sebou, kdy každý pohyb mění podmínky pro ten další.

AGIBOT v popisu datasetu dělí úlohy na tři obtížnosti – snadnou, střední a těžkou. Jednoduché jsou samostatné úsudky o výběru, střední přidávají omezení počtů a předpoklady, těžké kombinují víc cílů, paměť a kontext najednou. Vědci tak můžou trénovat jednotlivé dovednosti a pak zkoušet, jak fungují dohromady.

Podle stejného popisu jsou anotované i výsledky: který objekt robot vybral, kam ho položil a jestli dosáhl požadovaného počtu. Dataset obsahuje úspěšné i chybné ukázky, takže jde zkoumat, jak odchylku rozpoznat a jak na ni reagovat.

Jak jsou data označená

Technická přidaná hodnota je v tom, jak se propojují různé úrovně úkolu. Vysokoúrovňová instrukce říká celkový cíl. Rámce úkolu, segmenty dílčích kroků a kroky pohybu popisují strukturu a postup. Vědci z toho můžou odvodit, který dílčí cíl je zrovna aktivní a co má následovat.

Na úrovni pohybu anotace podrobných instrukcí určují cílový objekt, oblast manipulace, roli obou paží, pohyb, stav chapadla a očekávaný výsledek. Ohraničující rámečky, body a trajektorie propojují jazyk s konkrétními místy a drahami pohybu. Model tak dostává jasnější návod, na co se instrukce vztahuje a jak se její provedení zaznamenává.

AGIBOT podle odkazovaného popisu uvádí i úspěšné a takzvané záměrně rušivé úseky, které odlišují cílový objekt od rušivých a kontrolují výsledek. Pomáhají testovat, jestli robot vybral správný objekt a jestli krok skutečně dokončil.

Smysl je propojit model pro rozhodování s politikou pohybu. Rozhodovací model vybere dílčí cíl, politika provede manipulaci a výsledný stav ovlivní další rozhodnutí. Tahle zpětná vazba se hodí vždycky, když se robot musí vzpamatovat z nepovedeného pokusu nebo reagovat na změněnou scénu.

Odkud data stáhnout a za jakých podmínek

Dataset je součást repozitáře AGIBOT WORLD 2026 na Hugging Face. Formát odpovídá konvencím LeRobot – vedle metadat a dat epizod nabízí zvlášť videostreamy z hlavy a ze zápěstí robota. Data se sbírala na platformě G2, kolovém robotu se dvěma pažemi, který AGIBOT staví pro takzvanou embodied intelligence a silově řízenou manipulaci.

Důležitá podmínka: podle licenčních údajů uvedených AGIBOT v odkazovaném repozitáři jsou data pod licencí Creative Commons Attribution–NonCommercial–ShareAlike 4.0. Pro komerční produkt je tedy nemůžete použít bez další dohody. Pro akademický výzkum a experimenty je stažení volné.

AGIBOT tvrdí, že data už podpořila jeho chystaný agentový rámec a nový základní model. Výsledky těchto systémů v benchmarcích ale zatím nezveřejnil, takže reálný výkon zůstává otevřenou otázkou. Samotný dataset neříká, že konkrétní model spolehlivě zvládne celý pracovní postup v neznámém prostředí.

AGIBOT WORLD a širší kontext

Physical Reasoning navazuje na projekt, který AGIBOT poprvé otevřel v prosinci 2024. Tehdejší dataset AgiBot World obsahoval podle firmy přes milion tréninkových záznamů ze sta robotů a pokrýval víc než sto scénářů v pěti oblastech – domácnost (40 %), restaurace (20 %), průmysl (20 %), kancelář (10 %) a supermarket (10 %). Firma tehdy uváděla, že oproti datasetu Open X-Embodiment od Googlu má desetinásobek navigačních dat a stonásobek scénářů pro humanoidy, jak napsal SiliconANGLE.

Firmu založil v roce 2023 v Šanghaji inženýr Pcheng Č'-chuej, bývalý vývojář Huawei. Na letošní partnerské konferenci APC 2026 AGIBOT popsal svou strategii jako kompletní technologický celek – hardware, modely, simulace a reálná data propojené do uzavřené smyčky, kde se každý nasazený robot učí a zlepšuje systém jako celek. Konkuruje americkým hráčům jako Figure AI, Apptronik, Boston Dynamics nebo Tesla Optimus.

Pro české výzkumníky a startupy to znamená konkrétní věc: jde o volně dostupná data pro trénink vlastních robotických modelů, bez nutnosti stavět vlastní datovou továrnu. Omezením je nekomerční licence a fakt, že data pocházejí z jednoho konkrétního hardwaru G2, takže přenos naučené politiky na jinou platformu není automatický.