Kyutai naučil robotického pomocníka pamatovat si pohyb bez velké režie

REKI spojuje vidění, instrukci a pohyb

REKI je zkratka pro Registering Knowledge in VLAs. Jde o model typu VLA, tedy Vision-Language-Action. Takový systém přijímá obraz z kamer, textový úkol a stav robotického ramene. Výstupem není odpověď v podobě textu, ale konkrétní pohybové příkazy. Model vznikl ve spolupráci laboratoře Kyutai, výzkumného institutu Inria a École des Ponts. Vědecká práce byla zveřejněna 15. října 2026 na arXiv, projektová stránka a modelové váhy následovaly v říjnu. Kyutai uvádí, že REKI byl předtrénovaný výhradně na veřejně dostupných datech. Celkem má 2,4 miliardy parametrů. Základ tvoří vision-language model Qwen3.5-2B s přibližně 2,2 miliardy parametrů. Na něj navazuje akční expert s 200 miliony parametrů, který generuje pohyb pomocí metody flow matching. Pro běžného čtenáře je důležité hlavně rozdělení práce: jedna část modelu chápe scénu a instrukci, druhá převádí toto pochopení na pohyb robotického ramene.

Paměť je uvnitř akčního experta

Roboti při manipulaci často nepotřebují znát celou historii událostí. Potřebují však vědět, co se stalo před okamžikem. Pokud například rameno uchopuje misku, aktuální snímek nemusí stačit k rozlišení mezi dokončeným a rozpracovaným pohybem. REKI proto ukládá stručné shrnutí předchozích pozorování do takzvaných registrů. Nejde o klasickou databázi ani o dlouhý textový kontext. Model pracuje s 32 naučenými registračními tokeny, které shrnují informace z jednotlivých snímků a ukládají je do posuvného okna. Trénovací okno obsahuje tři snímky pořízené s odstupem jedné sekundy. Při novém pozorování se nejstarší záznam vyřadí a do paměti vstoupí nový. Výpočetně se tak nepřenáší celý obrazový vstup z minulosti. Model pracuje s menší reprezentací toho, co už viděl. Důležité je umístění paměti. REKI ji nepřidává do vision-language části, ale do akčního experta. Podle autorů se tím omezuje nutnost opakovaně zpracovávat stejné snímky a nevzniká samostatný paměťový modul.

Robot díky paměti méně kmitá

Výzkumníci sledovali chování modelu na benchmarku RoboTwin. U varianty bez paměti se robot v 18,6 procenta epizod opakovaně vracel mezi dvěma pózami. Pohyb se podobal situaci, kdy člověk několikrát sáhne ke stejnému předmětu, ale pokaždé změní směr těsně před uchopením. S aktivovanou pamětí klesl podíl těchto oscilujících epizod na 4,1 procenta. Kyutai tento problém označuje jako percepční alias. Dvě různé situace mohou z pohledu aktuální kamery vypadat podobně, přestože vyžadují jiný další pohyb. Krátká historie pomůže robotovi odlišit, jak se do aktuální polohy dostal. Paměť má podle měření malou režii. Čtení uložených registrů přidává 0,1 ms k akčnímu bloku a každý předchozí snímek zabere přibližně 2 MiB GPU paměti. Hodnoty pocházejí z měření na jedné grafické kartě NVIDIA H100 při práci se dvěma kamerami v rozlišení 256 × 256 pixelů.

Výsledky proti větším modelům

Na benchmarku LIBERO-Plus dosáhl REKI úspěšnosti 90,4 procenta. Ve srovnání uvedeném Kyutai jde o nejlepší výsledek. Qwen-RobotManip dosáhl 89,0 procenta a π0.5 85,7 procenta. Na testu RoboTwin Clean2Rand získal REKI 65,8 procenta. Qwen-RobotManip byl s 68,5 procenta lepší, ale REKI zůstal před modelem π0.5 s výsledkem 63,8 procenta a ABot-M0 s 55,7 procenta. Třetí test RoboCasa365 ukazuje méně jednoznačný obraz. REKI zde dosáhl 38,4 procenta. To je více než u RLDX-1 s 36,0 procenta a Qwen-RobotManip s 35,9 procenta, současně však výrazně méně než u Xiaomi-Robotics-1 s 57,4 procenta. Benchmarky nejsou univerzální známkou kvality. Každý test používá jiné roboty, úkoly a podmínky. REKI byl pro jednotlivé benchmarky samostatně dolaďován a skóre proto popisují konkrétní experimentální nastavení. Výsledek také neříká, že model zvládne libovolné rameno nebo domácí prostředí bez dalšího tréninku.

Rychlost a nároky na provoz

Kyutai naměřil u REKI zkompilovanou latenci 21,8 ms na jeden akční blok. Stejné měření uvádí 33,8 ms u π0.5 a 46,1 ms u ABot-M0. Test probíhal na jedné kartě H100, se dvěma kamerami a deseti kroky Eulerovy smyčky. REKI je tedy určený především pro výzkumné a vývojové prostředí. Veřejně dostupné váhy jsou ve formátu BF16 a projekt nabízí kód pro trénování, vyhodnocování i nasazení prostřednictvím protokolu LeRobot async-inference. Zveřejněné jsou také kontrolní body pro prostředí LIBERO, RoboTwin, RoboCasa365 a humanoidní platformu Fourier GR-1. Na Hugging Face jsou dostupné modely REKI. Zdrojový kód je na GitHubu. Váhy mají licenci CC BY-NC-SA 4.0, zatímco kód je dostupný pod licencí MIT. To je podstatný rozdíl pro firmy. Kód lze použít volněji, samotné modelové váhy však nejsou určeny pro libovolné komerční nasazení.

Dostupnost v Česku a omezení

REKI je ke dni 18. října 2026 veřejně dostupný pro výzkumníky a vývojáře, kteří mají odpovídající robotické vybavení a výpočetní infrastrukturu. Neexistuje k němu hosted API ani běžná spotřebitelská aplikace. Kyutai neuvádí českou lokalizaci ani podporu českých hlasových či textových instrukcí jako samostatnou funkci. Samotný model lze stáhnout z internetu, provoz však vyžaduje GPU a kompatibilní robotický software. V dokumentaci se pracuje například s úkolem „put the bowl on the plate“, tedy s instrukcí v angličtině. To neznamená, že by čeština byla technicky vyloučená, pouze pro ni není v dostupných materiálech uvedená oficiální podpora ani měření. REKI je zajímavý hlavně tím, že řeší konkrétní problém bez velké architektonické přirážky. Paměť neukládá dlouhé video ani celou historii senzorů. Drží několik stručných reprezentací a používá je tam, kde vzniká pohyb. Výsledky ukazují přínos na simulovaných úlohách a při testech robotických ramen, nikoli hotového domácího robota. Veřejná dostupnost vah proto snižuje vstupní bariéru pro výzkum, ne však náklady na skutečné nasazení.

FAQ

Zdroj: projektová stránka Kyutai, vědecká práce REKI, Hugging Face a MarkTechPost.