Flora od Nvidie zlevňuje označování robotických videí pro výzkum

Flora řeší přípravu dat pro roboty

Robotické modely se neučí pouze z povelů a fotografií. Velkou část trénovacích dat tvoří videozáznamy lidských rukou, robotických ramen a různých pokusů o manipulaci s předměty. Aby se s takovým materiálem dalo pracovat, musí někdo určit, co se ve videu stalo, kdy jednotlivé akce začaly a jestli byl výsledek správný.

U krátkého klipu to zvládne člověk ručně. U tisíců nebo milionů hodin záznamů už jde o drahou a pomalou práci. Flora od Nvidie má tento mezikrok automatizovat. Firma ji používá jako datový engine při trénování robotických modelů GR00T a 20. října 2026 zveřejnila její modely pro výzkumníky.

Podle výzkumného týmu Nvidia GEAR Flora pokrývá tři druhy anotací. Výsledkem jsou časově označené popisy akcí, odměny pro posilovací učení a hodnocení toho, zda robot dokončil celý úkol.

Tři modely místo jednoho univerzálního nástroje

Flora-TempSeg hledá hranice akcí

První část systému se jmenuje Flora-TempSeg. Jejím úkolem je rozdělit dlouhé video na kratší úseky, které odpovídají jednotlivým činnostem. Například vybere okamžik, kdy robot uchopí hrnek, přesune ho a položí na stůl.

Model má 9 miliard parametrů a používá LoRA adaptaci modelu Qwen3.5-9B. LoRA je způsob dodatečného učení, při kterém se neupravuje celá síť, ale jen menší část parametrů. Výsledkem může být úspornější specializace na konkrétní úkol, v tomto případě na časové rozdělení robotického videa.

Flora-Captioner popisuje záměr

Na segmentaci navazuje Flora-Captioner. Tento model dostane vybraný interval a podle potřeby také obraz z období před ním a po něm. Díky tomu nemá popisovat pouze jeden zamrzlý okamžik, ale celou akci v jejím průběhu.

Captioner má 27 miliard parametrů a je postavený na Qwen3.5-27B. Výstupem může být například textový popis pokusu o uchopení předmětu, přesunutí objektu nebo otevření zásuvky. Pro robotický dataset je důležité rozlišit, co se robot pokoušel udělat a zda se mu to opravdu podařilo.

Flora-Rewarder hodnotí výsledek

Třetí model, Flora-Rewarder, generuje takzvané reward signály. V praxi hodnotí kvalitu provedení úkolu a hledá chybové kroky. Nvidia uvádí, že může ohodnotit celý pokus na stupnici od 1 do 5, případně rozdělit video na krátké kroky a označit je jako běžné, neoptimální nebo chybné.

Reward signál je důležitý pro posilovací učení. Robot nedostane pouze informaci, že celý pokus skončil úspěchem nebo neúspěchem. Model může dostat zpětnou vazbu i za jednotlivé části pohybu. To je podobné jako při učení člověka, kterému trenér neřekne jen „špatně“, ale upozorní na konkrétní krok.

Odhad ceny je 125krát nižší než u GPT-6 Astra

Nvidia uvádí, že anotace jedné hodiny robotického videa stojí u Flory přibližně 0,72 dolaru. Pro srovnání používá GPT-6 Astra, u kterého vychází stejná práce na zhruba 88,49 dolaru. Rozdíl odpovídá přibližně 125násobně nižším nákladům.

Čísla je potřeba číst opatrně. Nejde o účet z komerčního provozu, ale o kalkulaci založenou na předpokládané ceně 10 dolarů za GPU-hodinu. Nvidia zároveň srovnává specializovanou pipeline s univerzálním modelem, který má širší schopnosti a může při zpracování využívat uvažování. Přímé srovnání proto neříká, že Flora je obecně levnější model pro všechny úlohy.

Na interním testu s 50 videi dosáhla Flora podle Nvidie celkové kvality anotací 57,1 procenta, zatímco GPT-6 Astra 53,7 procenta. Výhoda se neobjevila ve všech typech hodnocení. GPT-6 Astra například dosáhl nižší chyby v testu RubricBench, konkrétně 3,6 oproti 6,5 u Flory. Nižší hodnota je v tomto testu lepší.

Flora lépe hledá chyby v průběhu úkolu

Nejzajímavější výsledky se týkají detekce neúspěšných kroků. V testu DenseRewardBench dosáhl Flora-Rewarder makro F1 skóre 46,2 a zachytil 53,3 procenta chybových nebo neúspěšných kroků. Žádný z porovnávaných modelů nepřekročil 11,7 procenta u stejné metriky.

Vyšší citlivost má svou cenu. Flora označila přibližně 11 procent běžných kroků za chybu, přestože chyba nenastala. Robotický dataset proto nebude možné bez kontroly slepě poslat do další fáze tréninku. U některých aplikací může být výhodnější zachytit více problémů a později je filtrovat. Jinde může být důležitější minimum falešných poplachů.

V testu WGO-Bench dosáhla Flora-TempSeg F1 skóre 50,3 při hodnocení přesnosti časových hranic na úrovni tIoU 0,75. Flora-Captioner měl v referenčních časových oknech přesnost instrukcí 64,7 procenta. Výsledky ukazují, že Flora je silná hlavně v lokalizaci akcí a jejich hodnocení, nikoli automaticky ve všech možných popisech scény.

Interně zpracuje 200 000 hodin videa denně

Nvidia uvádí, že její interní pipeline dokáže na clusteru s 512 GPU GB300 označit až 200 000 hodin videa za den. Jde o kapacitu produkčního běhu ve vlastní infrastruktuře. Neznamená to, že stejnou rychlost dostane výzkumník s jedinou grafickou kartou nebo běžným pracovním počítačem.

Flora má podle Nvidie pracovat s videi z robotických kamer i s lidskými egocentrickými záznamy. To je důležité pro výzkum přenosu lidských demonstrací na roboty. Video ruky, která skládá předmět, může být datovým zdrojem podobně jako záznam robotického chapadla, pokud systém dokáže správně určit akci a její výsledek.

Modely jsou dostupné prostřednictvím kolekce Nvidia na Hugging Face. Modelové karty uvádějí, že trénovací texty jsou v angličtině a vydané váhy jsou určené pro nekomerční výzkum a vývoj. Pro české uživatele tedy nejde o lokalizovaný nástroj v češtině ani o hotovou službu dostupnou formou běžné webové aplikace. Výzkumný tým v Česku nebo Evropské unii by musel řešit vlastní provoz, hardware a podmínky licence.

Otevřené váhy mají jasné hranice

Flora není řídicí model pro humanoidního robota. Generuje popisy, časové intervaly a hodnotící signály. Sama o sobě neurčuje bezpečný pohyb ramene ani neposílá příkazy motorům. Ani výstup Rewarderu by neměl být jediným bezpečnostním dohledem nad fyzickým systémem.

Další omezení vyplývá z kvality videa. Pokud kamera zakryje objekt, nesedí časování mezi více kamerami nebo robot provede podobný pohyb několika způsoby, může model akci špatně rozdělit nebo popsat. Nvidia ve vlastních výsledcích ukazuje, že GPT-6 Astra zůstává přesnější u některých popisů robotických videí a při hodnocení podle pravidel.

Praktická hodnota Flory proto nespočívá v tom, že by odstranila potřebu lidské kontroly. Zajímavější je rozdělení práce na tři specializované úkoly a možnost spouštět pipeline nad rozsáhlým datasetem. Pro výzkumnou skupinu, která potřebuje zpracovat velké množství záznamů, může být rozdíl mezi odhadovanými 0,72 a 88,49 dolaru za hodinu významný. Současně musí počítat s vlastním GPU provozem, kontrolou chyb a nekomerční licencí.

Flora tak zapadá do širšího směru, ve kterém se robotické modely učí z videa a automaticky připravených odměn. Nvidia zveřejnila nástroj, který tuto část práce zpřístupňuje výzkumníkům, ale jeho výsledky stále závisejí na datech, synchronizaci kamer a následném ověření anotací.

FAQ