MetaRoCE přesouvá řízení AI sítě do síťové karty. Proč na tom záleží

U velkých AI clusterů není problémem pouze počet grafických procesorů. Stejně důležité je, jak rychle si mezi sebou dokážou předávat data. Při trénování modelu se tisíce akcelerátorů opakovaně synchronizují pomocí operací jako all-reduce nebo all-to-all. Když jeden server zaostane, čeká na něj celý výpočet. Je to podobné jako u dlouhé porady, kde devadesát devět lidí dorazí včas, ale schůzka stejně začne až po posledním účastníkovi.

Meta tvrdí, že její novinka je navržena pro Ethernet v měřítku až milionů GPU. Společnost současně uvolní specifikaci, referenční softwarovou implementaci a testovací sadu prostřednictvím Open Compute Projectu. Samotné vydání těchto artefaktů Meta spojuje s OCP Global Summitem, přesný termín zveřejnění však z dostupného oznámení nevyplývá. V době zveřejnění tohoto článku tedy MetaRoCE ještě není běžně dostupný produkt pro nákup, uvádí Meta ve svém technickém oznámení.

Proč současné AI sítě narážejí na limity

Meta ve své práci popisuje své dosavadní nasazení RoCEv2, tedy RDMA over Converged Ethernet. RDMA umožňuje přenášet data mezi pamětí serverů s menším zapojením procesoru. V praxi to znamená, že GPU a síťová karta si mohou předávat data přímočařeji a s nižší režií než u běžné síťové komunikace. Meta tento způsob nasazení popisuje ve své práci o škálování RoCE.

RoCEv2 ale tradičně spoléhá na síť, která se snaží doručovat pakety bez ztrát a ve správném pořadí. K tomu se používá například PFC, tedy Priority Flow Control. Přepínač může při zahlcení dočasně „pozastavit“ odesílání části provozu. V menší a dobře kontrolované síti to může fungovat. Ve velkém AI clusteru však vzniká riziko, že se lokální problém rozšíří dál a zablokuje komunikaci, která sama o sobě zahlcená není.

Další komplikací je směrování. AI provoz má často nízkou rozmanitost toků, je nárazový a skládá se z takzvaných sloních toků – velkých přenosů, které dokážou na krátkou dobu vytížit linku téměř na maximum. Meta ve své práci o škálování RoCE popsala, že nevhodné rozložení provozu nebo porucha síťového prvku může zhoršit výkon celého tréninku o více než 30 procent, uvádí Meta v popisu svých měření.

MetaRoCE obrací logiku naruby

MetaRoCE vychází z předpokladu, že Ethernet nemusí být dokonale bezchybný. Ztráta paketu není výjimečná katastrofa, ale stav, se kterým transport počítá. Přepínače nemusí udržovat globální pořadí paketů ani používat PFC. Síťová karta na konci spojení sleduje jednotlivé cesty, vyhodnocuje jejich odezvu a podle situace přesměrovává další data.

Meta tento přístup shrnuje větou, že „fabric sees packets, but the NIC sees intent“ – síť vidí pakety, zatímco síťová karta rozumí záměru komunikace. Pro laika se dá rozdíl přirovnat k rozvozu zásilek. Tradiční systém trvá na tom, aby všechny balíky dorazily stejnou trasou a ve správném pořadí. MetaRoCE je pošle různými cestami a příjemce je uloží rovnou na správné místo.

Pakety mohou dorazit mimo pořadí

V MetaRoCE je doručení mimo pořadí standardní režim, nikoli chyba. U operací Write paket obsahuje informace potřebné k přímému zápisu do cílové oblasti paměti. Operace Send naproti tomu využívá shodu s předem připraveným přijímacím bufferem. Tím se omezuje potřeba velkého vyrovnávacího prostoru pro přerovnávání dat a také riziko takzvaného head-of-line blocking, kdy jeden chybějící paket zdrží všechny následující.

Výhodou je také nativní vícecestné směrování. Síťová karta může rozdělit komunikaci na mnoho logických cest a každou z nich sledovat samostatně. Každá cesta má vlastní odhad doby odezvy, velikost okna i informace o zahlcení. Pokud je jedna trasa přetížená nebo selže, nemusí se zastavit celé spojení.

Selektivní opakování místo plošného zpomalování

MetaRoCE používá selektivní potvrzování. Podle technického popisu Meta pracuje pro každý směr s 256bitovým bitovým polem, které umožňuje přesně označit, které pakety dorazily a který chybí. Síťová karta pak zopakuje pouze konkrétní ztracený paket, nikoli celý blok dat.

Právě zde se ukazuje rozdíl mezi „bezchybnou“ a „odolnou“ sítí. RoCEv2 se snaží problémům předcházet pomocí řízení provozu v přepínačích. MetaRoCE připouští, že k problému dojde, ale snaží se ho vyřešit rychle a lokálně. To je méně elegantní na papíře, zato praktičtější v síti s tisíci současných přenosů.

Výsledky z testu: 86 procent výkonu při jednoprocentní ztrátovosti

Meta implementovala MetaRoCE na programovatelných síťových kartách AMD Pensando. V testu použila 64uzlový cluster s AMD GPU a knihovnu RCCL pro kolektivní operace. MetaRoCE porovnávala přímo s RoCEv2 při operacích all-reduce a all-to-all.

Podle zveřejněných výsledků dosáhl MetaRoCE vyšší propustnosti a kratší doby dokončení toků než RoCEv2. Nejdůležitější výsledek se týká ztrát paketů: při jednoprocentní ztrátovosti si transport udržel přibližně 86 procent propustnosti. I při desetiprocentní ztrátovosti měl podle Mety stále poskytovat použitelnou šířku pásma, místo aby se výkon zhroutil.

V interním testu Mety se ověřovaly čtyř- a osmicestné síťové topologie s až 4 000 současnými spojeními. Propustnost podle společnosti rostla lineárně s počtem síťových rovin. Při simulovaném výpadku celé roviny se provoz přerozdělil bez zásahu aplikace nebo administrátora. Výsledky je ale vhodné číst jako benchmark výrobce, nikoli jako nezávislé srovnání všech dostupných síťových technologií, jak vyplývá z technického oznámení Mety.

Co znamená otevřený návrh

Meta nechce MetaRoCE držet jako uzavřenou technologii. Do OCP plánuje přispět kompletní specifikací, compliance testy pro ověřování kompatibility a knihovnou libsoftmetaroce. Ta má fungovat jako referenční model transportu na běžném Linuxu přes standardní UDP sockety a současně sloužit výrobcům hardwaru při vývoji implementací v síťových kartách.

Důležitá je i snaha o podporu více výrobců. Meta uvádí, že MetaRoCE ověřila na programovatelném hardwaru AMD Pensando a že další implementace jsou ve vývoji.

Otevřená specifikace však automaticky neznamená okamžitou interoperabilitu. Výrobci musí implementace skutečně dokončit, projít testy a vyřešit podporu v ovladačích, kolektivních knihovnách i nástrojích pro správu clusteru. Teprve potom bude možné posoudit, zda se MetaRoCE prosadí jako širší alternativa k RoCEv2, nebo zůstane hlavně technologií pro největší provozovatele AI infrastruktury.

Dostupnost v Česku, cena a praktický dopad

Pro české uživatele je podstatné, že MetaRoCE není spotřebitelská AI služba. Nemá českou lokalizaci, bezplatný tarif ani předplatné v korunách či eurech. Jde o síťový protokol určený pro datacentra, výrobce síťových karet, cloudové platformy a provozovatele velkých GPU clusterů.

Samotná specifikace a referenční software mají být uvolněny otevřeně přes OCP, ale cena případného nasazení závisí na hardwaru, síťových kartách, přepínačích a celkové architektuře clusteru. Meta žádnou koncovou cenu MetaRoCE neuvádí. Pro firmu v Česku nebo Evropské unii to tedy zatím není položka, kterou by si mohla jednoduše objednat jako cloudovou službu.

Dopad se může projevit nepřímo. Pokud se otevřený transport uchytí u výrobců hardwaru a cloudových poskytovatelů, může zjednodušit stavbu větších Ethernetových AI clusterů a snížit závislost na specifických síťových konfiguracích. Pro uživatele AI služeb by se to mohlo projevit rychlejším trénováním modelů, stabilnějším inferenčním provozem nebo lepším využitím drahých GPU. To je ale zatím očekávaný infrastrukturní dopad, nikoli výsledek, který by MetaRoCE v běžném provozu mimo testovací cluster prokázal.

MetaRoCE není hotový produkt, ale důležitý směr

Nejzajímavější na MetaRoCE není samotná zkratka ani počet paketů v potvrzovacím poli. Podstatná je změna odpovědnosti. Meta se snaží přesunout rozhodování ze síťové infrastruktury do koncových zařízení, která mají lepší přehled o tom, jaký typ dat právě přenášejí.

Pro AI clustery to dává smysl. Jejich provoz je předvídatelnější než běžný internetový provoz, přenosy jsou často masivní a několik milisekund zpoždění může znamenat čekání tisíců GPU. Zároveň ale platí, že test na 64 uzlech není totéž co dlouhodobé nasazení v různých datacentrech, cloudech a síťových topologiích.

MetaRoCE proto zatím není důvod k nákupu nového vybavení. Je to spíš návrh, který ukazuje, kam se může posouvat síťová infrastruktura pro AI: k vícecestnému Ethernetu, programovatelným síťovým kartám, selektivní obnově paketů a menší závislosti na tom, že každý přepínač musí udržet dokonalý pořádek. A protože Meta chce návrh otevřít přes OCP, nebude rozhodnutí pouze v rukou jednoho výrobce.

FAQ

Zdroje: technické oznámení MetaRoCE od Meta, shrnutí testů na MarkTechPost, dřívější práce Mety o RoCE ve velkých AI clusterech, OCP Global Summit 2026 a AMD Pensando AI NIC.