Co je ARC-AGI-2 a proč na něm záleží

ARC-AGI-2 je druhou generací benchmarku vyvinutého nadací ARC Prize Foundation, za kterou stojí François Chollet (tvůrce Keras) a Mike Knoop (Zapier). Test prověřuje schopnost systému odvodit abstraktní transformační pravidla z pouhých několika ukázek — přesně tu dovednost, kterou lidé zvládají intuitivně, ale současné AI modely s ní mají zásadní potíže.

Úlohy v ARC-AGI-2 vypadají na první pohled jako barevné mřížky: z několika vstupně-výstupních párů musí systém pochopit skryté pravidlo (například „přesuň všechny modré objekty o dvě políčka doprava a orámuj je červeně“) a aplikovat ho na nový vstup. Na rozdíl od jazykových testů, kde lze často uspět statistickým pattern-matchingem, tady musí systém skutečně odvodit logiku transformace — nelze se spolehnout na nic naučeného nazpaměť.

Soutěž ARC Prize 2026 nabízí 2 miliony dolarů v odměnách pro týmy, které dokážou posunout hranice abstraktního uvažování strojů. A právě do tohoto závodu vstupuje ARCANA.

Čtyři agenti, jeden cíl: pochopit transformaci

ARCANA (Adaptive Reasoning with Collaborative Agent Network Architecture) přistupuje ke každé úloze jako k sekvenci iterativních kol, ve kterých spolupracují čtyři specializovaní agenti:

1. Perceptual Grounding Agent (PGA) — „oči“ systému

První agent převádí surovou mřížku na objektově orientovaný scénový graf. Pomocí 2D Transformeru s rotačním pozičním kódováním (RoPE-2D) a diferencovatelné Slot Attention identifikuje jednotlivé objekty, jejich barvy, pozice a vzájemné vztahy. Místo práce s holými pixely tak další agenti dostávají strukturovanou reprezentaci scény — podobně jako když člověk v mřížce „vidí“ čtverce, čáry a jejich vzájemné pozice.

2. Hypothesis Generation Agent (HGA) — „mozek“, který navrhuje řešení

Druhý agent je jádrem celého systému. Na základě reprezentace úlohy a případné zpětné vazby z předchozích pokusů generuje různorodé kandidátní programy ve specializovaném jazyce o 47 primitivech (geometrické transformace, barevné operace, manipulace s objekty, řídicí struktury). Používá podmíněný variační autoenkodér (CVAE) a DPP (determinantal point process), který zajišťuje maximální diverzitu navržených hypotéz — systém nesází vše na jednu kartu, ale zkouší zásadně odlišné přístupy.

3. Symbolic Execution Agent (SEA) — „ověřovatel“

Třetí agent každou hypotézu symbolicky vykoná na demonstračních příkladech a porovná výsledek se správným výstupem. Používá kombinaci přesné shody, buněčné přesnosti a strukturní podobnosti (SSIM). Výsledkem je detailní stopa provedení, která ukazuje, kde přesně a proč program selhal.

4. Reflective Refinement Agent (RRA) — „učitel“, který opravuje chyby

Tohle je hlavní inovace ARCANY. RRA provádí takzvanou counterfactual credit assignment: u každého selhání systematicky zkouší, co by se stalo, kdyby některý krok programu vynechal. Kroky, jejichž absence by výsledek zlepšila, označí za „škodlivé“. Z této analýzy syntetizuje zpětnou vazbu, která v dalším kole odkloní generování hypotéz od dříve neúspěšných oblastí. Jde v principu o to, co dělá zkušený programátor při debugování — jen to probíhá automaticky a v řádu sekund.

Meta-Controller: dirigent s omezeným rozpočtem

Všechny čtyři agenty propojuje sdílená diferencovatelná „tabulе“ (blackboard), přes kterou si vyměňují informace. O tom, který agent se v daném kole aktivuje a kolik výpočetních prostředků dostane, rozhoduje Meta-Controller — naučená neuronová síť trénovaná pomocí policy gradientu, která se učí adaptivně alokovat omezený rozpočet.

Soutěžní pravidla ARC Prize 2026 stanovují přísný limit: maximálně 0,42 dolaru na úlohu a výpočet na čtyřech GPU NVIDIA L4 během 12 hodin offline režimu. ARCANA tento strop nejen dodržuje, ale využívá ho efektivněji než konkurence — průměrně spotřebuje pouhých 0,16 USD na úlohu (tedy zhruba 3,70 Kč).

Výsledky: nejlepší mezi open-source, ale člověk vede o parník

Na 120 úlohách poloprivátní evaluační sady dosáhla ARCANA přesnosti 32,5 %, buněčné přesnosti 67,4 % a skóre CNE (compute-normalized efficiency) 7,90. Pro srovnání:

• EPS-Grok (evoluční syntéza s Grok-4): 26,0 %
• NVARC (LongT5 + test-time training): 24,0 %
• SOAR (evoluční syntéza, 8B parametrů): 18,5 %
• OmniARC (Qwen2.5-0.5B): 14,2 %
• Člověk: 75,0 %

Zajímavé je, že ARCANA má pouhých 48 milionů parametrů — oproti miliardovým LLM je to miniaturní model. Největší přínos přináší právě reflektivní zpětná vazba (RRA), která sama o sobě přidává 10,8 procentních bodů, a test-time adaptace přes LoRA s dalším příspěvkem 7,5 bodu.

Největší náskok před konkurencí má ARCANA na úlohách vyžadujících kombinaci více pravidel (+8,8 %) a vícestupňové sekvenční transformace (+8,9 %). Právě v tom se ukazuje síla iterativního vylepšování — systém v průměru absolvuje 3,7 kol, přičemž u obtížných úloh jich může být až 8.

Co to znamená pro AI výzkum — a pro Česko

ARCANA ukazuje důležitý trend: architektura a spolupráce specializovaných modulů může být důležitější než hrubý výpočetní výkon. Zatímco velké jazykové modely spoléhají na biliony parametrů a masivní tréninkové datasety, ARCANA dosahuje špičkových výsledků díky chytré dekompozici problému a iterativnímu vylepšování.

Pro českou AI scénu je to relevantní hned z několika důvodů. Zaprvé, nízké výpočetní nároky (48M parametrů, 0,16 USD na úlohu) znamenají, že podobné přístupy mohou testovat i menší výzkumné týmy a univerzity — například ČVUT, Univerzita Karlova nebo VUT v Brně, které se do výzkumu AI aktivně zapojují. Zadruhé, principy reflektivního uvažování a multi-agentní koordinace se dají aplikovat i na průmyslové problémy, jako je automatická detekce anomálií ve výrobě nebo analýza technické dokumentace — oblasti, kde české firmy hledají konkrétní AI řešení.

Zatřetí, příští rok startuje v Ostravě Czech AI Factory — evropský uzel pro umělou inteligenci, který by mohl podobné výzkumné směry podpořit výpočetní kapacitou i granty.

Proč ten obří odstup od člověka?

Navzdory působivému skoku oproti konkurenci zůstává otázka: proč je člověk na 75 %, zatímco nejlepší AI na 32,5 %? Odpověď tkví v samotné podstatě ARC-AGI-2. Úlohy testují fluidní inteligenci — schopnost řešit zcela nové problémy bez předchozí zkušenosti. Lidé vrozeně chápou pojmy jako „symetrie“, „rotace“, „překryv“ nebo „posloupnost“ a dokážou je flexibilně kombinovat. Současné AI systémy — včetně ARCANY — se musí každé pravidlo „naučit“ z omezeného počtu příkladů a stále selhávají na úlohách, kde je potřeba hlubší porozumění prostorovým vztahům nebo skryté logice.

Autoři studie otevřeně přiznávají, že symbolická interpretace zůstává nejtěžší výzvou pro všechny současné metody. A právě proto má soutěž ARC Prize smysl: dokud AI nedosáhne alespoň 85 %, nelze mluvit o skutečném abstraktním uvažování na lidské úrovni.