Co je ARC-AGI a proč na něm záleží

ARC-AGI (Abstraction and Reasoning Corpus for Artificial General Intelligence) vytvořil v roce 2019 François Chollet, tvůrce frameworku Keras a jeden z nejvlivnějších myslitelů v AI. Na rozdíl od většiny benchmarků neměří, kolik dat model „nasál" během tréninku. Měří schopnost abstraktního uvažování na neznámých úlohách — přesně tu dovednost, kterou od AGI očekáváme.

Každá úloha v ARC vypadá jako mřížka složená z barevných čtverečků. Model dostane 2–3 ukázkové dvojice vstup-výstup a musí odvodit transformační pravidlo, které pak aplikuje na testovací vstup. Žádné naučené vzorce — pokaždé jde o jiný typ transformace. Pro představu: průměrný člověk zvládne ARC-AGI-1 zhruba na 80 %, zatímco běžné jazykové modely bez speciálního navádění sotva překročí 15 %.

ARC Prize Foundation, která za benchmarkem stojí, ho označuje za „severní hvězdu AGI" — a velká jména jako Sam Altman, Demis Hassabis nebo Elon Musk opakovaně citovala právě ARC jako klíčový ukazatel pokroku směrem k obecné inteligenci.

Dvě tradiční cesty — a třetí, kterou nikdo nezkoušel

Dosavadní úspěšné přístupy na ARC-AGI-1 se dělily do dvou táborů:

První cesta: drahé modely + evoluční prohledávání. Vezmete špičkový model jako GPT-4o nebo Grok-4, necháte ho generovat kandidátní řešení a ta evolučně vylepšujete. Funguje to — Ryan Berman takto v roce 2025 dosáhl 79,6 % s Grok-4 — ale stojí to 8,42 dolaru na úkol. Jiné systémy se pohybovaly až kolem 400 dolarů na úkol.

Druhá cesta: specializované modely trénované přímo na ARC datech. Malé sítě naučené od nuly nebo doučené na ARC distribuci. Nevýhoda je zřejmá: model se naučí benchmark, ne abstraktní uvažování. A jak ukázala následná analýza, výkon těchto systémů často závisí na test-time augmentacích a speciálních identifikátorech úloh — bez nich se přesnost propadá na nulu.

Kabir Moghe a Peter Chin z Dartmouth College se vydali třetí cestou: Co když ani nemusíte použít drahý model, ani ho speciálně trénovat? Co když je podstatná část výkonu dosažitelná čistě skrze architekturu agentního systému, který model obaluje?

Explorer-Definer Pipeline: Rozděl a panuj

Jádrem jejich přístupu je dvoufázová agentní architektura nazvaná Explorer-Definer Pipeline. Místo toho, aby model hned hádal správnou transformaci, výzkumníci rozdělili proces na dva samostatné kroky:

Fáze 1 — Průzkumníci (Explorers): Pět paralelně běžících agentů nezávisle studuje trénovací dvojice vstup-výstup. Každý si dělá poznámky, testuje hypotézy a nakonec formuluje popis vzoru, který v datech vidí. Nejde o hlasování — každý průzkumník přináší vlastní perspektivu.

Fáze 2 — Definer (Definitor): Jeden agent dostane všech pět popisů vzorů a na jejich základě napíše Python funkci, která má transformaci provádět. Funkce se následně spustí na trénovacích datech — pokud sedí, postupuje dál. Pokud ne, definitor dostane zpětnou vazbu a zkusí to znovu.

Výsledek? Pipeline dosáhla 57,50 % pass@2 při ceně 0,25 dolaru na úkol — to je zhruba 6 Kč. Pro srovnání: stejný model bez agentní architektury (jednoduchý one-shot) měl jen 15,50 %.

Reflective Orchestrator: Když první pokus nestačí

Pipeline ale narazila na strop. Autoři provedli důležitou diagnostiku: zjistili, že systém není omezený výběrem (selection-bound), ale generováním (generation-bound). Jinými slovy — i kdybyste měli dokonalý mechanismus pro výběr správné transformace, nenajdete ji, protože ji systém vůbec nevygeneroval.

Tento poznatek vedl k vytvoření Reflective Orchestratoru — rozšíření pipeline, které do fáze definitora přidává schopnost „spawnovat" (vytvořit) nové průzkumníky přímo uprostřed procesu. Když definitor zjistí, že jeho aktuální hypotéza selhává na trénovacích datech, může místo opakovaného vylepšování špatného předpokladu odstartovat úplně novou fázi průzkumu, tentokrát cílenou na konkrétní selhání.

Architektura tak získává schopnost adaptivní re-explorace — a to se propsalo do výsledků: 67,25 % pass@2 při ceně 0,62 dolaru na úkol (asi 15 Kč). Celkový skok od základního one-shot modelu k orchestrátoru činí 52 procentních bodů — to vše na stejném modelu, bez jakéhokoliv doučování.

Think tool jako tajná zbraň

Zajímavým vedlejším objevem je role takzvaného think toolu — mechanismu, který agentovi umožňuje „soukromě přemýšlet" mezi jednotlivými kroky, podobně jako to dělá Claude od Anthropicu. Když výzkumníci think tool z definitora odstranili, přesnost pipeline klesla o 5,75 procentního bodu. Naopak odebrání mechanismu zpětné vazby z trénovacích dat mělo jen minimální dopad (−0,75 pp).

To naznačuje, že klíčovou hodnotu nepřináší iterativní opravování chyb, ale kvalita prvotního uvažování — a právě k tomu think tool slouží.

Co to znamená pro praxi — a pro Česko

Výzkum z Dartmouthu má několik praktických důsledků, které stojí za pozornost:

1. Agentní architektura jako multiplikátor výkonu. I relativně levný model (DeepSeek V3.2 stojí přes AtlasCloud zhruba 0,30 dolaru za milion vstupních tokenů) může s dobrou architekturou konkurovat mnohem dražším systémům. Pro české startupy a vývojáře, kteří nemají rozpočet na provozování GPT-5.5 nebo Claude Opus 4, je to zásadní zpráva.

2. DeepSeek V3.2 je open-weight. Můžete si ho stáhnout a provozovat lokálně, bez závislosti na API. To je klíčové pro firmy, které chtějí mít data pod kontrolou — a v kontextu evropského AI Actu a GDPR je lokální provoz modelu často preferovanou cestou. DeepSeek navíc podporuje češtinu na velmi dobré úrovni, což z něj dělá praktickou volbu pro české aplikace.

3. Kód je veřejně dostupný. Všechny prompt-engineeringové šablony, implementace agentních smyček a analytické skripty najdete na GitHubu projektu. Pro české AI výzkumníky a studenty jde o skvělý studijní materiál — architektura je dobře zdokumentovaná a reprodukovatelná.

Limitace, o kterých je fér mluvit

Autoři jsou ke svým výsledkům poctivě kritičtí. Výsledky nejsou z oficiálního ARC Prize leaderboardu — ten vyžaduje testování na neveřejné (semi-private) sadě úloh, ke které výzkumníci neměli přístup. Použili veřejnou hodnoticí sadu 400 úloh, což znamená, že čísla nemusí být přímo srovnatelná s oficiálně verifikovanými výsledky.

Další omezení: architektura byla testována primárně na jednom modelu (DeepSeek V3.2), byť předběžné testy na Qwen3-235B ukazují podobný vzorec zlepšování. A v neposlední řadě — výsledky platí pouze pro ARC-AGI-1, nikoliv pro novější a těžší verze ARC-AGI-2 a ARC-AGI-3.

Není to o velikosti modelu, ale o tom, jak ho použijete

Hlavní poselství dartmouthského výzkumu je jasné a má dalekosáhlé důsledky: mezi „hloupým" one-shot dotazem a drahým evolučním prohledáváním existuje obrovský prostor, který lze zaplnit promyšlenou architekturou. Autoři ukázali, že 52 procentních bodů výkonu lze získat čistě tím, jak model použijete — nikoliv tím, jaký model máte, nebo kolik jste do něj investovali.

Pro komunitu vývojářů a výzkumníků v Česku i Evropě je to povzbuzení: nemusíte čekat na další generaci modelů od OpenAI nebo Googlu. S tím, co je k dispozici dnes — a s chytrou architekturou — se dá dosáhnout výsledků, které ještě před rokem vyžadovaly stomilionové investice.