Paradox lepších nástrojů: Když upgrade zhorší výsledky

Tým GitHub Copilot code review stojí před zdánlivě jednoduchým úkolem: AI agent dostane pull request, prozkoumá změny, prohledá okolní kód a najde potenciální problémy. Původně k tomu používal vlastní sadu nástrojů – list_dir, search_file, search_dir a read_code – navrženou speciálně pro code review. Jenže paralelně existoval Copilot CLI, který pro exploraci kódu používal sdílené nástroje grep, glob a view. Byly lépe udržované, důkladněji testované a využívaly je i další Copilot produkty včetně cloud agenta. Sjednotit infrastrukturu a zbavit se duplicitních implementací dávalo dokonalý inženýrský smysl. Výsledek testování ale nikoho nepotěšil: průměrné náklady na recenzi vzrostly a počet užitečných komentářů klesl. Lepší nástroje vedly k horším výsledkům.

Problém nebyl v nástrojích, ale v hlavě agenta

Klíč k záhadě odhalily až podrobné benchmarkové trace – záznamy toho, jak agent postupoval krok za krokem. Ukázalo se, že agent se nechoval jako recenzent kódu, ale jako programátor prozkoumávající neznámý repozitář. Místo aby začínal od diffu pull requestu a kladl si cílené otázky („Kde se tato funkce volá?“, „Existuje test se stejným vzorem?“), agent bezcílně procházel adresářovou strukturu, hádal cesty k souborům, otevíral velké bloky kódu a hromadil kontext, který pro recenzi vůbec nepotřeboval. Toto chování nebylo chybou modelu ani selháním nástrojů grep, glob a view. Bylo to důsledkem instrukcí, které agentovi říkaly, jak má nástroje používat. Instrukce původně navržené pro Copilot CLI – kde explorace celého repozitáře dává smysl – se nehodily pro úzce zaměřenou úlohu code review. Tento postřeh je pro vývoj AI agentů zásadní: popis nástroje a instrukce pro agenta nejsou implementační detail. Jsou to API dokumentace pro LLM. Stejně jako nejasná API dokumentace vede lidského vývojáře k neefektivním rozhodnutím, nejasné instrukce vedou AI agenta k plýtvání tokeny a horším výsledkům.

Jak GitHub přepsal mozek recenzenta

Tým pod vedením inženýra Napalyse Kliciuse přistoupil k radikálnímu přepsání instrukcí. Nový workflow reflektoval to, jak skutečně pracuje lidský recenzent: 1. Začni od diffu. Místo obecného průzkumu repozitáře si agent nejprve zformuluje konkrétní otázky vyplývající ze změn v pull requestu. 2. Nejdřív zužuj, až pak čti. Agent nejprve použije grep pro vyhledání symbolů a volajících funkcí a glob pro nalezení relevantních souborů. Teprve když ví, co přesně hledá, otevře konkrétní rozsahy řádků pomocí view. 3. Dávkuj nezávislá vyhledávání. Místo střídání jednoho vyhledávání a jednoho čtení agent provede několik nezávislých grep/glob dotazů najednou – a teprve pak přejde k cílenému čtení. 4. Když hledání selže, oprav ho, nerozšiřuj. Pokud grep nic nenajde, agent zkusí jednodušší escapovaný výraz. Pokud je cesta špatná, použije glob – nehádá sousední cesty a neotevírá náhodné soubory. Tato změna v instrukcích – pár vět navíc – snížila průměrné náklady na recenzi zhruba o 20 %, potvrdil GitHub v červnovém changelogu. Kvalita recenzí přitom zůstala zachována.

Proč na tomto příběhu záleží

Zkušenost GitHubu má širší dopad pro všechny, kdo staví AI agenty – ať už jde o code review agenty, autonomní coding asistenty, nebo agenty pro automatizaci podnikových procesů. Nástroje nejsou neutrální. Způsob, jakým agentovi popíšete nástroj, zásadně ovlivňuje, jak ho bude používat. Instrukce pro grep ve stylu „prohledej kód v repozitáři“ vede k jinému chování než „prohledej kód, který souvisí s touto změnou v diffu“. Benchmarky musí ukazovat cestu, ne jen skóre. GitHub neporovnával jen výsledná čísla – díval se na to, co agent skutečně dělal krok za krokem. Právě trace analýza odhalila, že agent „brouzdá“ místo „vyšetřuje“. Stejné nástroje, různé úlohy = různé instrukce. GitHub výslovně uvádí, že stejný přístup zkusili aplikovat i na Copilot CLI, ale tam podobné zlepšení nepřinesl. V CLI totiž explorace dává smysl – vývojář může měnit směr, kontext se vyvíjí. Každý produkt potřebuje instrukce šité na míru své úloze.

Copilot Code Review: Co umí a kolik stojí

GitHub Copilot code review je dnes dostupný napříč ekosystémem – funguje přímo na GitHubu (přes tlačítko Request review), ve VS Code, Visual Studiu, JetBrains IDE, Xcode i přes GitHub CLI. Recenze obvykle trvá méně než 30 sekund a Copilot kromě komentářů nabízí i návrhy na opravu kódu, které lze přijmout jedním kliknutím. Z hlediska cenových plánů je code review dostupné od tarifu Copilot Pro za 10 USD měsíčně (cca 230 Kč). Pro týmy je k dispozici v rámci Copilot Business (od 19 USD/měsíc/uživatele) a Copilot Enterprise (od 39 USD/měsíc/uživatele). Organizace navíc mohou nově povolit code review i pro členy bez Copilot licence – náklady se pak účtují přímo organizaci přes GitHub AI Credits. Pro srovnání: alternativy jako CodeRabbit (od 12 USD/měsíc) nebo Amazon Q Developer (free tier pro jednotlivce, profesionální tier od 20 USD/měsíc) nabízejí podobnou funkcionalitu. Výhodou Copilota je ale hluboká integrace přímo do GitHubu – nemusíte instalovat žádnou další aplikaci ani spravovat externí přístupové tokeny. Co se týče dostupnosti v češtině – Copilot code review nemá plnou českou lokalizaci, ale komentáře k pull requestům generuje standardně anglicky. Pomocí vlastních instrukcí v souboru .github/copilot-instructions.md si však můžete vynutit češtinu nebo jakýkoliv jiný jazyk. Stačí do souboru přidat řádek „When performing a code review, respond in Czech.“ a Copilot bude od té chvíle komentovat česky. Pro české vývojářské týmy, které preferují komunikaci v rodném jazyce, jde o jednoduché, ale účinné řešení.

Co si z toho odnést

Příběh GitHub Copilot code review je v jádru jednoduchý: dejte agentovi lepší nástroje, ale taky lepší návod, jak je používat. V éře agentní AI, kdy se autonomní systémy dostávají do produkčních workflow, je to lekce, která přesahuje rámec jedné firmy nebo jednoho produktu. Pro české vývojáře a firmy, které zvažují nasazení AI do code review, z toho plyne praktické doporučení: nespoléhejte jen na to, že AI nástroj „nějak“ funguje. Věnujte čas custom instrukcím – nadefinujte, na co se má recenzent soustředit, jaké konvence váš tým dodržuje, v jakém jazyce má komunikovat. Právě v těchto detailech se rodí rozdíl mezi AI asistentem, který jen generuje šum, a AI kolegou, který skutečně pomáhá.