Claude přes noc „zhloupl“. Vývojář našel v logu číslo 10 a Anthropic se omluvil

Odpoledne, kdy Claude „zhloupl“

Vývojář argofowl strávil celé odpoledne tím, že procházel snad každou část Claude Code. Postupně vyloučil, že by spadl jeho t3 kód, že by v jeho vlastním programu byl bug, a ke konci už prý vážně přemýšlel, jestli si nerozbil Mac.

Pravda se objevila teprve ve chvíli, kdy otevřel skutečné logy API. A tam stála jasně napsaná hodnota 10, která neodpovídala jeho nastavení. Právě tahle desítka z logu se stala klíčovým důkazem. Jenže on měl v Claude Code nastavenou úroveň uvažování na „high“ — tedy na nejvyšší možnou intenzitu. A v changelogu Claude Code o téhle změně nebylo ani slovo.

Co se vlastně dělo: „high“ se tiše rovnalo „low“

Než půjdeme dál, pojďme si vysvětlit, o co tady jde. Modely jako Claude dnes umí nastavit, kolik „myšlení“ mají úkolu věnovat. Je to takový knoflík hlasitosti pro přemýšlení: na nízké úrovni model odpoví rychle a povrchně, na vysoké si dá záležet a prožene víc vnitřních kroků, než něco vypustí.

A právě tady byl problém. Podle argofowla začala od verze Claude Code 2.1.236 aplikace číst úroveň „high“ jako hodnotu, která dřív odpovídala úrovni „low“. Jinými slovy: požádali jste o plný výkon a dostali jste minimum.

Další pátrání ukázalo, že Anthropic zahrnul do experimentu s „kompresí škály effort hodnot“ sezení na části novějších modelů, a to na verzích Claude Code 2.1.236 a novějších. Starší verze ani jiné modely ovlivněny nebyly. Šlo nejspíš o A/B test — takže ne každý na problém narazil, ale kdo ano, neměl o tom ani tušení.

Proč je A/B test bez vědomí problém

A/B test je běžná věc: firmám umožňuje pustit novou verzi jen části uživatelů a porovnat výsledky. Problém ale nastává, když vás do testovací skupiny hodí bez vědomí — a ještě k tomu u nástroje, na kterém závisí vaše práce.

Pro vývojáře to není teoretická debata. Když model najednou produkuje horší kód, ladíte hodiny vlastní projekt a netušíte, že skutečnou příčinou je experiment na druhé straně. Jak to trefně vystihl jeden z komentářů: „Trochu silnější nebo slabší model bych ještě zkousl. Ale že mě strčíte do experimentu bez upozornění — to celé odpoledne ladím svůj kód, nebo váš A/B test?“

Reakce Anthropicu: číslo prý nic neznamená

Na veřejnou kritiku zareagoval inženýr Claude Code Thariq Shihipar, který se za to, že test probíhal bez upozornění, uživatelům omluvil. Vysvětlil, že tým občas testuje konfiguraci API služby nejdřív v Claude Code, než ji pustí všem. Podstatné prý je, že škála není od 0 do 100 — samotné číslo nic neznamená, a úroveň, kterou jste vybrali, je přesně ta, kterou dostanete.

Zároveň ujistil, že tým provedl hloubková vyhodnocení, podle kterých změna výkon modelu neovlivňuje. Jenže tady se příběh začíná komplikovat, protože ve stejné diskuzi uznal i něco, co je pro uživatele mnohem zásadnější.

Špičkový model a „velmi nestabilní výkon“

Zatímco se řešila kauza s hodnotami effort, technologický bloger Chubby přišel s tvrzením, že jeden ze špičkových modelů se cítí výrazně zhoršený. Odbyté odpovědi, časté hloupé chyby, a když ho upozorníte, že nepostupoval podle pokynů, odpoví stále dokola stejným mechanickým: „Máš pravdu, to byla moje chyba.“

A právě tady došlo k něčemu nezvyklému. Shihipar pod tlakem otázek veřejně přiznal, že dotčený špičkový model má „velmi nestabilní výkon“ a jeho kvalita výstupu kolísá nahoru a dolů. Řešení toho problému je prý aktuálně nejvyšší prioritou interního týmu. Veřejné přiznání nestability špičkového modelu je v odvětví, které se jinak chlubí čísly, hodně neobvyklý krok.

Benchmarky stoupají, zkušenost klesá

Celá aféra roztrhla jeden z nejnepříjemnějších rozporů celého oboru. Na jedné straně stojí téměř bezchybné benchmarkové výsledky: dotčený špičkový model má celkové skóre 82,72, 79,2 % v SWE-bench Pro a 86,7 % v Terminal-Bench. Na straně druhé je zcela opačná reálná zkušenost uživatelů: „upovídaný“, „líný“, „hádavý“.

A co je nejabsurdnější — oba protichůdné obrazy se týkají téhož modelu. Problém „zhlouplého“ modelu navíc není výsadou Anthropicu. Vypovídá o celém odvětví.

Velké jazykové modely jako černá skříňka

Tradiční software má čísla verzí, changelog a možnost vrátit se zpět. Vývojář přesně ví, jakou verzi používá a co se změnilo. Velké jazykové modely fungují jinak: pod stejným názvem modelu může poskytovatel kdykoliv spustit A/B test, změnit kvantizaci, přesměrovat routing, nebo dokonce upravit inference zdroje. Jediný „palubní panel“, který uživateli zbyde, je jeho subjektivní pocit.

A intuice je zároveň to nejsnadněji odmítnutelné a nejhůř vyvratitelné měřítko. Když si stěžujete, že je model pomalejší nebo hloupější, jen těžko to dokážete číslem. Přesně proto měl příběh argofowla takový ohlas — konečně se objevil konkrétní, veřejně ověřitelný důkaz v logu.

Co to znamená pro české vývojáře a firmy

Dopad je tady u nás úplně stejný jako jinde. Claude Code je placený nástroj, který používají i čeští vývojáři a firmy, a jeho chování se neliší podle trhu. Když se z AI nástroje stane součást vaší infrastruktury, stává se z jeho stability smlouva o důvěře. Benchmarky fungují jako marketing, ale důvěru si získáte jedině tím, že každý den doručíte to, co jste slíbili.

Prakticky se vyplatí ušetřit si čas: pokud vám přijde, že se nástroj chová jinak než včera, podívejte se nejdřív do logů a na číslo verze, než začnete hledat chybu ve vlastním kódu. A u čehokoliv, co je pro vás kritické, si zapisujte, jakou verzi a kdy používáte. Bez vlastního záznamu jste v ruletě s černou skříňkou.