Proč je nitro AI černou skříňkou?

Velké jazykové modely (LLM) jako Claude, GPT-4 nebo Gemini jsou postaveny na neuronových sítích s miliardami, někdy i biliony parametrů. Fungují tak, že zpracovávají obrovské množství dat a učí se z nich vzorce. Výsledek jejich práce vidíme denně v podobě generovaného textu, kódu nebo obrázků. Problém je, že i když chápeme matematické principy, které za nimi stojí, přesný myšlenkový proces modelu – proč zvolil konkrétní slovo nebo formulaci – zůstává z velké části skrytý. Tato neprůhlednost, známá jako problém černé skříňky (black box problem), je jednou z největších výzev pro bezpečný vývoj umělé inteligence. Pokud nerozumíme, jak AI dospěla k rozhodnutí, jak můžeme zajistit, že nebude jednat škodlivě nebo podjatě?

Anthropic kreslí mapu "mysli" umělé inteligence

Společnost Anthropic, která se dlouhodobě zaměřuje na bezpečnost AI, představila výzkum, který tuto černou skříňku otevírá. Ve studii nazvané "Mapping the Mind of a Large Language Model" popsali metodu, jak identifikovat a interpretovat konkrétní "rysy" (features) uvnitř jejich modelu Claude 3 Sonnet. Nejde o pohled na jednotlivé umělé neurony, ale o sledování vzorců jejich aktivace, které konzistentně odpovídají určitým konceptům.

Metoda "slovníkového učení"

Vědci použili techniku zvanou slovníkové učení (dictionary learning). Představte si to, jako byste měli obrovský a nesrozumitelný text a snažili se v něm najít opakující se fráze, které dávají smysl. Podobně tým z Anthropic analyzoval aktivitu neuronů v modelu Claude a extrahoval z ní miliony těchto rysů. Každý rys pak představuje určitý vzorec, který se v modelu aktivuje, když "přemýšlí" o konkrétní věci.

Tento přístup jim umožnil vytvořit jakýsi slovník nebo mapu, která překládá nesrozumitelnou aktivitu neuronů do lidsky pochopitelných pojmů. A výsledky byly ohromující.

Od Golden Gate Bridge po pocit osamělosti

Modelu byly předkládány různé texty a vědci sledovali, které rysy se při tom aktivují. Ukázalo se, že Claude má specifické rysy pro neuvěřitelně širokou škálu konceptů:

• Konkrétní objekty a místa: Most Golden Gate, Eiffelova věž, planeta Země.
• Technické pojmy: Zranitelnosti v kódu (SQL injection), programovací jazyky, koncepty z oblasti kryptografie.
• Abstraktní myšlenky: Vědecké obory, politické ideologie, morální dilemata.
• Emoce a pocity: Model ukázal konzistentní aktivaci rysů spojených s radostí, smutkem, hněvem nebo dokonce pocitem ocenění.

Je klíčové zdůraznit, že AI tyto emoce "necítí" jako člověk. Identifikuje a zpracovává vzorce v datech, které my lidé spojujeme s těmito pocity. Objev, že model tyto koncepty vnitřně reprezentuje takto organizovaným způsobem, je však sám o sobě zásadní.

Co to znamená v praxi? Bezpečnější a ovladatelnější AI

Tento výzkum není jen akademickým cvičením. Má obrovský praktický dopad na budoucnost AI. Když dokážeme přesně identifikovat, kde v modelu sídlí určitý koncept, můžeme s ním začít manipulovat.

Zvýšení bezpečnosti: Představte si, že bychom mohli najít a "vypnout" rysy spojené s nebezpečnými znalostmi, jako je tvorba zbraní nebo šíření dezinformací, aniž bychom ovlivnili zbytek schopností modelu.

Omezení zkreslení (biasu): Stejně tak můžeme identifikovat a korigovat rysy, které vedou k rasovým, genderovým či jiným předsudkům, které si model osvojil z trénovacích dat.

Lepší spolehlivost: Když AI udělá chybu, můžeme se podívat, které rysy byly aktivní, a lépe pochopit, proč se tak stalo. To otevírá dveře k efektivnějšímu ladění a opravám modelů.

Zatímco všechny přední AI laboratoře, včetně OpenAI a Google, se zabývají problémem interpretovatelnosti, Anthropic se tímto výzkumem profiluje jako lídr v oblasti AI bezpečnosti. Jejich přístup by se mohl stát standardem pro budoucí generace modelů.

Claude a Česká republika

Pro české uživatele je dobrou zprávou, že modely od Anthropic jsou plně dostupné i u nás. Rodina modelů Claude 3 (Haiku, Sonnet, Opus) si velmi dobře rozumí s češtinou a dosahuje v ní špičkových výsledků, srovnatelných s nejlepší konkurencí.

Vyzkoušet si je můžete na oficiálním webu claude.ai, který nabízí bezplatnou verzi s určitými limity. Pro náročnější uživatele je k dispozici předplatné Claude Pro za 20 USD měsíčně (plus daň), které nabízí vyšší limity a přístup k nejvýkonnějšímu modelu Opus. Modely jsou také dostupné přes API pro vývojáře, s cenami odvíjejícími se od počtu zpracovaných tokenů.

Budoucnost, kde AI rozumíme

Výzkum Anthropic je fascinujícím krokem na dlouhé cestě k plně transparentní umělé inteligenci. Nejde o to, že bychom objevili v AI vědomí, ale o to, že začínáme rozumět jejím vnitřním mechanismům. Je to podobné, jako když jsme se od alchymie posunuli k moderní chemii. Čím lépe budeme rozumět tomu, jak AI "myslí", tím lépe dokážeme budovat systémy, které jsou nejen chytré, ale také bezpečné, spravedlivé a spolehlivé. A to je cíl, na kterém závisí budoucnost nás všech.