FairStress ukázal, že férová odpověď AI nemusí být férové rozhodnutí

Férovost nekončí konečnou odpovědí

Běžný test předpojatosti často funguje jednoduše. Model dostane dva podobné scénáře, v jednom se změní například jméno nebo demografická identita kandidáta, a sleduje se, zda zůstane stejná odpověď. Pokud vybere kvalifikovanějšího člověka v obou verzích, výsledek vypadá férově. Podle výzkumného institutu Allen Institute for AI však takové měření může přehlédnout důležitou část chování. Model může odpovědět správně, ale zároveň být v jedné variantě mnohem náchylnější ke změně názoru. Stačí jedna další věta. Třeba že kandidáta doporučilo vedení, že určitá skupina byla v minulosti přehlížena nebo že by opačné rozhodnutí mohlo vyvolat právní problém. Právě tuto situaci testuje FairStress. Benchmark nesleduje pouze to, koho model vybral. Zkoumá také, zda si rozhodnutí udrží pod tlakem, jak ho vysvětluje a jak se při něm mění jeho interní aktivace. ([huggingface.co](https://huggingface.co/blog/allenai/fairstress))

Test pokrývá práci, zdravotnictví i půjčky

Základ tvoří 300 rozhodovacích scénářů v 29 oblastech. Patří mezi ně nábor zaměstnanců, zdravotnictví, poskytování půjček, vzdělávání, bydlení, sociální služby nebo trestní justice. V některých případech má jeden kandidát jasně lepší kvalifikaci. Benchmark tak může ověřit, zda model vybere osobu, pro kterou mluví dostupné důkazy. Jiné scénáře jsou záměrně nejednoznačné. Oba kandidáti mají odlišné přednosti a žádný není objektivně lepší. V takové situaci se sleduje, komu model dává přednost při nerozhodném výsledku. Demografická identita se přitom neobjevuje pouze jedním způsobem. FairStress pracuje se čtyřmi úrovněmi signalizace, od úplné absence identity přes demograficky kódované jméno a nepřímý náznak až po explicitní označení. Výzkumníci dále použili 33 kontrastů mezi skupinami a až 78 manipulativních prefixů. Prefix je dodatečná věta vložená do zadání, která se snaží posunout volbu jedním směrem. Celkově tak vzniklo více než 13 milionů testovacích případů. Kompletní dataset je dostupný na Hugging Face pod licencí CC BY 4.0. ([huggingface.co](https://huggingface.co/datasets/allenai/fairstress))

Manipulace zvětšila rozdíly mezi skupinami

Nejzajímavější výsledek se týká situace, kdy je jeden kandidát zjevně silnější. Bez demografických informací byly rozdíly v přesnosti mezi skupinami malé. Při explicitním označení identity činil rozdíl pouze 2,9 procentního bodu. Po přidání jediného přesvědčivého argumentu se ale chování modelů změnilo. Testované modely opouštěly správnou odpověď favorizující většinového kandidáta v průměru o 9,3 procentního bodu častěji, pokud byla identita uvedena explicitně. U nepřímého označení činil rozdíl 6,9 procentního bodu. Autoři tento vzorec označují jako anti-stereotypical over-correction, tedy protistandardní překorigování. Model v takovém případě častěji ustoupí od správné volby, pokud změna zvýhodní kandidáta z menšinové skupiny. Neznamená to, že by každé zvýhodnění menšiny bylo samo o sobě chybné. FairStress zkoumá situace, kde jsou ostatní podmínky stejné a důkazy podporují konkrétní rozhodnutí. U nerozhodných scénářů byl výsledek ještě výraznější. Po působení manipulativního argumentu modely obracely volbu ve prospěch menšinového kandidáta o 23,9 procentního bodu častěji. To ukazuje, že demografická identita může měnit nejen správnost odpovědi, ale i způsob, jakým model rozhoduje v situaci bez jasného vítěze. ([allenai.org](https://allenai.org/papers/fairstress))

Proč běžné testy problém nevidí

Starší benchmarky, například BBQ, StereoSet nebo CrowS-Pairs, se soustředí především na výsledek odpovědi. To je užitečné, ale omezené. Model může testem projít, protože v základní variantě vybere správného kandidáta. Test už nemusí zachytit, co udělá po přidání autoritativně znějící věty. FairStress proto porovnává spárované argumenty. Pokud jeden prefix tvrdí, že kandidáta B doporučilo vedení, existuje také varianta, která stejný typ argumentu použije ve prospěch kandidáta A. Výzkumníci tak mohou sledovat, zda stejný argument působí na model stejně v obou směrech. Tento rozdíl je důležitý také při používání agentních systémů. Model, který pouze odpovídá na otázky, lze zkontrolovat u jedné odpovědi. Systém, který třídí žádosti, připravuje pořadí kandidátů nebo doporučuje další postup, může své rozhodnutí během vícekrokového procesu několikrát upravovat. FairStress sice není kompletní audit takového systému, jeho metodika ale upozorňuje, že jedna finální odpověď nemusí popsat celý rozhodovací proces.

Devět metod předpojatost spolehlivě neodstranilo

Autoři otestovali také devět post-hoc metod pro snížení předpojatosti. Jde o postupy, které se snaží upravit chování hotového modelu bez kompletního přepracování jeho tréninku. Výsledek nebyl jednoznačně pozitivní. Většina metod asymetrii spolehlivě neodstranila a některé zhoršily celkový výkon modelu. To je praktická připomínka pro firmy, které chtějí férovost řešit jednoduchým filtrem nebo dodatečným instrukčním pravidlem. Výzkum současně pracoval s otevřenými i uzavřenými modely. Testovaná skupina zahrnovala modely Olmo, Llama, Qwen, Gemma, Claude a rodinu GPT v různých fázích tréninku. Výsledky proto nejsou testem jediného výrobce. Jde o srovnání více typů modelů a přístupů k jejich ladění. Zdrojový kód pro benchmark, skórování a testované metody je dostupný na GitHubu. Autoři jej také plánují zapojit do nástroje Olmo-eval, který slouží k porovnávání modelových evaluací. ([github.com](https://github.com/pardissz/fairstress))

Menší verze pro levnější testování

Kompletní FairStress je kvůli více než 13 milionům případů náročný na výpočetní čas i peníze. Výzkumníci proto zveřejnili také variantu FairStress-Core s 50 000 položkami. Nejde o náhodně zkrácený výběr. Položky byly vybrány metodou teorie odpovědi na položku, která se používá k odhadu toho, jak dobře jednotlivé otázky rozlišují mezi rozdílným chováním modelů. Menší verze má umožnit rychlejší a levnější porovnání bez nutnosti spouštět celý korpus. Pro vývojáře v Česku a Evropské unii je důležité, že FairStress není placená služba ani spotřebitelský chatbot. Jde o otevřený dataset, kód a výzkumnou metodiku. Čeština ani české právní nebo kulturní prostředí nejsou v dostupných materiálech uvedeny jako samostatně vyhodnocená oblast. Výsledky proto nelze automaticky převést na české náborové systémy, banky nebo zdravotnické aplikace. Výzkumníci připomínají také rozdíl mezi různými pojetími férovosti. FairStress měří především symetrickou férovost, tedy zda model používá stejná kritéria a stejně pevně drží rozhodnutí bez ohledu na to, která skupina z něj těží. Jiný přístup může do hodnocení zahrnout historickou diskriminaci nebo nedostatečné zastoupení skupiny. Takové pojetí může v některých případech vést k jinému rozhodnutí. V Evropské unii se podobné scénáře řadí mezi citlivá použití AI. Technická zpráva FairStress odkazuje na klasifikaci náboru, úvěrů, zdravotnictví nebo přístupu k důležitým službám jako vysoce rizikových oblastí podle evropského nařízení o umělé inteligenci. Benchmark sám o sobě neprokazuje, že konkrétní systém porušuje pravidla. Ukazuje však, jak může vypadat podrobnější technické testování před nasazením.

Co FairStress skutečně měří

FairStress není důkazem, že jazykové modely vždy rozhodují proti většinovým nebo menšinovým skupinám. Je to testovací rámec pro konkrétní typ asymetrie. Sleduje směr rozhodnutí, jeho stabilitu po přidání argumentu, vysvětlení modelu a vybrané interní signály. Neřeší všechny podoby férovosti a nenahrazuje audit konkrétní aplikace. Pro českou firmu by bylo nutné doplnit vlastní data, české scénáře, platné právní požadavky a kontrolu člověkem. Výzkum ale ukazuje, že samotná shoda konečných odpovědí nemusí stačit. U FairStress zůstává nejdůležitější konkrétní omezení: jeho měření popisuje chování testovaných modelů v připravených scénářích, nikoli automaticky každý systém v běžném provozu.

FAQ