Šest AI modelů skládá test profesního úsudku britských lékařů. Ve stanovení priorit selhávají všechny

Zkouška, která rozhoduje o kariéře — a nemá žádnou „vědomostní“ otázku

MSRA (Multi-Specialty Recruitment Assessment) je počítačový test, kterým britské NHS vybírá uchazeče o specializační přípravu — mimo jiné praktické lékaře, psychiatry, radiology nebo gynekology. U řady oborů právě výsledek MSRA rozhodne, jestli mladý doktor vytoužené místo vůbec dostane.

Test má dvě části. Jedna prověřuje klinické znalosti, druhá — Professional Dilemmas (PD) — je takzvaný situační úsudkový test (situational judgement test, SJT). Místo otázky „jaká je správná diagnóza“ se v ní řeší scénáře typu: kolega dělá něco pochybného, pacient ohrožuje bezpečnost, máte najednou příliš mnoho úkolů. Úkolem není odříkat správnou odpověď, ale vybrat nebo seřadit, co je z hlediska profesionality nejvhodnější.

Hodnotí se probita, bezpečnost pacienta, zvládání tlaku a týmová spolupráce — přesně to, co se od britského doktora v prvních letech praxe čeká. Tahle kategorie testů se do britského výběru dostala už v roce 2013 právě proto, že znalosti samy o sobě k bezpečné praxi nestačí.

Jak měření probíhalo

Studie z konce srpna 2026 vzala oficiální cvičnou verzi PD z roku 2023 — 22 položek, celkem 86 bodů — a v dubnu 2026 ji předložila šesti chatbotům v jejich bezplatných verzích: ChatGPT (OpenAI), Microsoft Copilot, Claude (Anthropic), Gemini (Google), DeepSeek a Grok (xAI). Celá práce je dostupná v časopise Cureus (DOI 10.7759/cureus.115354).

Žádný „kouzelný“ prompt. Otázky se kopírovaly doslova, bez dodatečných instrukcí, a odpovědi se vyhodnotily proti oficiálnímu klíči. Důležité je, že se testovaly bezplatné verze — tedy přesně to, k čemu má běžný medik přístup i v Česku.

Výsledky: všichni kolem dvou třetin, nikdo nevyčnívá

Průměr dělá 66,09 %, směrodatná odchylka jen 4,06 procentního bodu. Rozdíl mezi prvním Gemini a posledním Grokem je 11,63 procentního bodu.

A tady je klíčové zjištění, které se v titulcích obvykle ztratí: tyto rozdíly nejsou statisticky průkazné. Friedmanův test vyšel s p = 0,18 — žádný model nebyl prokazatelně lepší než jiný. Vzorek 22 položek je sice malý a test neměl velkou sílu, ale pořád to znamená jedno: z téhle zkoušky si nemůžete odnést „koupím si Gemini, je lepší“. Není. Tedy minimálně ne průkazně.

Kde modely selhávají: seřadit podle priority je jiný level

Nejzajímavější číslo celé studie je rozdíl mezi dvěma typy otázek.

Otázky typu multiple-choice (vyber tři vhodné možnosti z osmi) zvládly modely průměrně na 80,3 %. Otázky typu ranking (seřaď čtyři až pět kroků od nejvhodnějšího po nejméně vhodný) jen na 57,2 %. Rozdíl 23 procentních bodů, a platí u všech šesti modelů bez výjimky. Žádný model neklesl ve „vybírání“ pod 75,8 %, ale ani ten nejlepší v „seřazení“ (Gemini, 64,2 %) nepřekonal nejhorší výsledek v jednodušším formátu.

Jak to číst? Modely docela dobře poznají, co je vhodné a co ne. Ale jakmile mají určit přesné pořadí — co udělat nejdřív a co nechat na konec — tápou. A to je přesně ta schopnost, kvůli které situační testy vůbec vznikly. Znalostní část by AI zvládla snadno; tady jde o úsudek, který se nedá jen tak „vygooglit“.

Past je navíc konkrétní: u řadicích otázek se bod uznává jen za přesně správné místo. Když model prohodí dva kroky, body padají. Proto i drobná nepřesnost v prioritě znamená velký skok dolů.

Modely se neshodnou ani mezi sebou

Další varování: mezi modely panuje jen mírná shoda. Korelace odpovědí (Spearmanovo ρ) se pohybovala od 0,03 po 0,67, průměr 0,40. Úplně stejný výsledek daly všech šest jen u čtyř z 22 položek — a ani na jedné z nich nedosáhly plného počtu bodů.

V praxi to znamená: když se zeptáte dvou chatbotů na totéž dilema, klidně dostanete dvě různé odpovědi. Žádný model se nechová jako spolehlivý klíč a neexistuje u nich ani společný profil „těžkých“ a „lehkých“ otázek.

Proč na tom záleží i v Česku

Pro britské uchazeče je závěr jasný: LLM není náhrada oficiálního klíče ani doporučení General Medical Council. Je to „parťák na procvičování“, jehož odpověď je spíš kvalifikovaný odhad než norma. Model se dvěma třetinami bodů podá špatnou odpověď zhruba v jednom ze tří případů — a vy nepoznáte, kdy.

Proč to zajímá českého čtenáře? Těch šest nástrojů je v bezplatné verzi dostupných i v Česku a všechny umí česky. Český medik nebo mladý lékař si z toho může vzít stejné ponaučení: AI mu spolehlivě vysvětlí pojmy a doplní cvičné scénáře, ale jakmile jde o profesní úsudek a stanovení priorit, je na to sám. Z pohledu EU AI Actu je chatbot jako studijní pomůcka mimo kategorii vysoce rizikových zdravotnických systémů — nicméně právě proto za jeho výstup nikdo neodpovídá tak, jako za certifikovaný nástroj.

A ještě jedna praktická drobnost: protože žádný model průkazně nevyčnívá, nemá u tohohle konkrétního úkolu placená verze žádnou prokazatelnou výhodu. Bezplatný tier pro přípravu bohatě stačí.