Když si dnes pustíte běžného jazykového modelu a zeptáte se ho na cokoli osobního, bude se snažit pomoci. Jenže v oblasti duševního zdraví je každé slovo dvojsečné — špatně zvolená věta může člověku v krizi ublížit. Nová výzkumná práce z konce léta 2026 popisuje systém Anian, který se tento problém pokouší obejít architekturou, nikoli jenom lepším promptem.
Autorský tým Lei Wang, Xiao Wang a Lei Li představili bezpečnostně hlídaný multimodální AI backend určený pro podporu duševního zdraví v období kolem porodu a pro směrování k mindfulness intervencím. Důležité je hned říct to hlavní, co sami autoři zdůrazňují: systém není určený k diagnostice psychiatrických obtíží a nemá nahrazovat klinickou péči ani krizovou intervenci.
Generativní model až za bezpečnostní bránou
Klíčová myšlenka je v pořadí kroků. U běžného chatbota sedí jazykový model na začátku a všechno ostatní se děje až potom. Anian to otočil: generativní AI je až na konci pipeline, za strukturou, která nejdřív vyhodnotí situaci a rozhodne, jestli model vůbec smí něco říct.
Vstup uživatele — ať už napsaný text, nebo hlas převedený na text pomocí rozpoznávání řeči — prochází čtyřmi vrstvami, které do sebe zapadají jako patra domu:
- L1 — emoční stavy: co člověk právě prožívá (smutek, úzkost, hněv).
- L2 — psychosociální konstrukty: širší souvislosti, tedy nejen nálada, ale i faktory z prostředí a vztahů.
- L3 — bezpečnostní riziko: nejkritičtější patro. Pravidlový engine hledá signály, že by mohl jít o krizi nebo sebepoškozování.
- L4 — cesty intervence: kam uživatele správně nasměrovat.
Představte si to jako detektor kovů na letišti. Pás jede, model by klidně generoval text — ale před ním stojí rám, který projde každý vstup a podle nálezu rozhodne, jestli ho pustí dál, nebo přesměruje.
Když si jeden senzor není jistý, vyhrává ten opatrnější
Nejzajímavější je princip, kterému autoři říkají konzervativní fúze rizika. Systém sbírá důkazy o riziku ze dvou zdrojů — lokálně z textu a pravidel, a externě z hlasového kanálu. Následně je nesčítá ani neprůměruje, ale vezme vždy to vyšší riziko podle vzorce S_fusion = max(S_local, S_external).
V praxi to znamená jedno: když byť jediný kanál zahlásí nebezpečí, systém se zachová, jako by šlo o nejhorší možný scénář. Je to záměrně defenzivní nastavení — u bezpečnostně kritických systémů je levnější občas zarazit i nevinný dotaz, než jednou propustit ten rizikový.
A co se stane při středním nebo vysokém riziku? Generativní odpověď i hlasový výstup (text-to-speech) se zablokují. Uživatel místo toho dostane pevně daný bezpečnostní obsah a výzvu k vyhledání lidské pomoci. Žádné improvizace, žádné „to zvládnete", které by model vymyslel za běhu.
Čísla, která je třeba číst opatrně
Prototyp byl vyhodnocen na zhruba 858 295 normalizovaných záznamech z veřejných korpusů emocí, dialogů, dat k duševnímu zdraví a čínských konverzačních datasetů. Výsledky mikro-F1 skóre vypadají slibně: 0,9604 pro L1 klasifikaci emocí, 0,9144 pro L2 psychosociální konstrukty a 0,9742 pro L4 směrování. Mikro-F1 je metrika, která říká, jak přesně model třídí — hodnota blízká jedničce znamená málo chyb. V bezpečnostním zátěžovém testu 233 vzorků pak pravidlový engine L3 dosáhl recall 1,0000, tedy zachytil všechny předem definované rizikové scénáře.
Tady je ale zásadní háček, na který se u podobných zpráv často zapomíná. Štítky použité k trénování a vyhodnocení pocházejí z slabého značení a pravidel, nikoli od klinických odborníků. Recalled 1,0000 v testu s 233 vzorky vypadá skvěle, ale říká jen to, že systém nezmeškal scénáře, které mu autoři sami předdefinovali. Neříká nic o tom, jak by obstál v reálné, chaotické konverzaci.
A to je na téhle práci vlastně osvěžující: autoři to píšou otevřeně. Výsledky podle nich „podporují interní proveditelnost", ale neprokazují klinickou validitu, diagnostickou přesnost ani reálnou bezpečnost a účinnost. V době, kdy se kolem AI pro duševní zdraví motá spousta marketingu, je tahle upřímnost spíš vzácnost.
Proč na tom záleží v Evropě
Pro české a evropské prostředí je kontext zásadní. Systémy používané ve zdravotnictví spadají pod evropský AI Act do kategorie vysokého rizika, pokud plní medicínskou funkci — a to s sebou nese povinné řízení rizik, dokumentaci a lidský dohled. Data o duševním zdraví jsou navíc podle GDPR zvláštní kategorií osobních údajů s nejpřísnějším režimem ochrany.
Anian jako takový je zatím čistě výzkumný prototyp a žádná česká ani evropská dostupnost k němu neexistuje. Jeho architektura — konzervativní fúze rizika a zablokování generativní odpovědi v rizikových situacích — ale přesně odpovídá tomu, co evropská regulace po takových systémech bude chtít. Ne náhodou autoři plánují expertní revizi a validaci v reálném světě jako další krok.
Poporodní duševní potíže přitom patří mezi nejčastější komplikace těhotenství a šestinedělí a v Česku je pokrývá stále omezená síť odborné péče. Nástroj, který by spolehlivě rozpoznal, kdy má mlčet a poslat člověka k odborníkovi, by tu měl smysl — ale právě proto musí projít klinickou validací, ne jen interním testem.
Zbývá dodat, že jde o preprint, který zatím neprošel peer review. Je to solidní návrh architektury s konkrétními čísly a poctivě přiznanými limity — nikoli hotový produkt. Zbytek podrobností včetně plánu analýzy chyb a roadmapy najdete v plném textu na arXiv.
Je Anian už dostupný pro běžné uživatele?
Ne. Jde o výzkumný prototyp popsaný v preprintu na arXiv, který neprošel peer review. Nemá žádné veřejné API, aplikaci ani komerční nasazení a není určený k nahrazení klinické péče nebo krizové intervence.
Proč systém raději zablokuje odpověď, než aby odpověděl?
Protože u bezpečnostně kritických situací je falešný poplach levnější než přehlédnuté riziko. Při středním nebo vysokém vyhodnoceném riziku Anian vypne generativní odpověď i hlasový výstup a zobrazí pevný bezpečnostní obsah s odkazem na lidskou pomoc, aby nemohlo dojít k improvizované a potenciálně škodlivé reakci.
V čem se Anian liší od běžného chatbota s bezpečnostními pravidly?
V pořadí vrstev. Běžný chatbot generuje odpověď modelem a bezpečnostní filtr ji nanejvýš dodatečně zkontroluje. Anian má generativní model až na konci pipeline, za strukturovanou klasifikací a fúzí rizika — model se ke slovu dostane teprve tehdy, když předchozí vrstvy vyhodnotí situaci jako bezpečnou.
