Model BrainFusionNet pozná nádory z MRI na 98 %, do nemocnic má ale daleko

Jeden snímek, tři různé pohledy

Studii zveřejnil časopis Brain Informatics a její výsledky shrnuje také původní článek na Bioengineer.org. BrainFusionNet má z MRI určit, zda snímek odpovídá gliomu, meningeomu, adenomu hypofýzy, případně zdravému nálezu. V první úloze byly tři nádorové třídy, ve druhé se přidal kontrolní soubor bez nádoru.

Proč nestačí obyčejná obrazová klasifikace? MRI není fotografie s jasnou hranicí objektu. Výsledek ovlivňuje použitá sekvence, šum, kontrast i to, jak se nádor podobá okolní tkáni. Malá nebo méně výrazná léze se může při průchodu hlubokou sítí ztratit podobně jako drobný text v několikrát zmenšeném obrázku.

Autoři proto spojili tři typy zpracování. Konvoluční síť hledá místní struktury, například okraje a texturu. Vision transformer rozděluje obraz na menší části a pomocí mechanismu self-attention porovnává jejich vztahy napříč celým snímkem. GRU potom zpracuje spojené příznaky v uspořádané posloupnosti. Nejde o časové video, ale o způsob, jak modelu předat prostorově uspořádanou reprezentaci.

Jak je BrainFusionNet postavený

Vstupem jsou normalizované výřezy o rozměru 112 × 112 pixelů se třemi kanály. Konvoluční větev používá šest vrstev ve třech dvojicích a počet filtrů postupně zvyšuje z 32 přes 64 na 128. Max-pooling zmenšuje mapy příznaků, zatímco 512 neuronů na konci vytvoří kompaktní popis lokálních detailů.

Druhá větev má čtyři bloky transformeru a čtyři attention hlavy. Každý obrazový patch převádí na vektor o 32 rozměrech a přidává k němu informaci o poloze. To je důležité, protože stejná světlá skvrna znamená něco jiného uprostřed mozku a něco jiného u jeho okraje. Transformer se snaží zachovat právě tyto širší vztahy, které samotný malý konvoluční filtr nemusí zachytit.

Obě větve vytvoří vektor o 512 rozměrech. Po spojení má reprezentace 1024 rozměrů. Následuje jednorozměrná konvoluce se 128 filtry, pooling a GRU s 256 jednotkami. Dropout 0,2 v rekurentní části a další dropout 0,3 mají omezit přeučení. Celý model má 5 603 000 naučitelných parametrů, tedy hodnot, které se během tréninku upravují podle dat.

Číslo 98 procent má přesně dané hranice

BrainFusionNet dosáhl průměrné přesnosti 98 % v obou úlohách při pětinásobné stratifikované křížové validaci. Data byla rozdělena v poměru 70 % pro trénink, 20 % pro validaci a 10 % pro oddělený test. Důležitý detail je dělení na úrovni pacienta. Řezy jednoho člověka neměly skončit v různých částech experimentu, protože by model mohl místo obecného pravidla poznat konkrétního pacienta.

Ve tří třídách dosáhly gliom a meningeom podle studie precision, recall i F1 skóre 1,0. Ve čtyřtřídním nastavení zůstala celková přesnost na 98 %, ale recall u meningeomů klesl na 0,96. Recall zde znamená podíl skutečných případů dané třídy, které model správně zachytil. U zdravých kontrol a adenomů hypofýzy byly výsledky podle autorů mimořádně vysoké.

To jsou dobrá čísla pro dané datasety, ne univerzální známka kvality pro každé nemocniční MRI. Autoři pracovali s veřejnými sekundárními databázemi. Snímky z jiných přístrojů, nemocnic, protokolů nebo populací mohou mít jiné rozložení kontrastu a šumu. Právě v takové chvíli se často ukáže, zda se model naučil medicínský znak, nebo jen vlastnost konkrétní databáze.

Co ukázaly kontrolní experimenty

Výzkumníci část architektury postupně vypínali. Odebrání první či poslední konvoluční vrstvy nebo dropout vrstvy snížilo výkon přibližně o 1 procentní bod. Větší jádra 5 × 5 a 7 × 7 podle ablačních testů zhoršila zachycení jemných detailů oproti standardním jádrům 3 × 3. Odstranění dropoutu mohlo zvýšit přesnost na trénovacích datech, současně však zhoršilo zobecnění na validační sadě.

Studie také porovnávala návrh se sítěmi DenseNet121, ResNet50, InceptionV3, Xception, MobileNet a VGG16. U experimentů s předtrénovanými vahami z ImageNetu autoři popsali negativní transfer learning. Znalosti získané na běžných fotografiích zde nepomohly tolik jako trénink přímo na medicínských datech. To dává smysl: rozeznat kočku a auto je jiný úkol než hledat slabý rozdíl v odstínu mozkové tkáně.

Vysvětlení rozhodnutí je stejně důležité jako skóre

BrainFusionNet nepoužívá pouze číselný výstup. Autoři zapojili metody LIME, SHAP a Grad-CAM, které zvýrazňují části obrazu, jež měly na predikci největší vliv. Výsledné mapy porovnávali s radiologickými strukturami a popisují, že model často sledoval okraje lézí a okolí nádoru.

Taková vizualizace ale není důkaz, že model uvažuje jako radiolog. Je to kontrolní pomůcka. Pokud zvýrazní místo mimo nález, může upozornit na problém s daty nebo na nežádoucí zástupný znak. Studie navíc uvádí rozdíl v průměrné intenzitě pixelů mezi správně klasifikovanými snímky 61,02 a chybně klasifikovanými 44,94. I tento údaj ukazuje, že kvalita a charakter vstupního obrazu mohou mít na výsledek velký vliv.

Český a evropský limit

BrainFusionNet není veřejná aplikace, kterou by si česká nemocnice mohla stáhnout a ihned používat. Studie neuvádí klinickou certifikaci, českou lokalizaci ani nasazení v českém zdravotnictví. Pro českého pacienta se tedy dnes nemění způsob, jakým radiolog MRI vyhodnocuje.

Pokud by se podobný software dostal do klinického provozu v Evropské unii, nestačilo by zveřejnit vysokou přesnost z jedné studie. Evropská komise řadí použití AI s vážným dopadem na zdraví mezi vysoce rizikové oblasti. Pro takové systémy uvádí požadavky na řízení rizik, kvalitu dat, logování, technickou dokumentaci, lidský dohled, robustnost a kybernetickou bezpečnost. Podrobnosti jsou na oficiální stránce Evropské komise k AI Actu.

Nejrozumnější čtení výsledku je proto střízlivé. Autoři ukázali, že spojení lokálních, globálních a sekvenčních příznaků může na zvolených veřejných datech fungovat velmi dobře. Před použitím u skutečných pacientů by ale bylo nutné nezávislé testování na datech z více pracovišť, ověření přínosu pro lékaře a splnění pravidel pro zdravotnický software. Studie sama jako další omezení uvádí práci pouze se sekundárními MRI datasety a navrhuje budoucí ověření i na CT, ultrazvuku, rentgenu a mikroskopických snímcích.