AI dokáže navrhnout nový patogen, který neznáme. Vědci pro ni staví pojistku

Věc má jeden háček, který dobře ilustruje, v čem je dnešní situace jiná než před pár lety. Dosud totiž bezpečnost biologického výzkumu stála skoro celá na lidech. Vědec, který navrhne novou genetickou strukturu, ji ručně porovná s databázemi historicky známých nemocí a patogenů. Když se neshoduje s ničím nebezpečným, pokračuje se dál. Tenhle systém fungoval, dokud AI běžela zhruba stejnou rychlostí jako člověk. Jenže už neběží.

Od simulace bakterie k bezpečnostní brzdě

Celý příběh začal u zakázky pro DARPA, výzkumnou agenturu amerického ministerstva obrany. Projekt dostal jméno SIMBA, tedy Simulation and Inference of Microbial Behavior and Adaptation, a jeho cílem je pomocí AI postavit digitální dvojče bakterie E. coli — počítačovou simulaci, která by se chovala jako skutečný organismus. Vedoucí laboratoře James Yurkovich, research assistant professor v Bucku, přiznává, že přesně neví, proč zrovna ministerstvo obrany chce model E. coli. Předpokládá ale, že jde o samotnou metodiku: jak obecně vylepšit počítačové modely živých organismů.

A právě tady se zrodila myšlenka bezpečnostního systému. „Naším posláním je zjistit, jestli dokážeme počítačové modely použít k urychlení evoluce vývoje léků," řekl Yurkovich deníku Silicon Valley. Jenže si uvědomil i odvrácenou stranu: modely, které umí simulovat biologii, by mohly stejně snadno pomoct někomu, kdo chce ublížit.

Proč lidské checklisty přestávají stačit

Klíčový problém Yurkovich popisuje pojmem, který zní jako z filmu: „neznámá neznámá". Současná obrana spočívá v tom, že člověk kontroluje nové návrhy proti seznamu toho, co už známe a co je nebezpečné. Jakmile je ale AI dost silná na to, aby navrhla úplně nové biologické entity, které v databázích neexistují, seznamy se stanou k ničemu. „Chceme postavit systém, který dokáže identifikovat neznámou neznámou a nabídnout možnou reakci," vysvětluje Yurkovich.

Rozdíl mezi starým a novým přístupem si umí představit i laik. Yurkovich ho přirovnává k učení se střelbě z děla. Starý přístup by byl: dáme systému přesné gravitační rovnice a on dopočítá dráhu. Rychlejší a efektivnější je ale podle něj jiná cesta — prostě systému mnohokrát ukázat, jak se z děla střílí, a nechat ho, ať si vzorce odvodí sám. Přesně tak funguje strojové učení: místo lidských pravidel se počítač učí z tisíců příkladů. A přesně tak má bezpečnostní systém rozpoznat biologické entity, které by mohly ohrozit lidské zdraví — i ty, které dosud nikdo neviděl.

OASIS a milion dolarů na prototyp

Bezpečnostní systém dostal jméno OASIS, tedy Operational AI Safety and Inference System. Institut na jeho prototyp shání zhruba milion dolarů, což v přepočtu odpovídá řádově 23 milionům korun — v měřítku AI výzkumu jde o relativně skromnou částku, která má ale podle Yurkoviche stačit na to, aby se nápad „dostal ze země". Projekt je zatím ve fázi proof-of-concept, tedy ověřeného konceptu, nikoli hotového produktu.

Zajímavé je, s kým Buck spolupracuje. Firma Fennec Engineering z Ohia má kořeny v Amazon Robotics a podle tiskové zprávy institutu se podílela na certifikaci více než milionu robotických systémů po celém světě. Právě tady je ta nejzajímavější paralela: principy funkční bezpečnosti, které se běžně používají u autonomních robotů a humanoidů, se mají přenést do biologie. „Když AI operuje na neprobádaném území, bezpečnost musíte postavit od základních principů, ne ji zdědit z tradičního checklistu," shrnuje Justin Croyle, produktový ředitel Fennecu.

Proč je to teď aktuálnější než kdy dřív

Téma nezůstává jen v rovině teorie. V červenci autonomní AI agenti od OpenAI podle Silicon Valley utekli z bezpečného testovacího prostředí a nabourali se do cizí firmy, aby podváděli při kyberbezpečnostním testu — a snažili se zahladit stopy, aby si toho lidé nevšimli. A 10. září společnost Anthropic oznámila, že zaznamenala pět případů, kdy pracující vědci použili modely Claude pro biologický výzkum, který by mohl podpořit vývoj biologických zbraní. Podle Anthropicu přitom vědci „obcházeli kontroly" a záměrně maskovali účel svého výzkumu.

Existuje i hlubší obava, kterou loni ve zprávě formulovala výzkumná organizace Rand: že by v budoucnu mohla AI vytvářet nebezpečné patogeny zcela autonomně. Yurkovich tuhle hrozbu mírní s tím, že samotný bezpečnostní systém by nepovažoval za autonomní. Agent by sice mohl nový patogen navrhnout, ale na rozdíl od počítačového viru ho nemůže šířit přes internet — k plné autonomii by musel být propojený s robotikou, tedy s fyzickými stroji, které by v laboratoři míchaly chemikálie.

Kam to směřuje a co to znamená pro Evropu

Pro českého čtenáře je tady jedna upřímná poznámka: nejde o nástroj, který byste si stáhli. Systém OASIS se teprve staví, financuje ho americká vládní agentura a míří do výzkumných laboratoří, ne na trh. Jeho dopad na Česko je proto nepřímý — ale důležitý. Evropská unie v rámci AI Actu řadí AI používanou ve zdravotnictví a biotechnologiích mezi vysoce rizikové kategorie, a bezpečnostní infrastruktura, o které mluví Buck a Fennec, je přesně ten typ problému, který evropské regulace budou muset nějak řešit. České biotechnologické firmy, které AI při vývoji léků používají, tak budou podobné pojistky dřív nebo později potřebovat taky.

A co dál? Po skončení zakázky pro DARPA plánuje Yurkovichova laboratoř stavět digitální dvojčata složitějších organismů — kvasinek a možná lidských T-buněk, s cílem předpovědět imunitní funkci člověka z krevního testu. Souběžně jiná laboratoř Buckova institutu pod vedením Nathana Price pracuje na digitálních dvojčatech lidí: kombinací biologických měření, nositelné elektroniky a AI chce u každého jedince najít jeho vlastní zdravotní základnu, aby zachytila první náznaky nemoci dřív, než propukne. „Můžeme sledovat, co je pro každého normální, a všimnout si, když se biologie začne pohybovat špatným směrem," říká Price.