Britská policie spoléhá na rozpoznávání obličejů, to může označit nevinné

Algoritmus má hledat stopu, ne určovat viníka

Retrospektivní rozpoznávání obličejů se používá až po události. Policie do systému vloží snímek osoby z kamerového záznamu, telefonu nebo jiného zdroje a nechá jej porovnat s databází známých fotografií. Výsledkem není potvrzená identita, nýbrž seznam podobných obličejů. Přirovnání k vyhledávači sedí poměrně přesně. Když hledáte fotografii podle několika slov, dostanete nabídku výsledků, nikoli automaticky správnou odpověď. U policejního systému je však cena špatné interpretace mnohem vyšší. Pokud vyšetřovatel považuje návrh algoritmu za důkaz, může následovat výslech, domovní prohlídka nebo zatčení člověka, který s případem nesouvisí. Podle zprávy Guardianu o inspekci HMICFRS někteří policisté nevěděli, že výsledek retrospektivního vyhledávání je pouze zpravodajská informace a vyžaduje další ověření. Inspektoři popsali také případy, kdy policie před přijetím opatření neprovedla dostatek doplňujících kontrol a v malém počtu případů vedlo přílišné spolehnutí se na algoritmus k nevhodným vyšetřovacím úkonům.

Databáze má přes 19 milionů fotografií

Britská policie při vyhledávání využívá databázi Police National Database, která obsahuje miliony fotografií podezřelých a zadržených osob. Nejde tedy o běžný systém, který by prohledával fotografie všech obyvatel. Databáze se opírá především o snímky pořízené během kontaktu s policií. Velikost databáze zvyšuje šanci, že se v ní podobný obličej objeví. Současně však roste počet kandidátů, mezi nimiž může být člověk, který se skutečnému podezřelému pouze podobá. Algoritmus pracuje s pravděpodobností podobnosti. Neumí sám rozhodnout, zda osoba na snímku skutečně byla na místě činu. Inspektoři navíc zjistili, že spolehlivost vyhledávání srážejí i samotní uživatelé. Policisté do systému opakovaně nahrávali nekvalitní, rozmazané fotografie nebo snímky s více tvářemi současně, což schopnost algoritmu najít odpovídající shodu výrazně snižovalo. Úspěšné nalezení osoby v databázi přitom není totéž jako spolehlivé vyloučení všech ostatních lidí.

Největší rozdíl se týká etnických skupin

Zpráva inspekce upozorňuje, že v používaných algoritmech pro retrospektivní vyhledávání přetrvává systémové zkreslení. Technologie vykazuje předpojatost a u lidí z etnických menšin existuje vyšší pravděpodobnost, že je systém chybně označí za podezřelé. Falešně pozitivní shoda znamená, že systém označí člověka jako možného podezřelého, i když jím není. U technologie používané policií má taková chyba jiný dopad než u aplikace, která špatně roztřídí fotografie z dovolené. Zásah policie může přímo ovlivnit osobní svobodu, pověst i další vyšetřování. Problém se neřeší jednoduše posunutím citlivosti. Vyšetřovatelé narážejí na technologický kompromis: pokud se zvýší práh shody s cílem omezit falešné poplachy a diskriminační chyby, systém sice přestane navrhovat tolik nepravděpodobných kandidátů, ale zároveň výrazně klesne celkový počet zachycených stop. Naopak při volnějším nastavení roste riziko, že mezi podezřelými uvíznou nevinní lidé. Technické nastavení tak přímo určuje, jak velkou část odpovědnosti nese člověk, který výstupy posuzuje.

Policie uchovávala snímky, které už měla smazat

Inspekce upozornila také na nakládání s fotografiemi zadržených lidí. Některé snímky zůstávaly v policejních databázích, přestože měly být podle platných pravidel smazány. Tento problém se netýká přesnosti algoritmu, ale správy dat. I spolehlivě fungující systém představuje vážné riziko, pokud prohledává databázi obsahující fotografie bez dostatečného právního důvodu. U biometrických údajů je navíc možné člověka podle obličeje znovu identifikovat i v situaci, kdy by jeho jméno v databázi přímo nefigurovalo. Inspektoři zároveň konstatovali, že legislativa nestačí tempu technologického vývoje a chybí ucelený zákonný rámec pro používání retrospektivní identifikace. Zpráva HMICFRS poukázala i na chybějící jednotný přístup a nedostatečné protokolování toho, kdo systém použil a v jaké souvislosti, což komplikuje zpětnou kontrolu přiměřenosti zásahů.

Británie připravuje pravidla, důvěra zatím chybí

Spojené království stále postrádá jednotný zákonný rámec a národní standardy pro retrospektivní rozpoznávání obličejů. Britská vláda přitom připravuje návrh přísnějších pravidel, která mají stanovit jasné mantinely pro používání biometrických technologií policejními sbory. Počítá se mimo jiné s nezávislým dohledem a s požadavky na testování technologií proti předpojatosti. Zástupci občanských organizací i odborníci však upozorňují, že bez pevných právních záruk hrozí podkopání důvěry veřejnosti. Jak zdůraznil profesor Pete Fussey z Univerzity v Southamptonu, smysluplná lidská kontrola systémů umělé inteligence je právním požadavkem, přesto vyšetřovatelé v praxi opakovaně přebírali návrhy počítače bez dalšího prověřování. Inspekce proto apeluje na to, aby rozhodnutí vždy podléhala lidskému úsudku a aby policie dokázala zajistit účinnou ochranu dat i zvládání rizik spojených s algoritmickým zkreslením.

Evropský AI Act nastavuje pro biometrii přísné mantinely

Pro českého čtenáře a evropský prostor představuje britská zkušenost zásadní varování. Otázku, jak smí bezpečnostní složky nakládat s biometrickou identifikací, totiž v Evropské unii řeší nová unijní regulace umělé inteligence známá jako AI Act. Evropský přístup k biometrii je výrazně restriktivnější. Živé biometrické rozpoznávání na dálku ve veřejném prostoru AI Act v členských státech EU až na velmi úzké a přísně vymezené výjimky (například bezprostřední teroristická hrozba či pátrání po obětech únosu) zcela zakazuje. Retrospektivní rozpoznávání obličejů ze záznamů pak evropská legislativa řadí mezi vysoce rizikové systémy. To znamená, že pokud policie v Česku či jiném státě EU takovou technologii nasadí, musí splnit přísné povinnosti: podléhat nezávislému auditu, zajistit vysokou kvalitu trénovacích dat k minimalizaci diskriminace a především garantovat soustavný lidský dohled. Algoritmický výsledek nesmí být nikdy automaticky převzat jako důkaz bez důkladného prověření vyšetřovatelem.

FAQ