AI, která jedná sama: kdy jí věřit a kdy dohlížet na každý krok

Agentní AI: ne rady, ale činy

Agentní AI (anglicky agentic AI) představuje souhrnné označení pro systémy, které na zadaný pokyn nereagují pouhým vygenerováním textu. Místo toho dokážou komplexní úkol samostatně rozložit na dílčí fáze a postupně je provést. Klasický chatbot na položenou otázku pouze napíše odpověď. Naproti tomu agentní asistentka po zadání „roztřiď tyto dokumenty a rozešli je příslušným klientům“ sama otevře soubory, vyhledá kontakty v databázi a zprávy skutečně odešle. Zásadní rozdíl spočívá v tom, že agentní AI při své práci aktivně koná – modifikuje data, volá externí služby a provádí nevratné úkony.

Na rizika i příležitosti tohoto posunu dlouhodobě upozorňuje odborná platforma OpenGov Asia v debatách zaměřených na důvěru v autonomní jednání systémů. Závěry technologických expertů se shodují v jednom: autonomní agentka je v praxi jen tak spolehlivá a bezpečná, jak kvalitní je prostředí, které ji propojuje s firemní infrastrukturou, řídí její pravomoci a detailně dohlíží na každý její krok.

Jak funguje AI brána: od protokolu MCP po bezpečné směrování

Aby mohla AI odeslat zprávu, potřebuje přístup k poštovnímu serveru. Aby mohla zpracovat fakturu, musí komunikovat s účetním systémem. Tuto vrstvu v moderní IT architektuře zastřešuje integrační a aplikační rozhraní označované jako AI gateway (brána pro umělou inteligenci). Funguje jako přísně střežený kontrolní uzel, který stojí mezi jazykovým modelem a vnitřními firemními systémy.

V praxi se dnes pro standardizované napojení nástrojů prosazuje otevřený protokol Model Context Protocol (MCP). Ten umožňuje modelům bezpečně objevovat dostupné funkce a volat je jednotným způsobem bez nutnosti psát pro každou aplikaci proprietární kód na míru. O samotné řízení provozu se pak starají specializované brány a směrovače, jako je open-source projekt Envoy AI Gateway nebo nástroje typu Agent Router. Tyto systémy plní několik kritických úkolů:

• Řízení přístupu a oprávnění – určují přesné hranice, ke kterým tabulkám a záznamům má AI přístup a jaké operace smí volat (například pouze čtení bez možnosti mazat data).
• Auditní logování – každý krok, dotaz i odpověď modelu se ukládají do neměnného auditního záznamu, takže lze kdykoliv zpětně dohledat, proč se AI rozhodla danou akci provést.
• Limity útraty za API – brána hlídá finanční stropy a rychlostní limity (rate limits), aby se zabránilo zacyklení agenta a nekontrolovanému vyčerpání rozpočtu na volání cloudových modelů.
• Maskování citlivých údajů – filtry zachytí osobní údaje, hesla či interní data dříve, než odejdou do externího cloudového rozhraní.

Co nařizuje evropský AI Act

Odpovědnost za jednání umělé inteligence neřeší pouze firemní bezpečnostní protokoly, ale také evropská legislativa. Nařízení o umělé inteligenci (AI Act) vstoupilo v platnost 1. srpna 2024 a jednotlivé povinnosti nabíhají v předem stanovených etapách.

Pro systémy, které samostatně rozhodují a jednají, jsou zásadní dva milníky. Pravidla pro vysoce rizikové systémy – kam spadají například nástroje využívané při náboru zaměstnanců, ve školství, zdravotnictví nebo při posuzování úvěruschopnosti – začnou naplno platit 2. srpna 2026. Současně od tohoto data nabíhají obecné povinnosti transparentnosti, kdy provozovatelé musí zajistit, aby byl člověk jasně informován o tom, že jedná s umělou inteligencí. Pro vysoce rizikové systémy zabudované do regulovaných výrobků, které podléhají certifikaci třetí stranou (například zdravotnické prostředky či průmyslové stroje), je termín stanoven na 2. srpna 2027. Oficiální harmonogram a kategorizaci rizik přehledně uvádí Evropská komise.

Z pohledu práva tedy platí jednoznačný požadavek: organizace, která nasazuje samostatně jednající AI, musí garantovat auditovatelnost jejích rozhodnutí a zachovat možnost lidského zásahu.

Princip human-in-the-loop: Kdy nechat rozhodovat člověka

Při nasazování agentní AI v praxi se jako nejspolehlivější model ukazuje přístup human-in-the-loop (člověk v rozhodovací smyčce). Místo toho, aby AI dostala absolutní volnost provádět veškeré kroky od začátku do konce, je proces rozdělen podle závažnosti dopadů.

Činnosti, kde případný omyl nezpůsobí finanční ani reputační škodu a lze jej snadno vrátit zpět – jako je rešerše podkladů, třídění přijaté pošty nebo příprava konceptu odpovědi –, může AI zvládat zcela autonomně. Jakmile se však jedná o nevratnou operaci, typicky odeslání platby, podepsání dokumentu, hromadnou rozesílku klientům či změnu stavu v databázi, AI brána proces pozastaví a vyžádá si explicitní potvrzení odpovědným pracovníkem. Tento hybridní model šetří čas při rutinní přípravě, ale ponechává plnou kontrolu tam, kde nese odpovědnost člověk.