Přejít k hlavnímu obsahu

AI agenti opouštějí pilotní provoz. Firmy řeší, kdo bude odpovídat za jejich chyby

AI agent s bezpečnostními pravidly a kontrolními mechanismy
Firmy už AI agenty nezkoušejí jen v bezpečných pískovištích. Průzkum mezi 200 vedoucími pracovníky ukázal, že téměř 60 procent z nich provozuje autonomní agenty v produkci. Největší otázkou už není, zda agent něco zvládne, ale co smí udělat bez člověka a kdo ponese odpovědnost za chybu.

Od chatbota k nástroji, který může něco změnit

AI agent není jen chatbot, který napíše odpověď. Dostane cíl, umí si rozdělit úkol na kroky a přes připojené nástroje může například spustit test, změnit nastavení cloudu nebo otevřít incident. Právě tato schopnost jednat místo člověka je užitečná, ale také výrazně citlivější než běžné generování textu.

Průzkum společnosti Caylent, který pro ni provedla Censuswide, oslovil 200 seniorních manažerů ve firmách s nejméně 1 000 zaměstnanci v USA a Kanadě. Všichni uvedli, že agentní AI aktivně zkoumají ve vývoji nebo cloudových operacích. Výsledky proto nelze automaticky vydávat za obraz českých firem, dobře ale ukazují směr, kterým se podnikové nasazení ubírá.

Čísla ukazují posun k opatrné autonomii

Celkem 59,5 procenta respondentů už provozuje AI agenty autonomně v produkčním prostředí. Toto číslo však neznamená, že stroje dostaly volnou ruku. Zhruba 36 procent uvedlo provoz s předem nastavenými mantinely, zatímco 23,5 procenta popsala širší nasazení napříč vývojovými a provozními procesy. Jednoduché srovnání těchto dvou skupin je důležité: na každých 100 dotázaných manažerů připadá přibližně 36 respondentů z organizací s omezenou autonomií a 24 respondentů z organizací s rozsáhlejším nasazením.

Nejčastější použití zůstávají relativně kontrolovatelná. Automatizované testování, bezpečnostní skeny a kontrola kvality se objevily u 67,5 procenta organizací. 60,5 procenta zmiňovalo automatickou reakci na incidenty nebo jejich nápravu. Agenti se také používají k nasazování kódu do neprodukčních prostředí (48,5 procenta), navrhování změn cloudové infrastruktury (48 procent) a k autonomnímu psaní a odesílání kódu do repozitáře (43 procent).

Pořadí dává praktický smysl. Agent může nejdříve připravit testovací verzi nebo navrhnout opravu, aniž by okamžitě ovlivnil zákazníky. Teprve když firma získá dostatečné záznamy a důvěru, může povolit více samostatných kroků. Podobně může grafik nejdřív nechat nástroj připravit varianty návrhu, ale finální export a odeslání klientovi si ponechat pod vlastní kontrolou.

Největší překážkou není model, ale důvěra

Výzkum přináší překvapivý rozdíl mezi technickou užitečností a organizační připraveností. 98 procent vedoucích pracovníků by umožnilo agentovi provádět produkční změny, pokud by byly splněny konkrétní podmínky. Pouhá 2 procenta by autonomní zásah odmítla za všech okolností. Firmy tedy autonomii obecně nezavírají dveře, jen chtějí vědět, jak ji omezit a zpětně zkontrolovat.

Mezi požadovanými pojistkami jsou bezpečnostní skeny, schvalovací brány, automatické testy, vysvětlitelnost, auditní záznamy, pravidla určující povolené akce a možnost rychlého návratu k předchozí verzi. Průzkum uvádí, že 83 procent respondentů považuje silnější mantinely za stejně důležité nebo důležitější než samotnou inteligenci modelu.

To je dobrá zpráva i pro menší české firmy. Při výběru nástroje není rozumné ptát se pouze na to, který model píše nejlepší text nebo kód. Stejně podstatné je, zda služba nabízí oddělená oprávnění, historii akcí, schvalování člověkem a obnovu po chybě. U cloudových služeb je navíc nutné zjistit, kde se zpracovávají data a zda se firemní dokumenty používají k trénování modelu.

Člověk zůstává v rozhodovacím řetězci

Největší obavou respondentů byla odpovědnost za chyby a bezpečnostní zranitelnosti v kódu vytvořeném agentem. Uvedlo ji 36 procent dotázaných. Preference pro řešení incidentů proto směřují k takzvané řízené autonomii, nikoli k úplnému bezdozoru.

30,5 procenta vedoucích chce, aby agent problém odhalil a upozornil na něj, zatímco o návratu změny rozhodne člověk. Dalších 23,5 procenta dovoluje agentovi pokusit se o opravu, ale s možností lidského zásahu. Pouze 8,5 procenta preferuje plně autonomní uzavření incidentu, při kterém lidé kontrolují výsledek až dodatečně. Rozdíl mezi nejopatrnějším a nejodvážnějším přístupem je 22 procentních bodů. Provozní praxe tedy zatím jasně favorizuje kontrolní bod před slepou důvěrou.

Bezpečnost označilo za hlavní interní překážku 54,5 procenta respondentů a compliance s řízením rizik 48 procent. Právní a nákupní týmy následovaly s 34,5 procenta. Vývojáři byli překážkou jen pro 16 procent. Jinými slovy, problém už často není přesvědčit programátora, že agent ušetří čas, ale přesvědčit celou organizaci, že jeho kroky lze vysledovat a v případě potřeby vrátit.

Co do toho přináší evropská pravidla

Pro české firmy nejde jen o interní IT směrnici. Evropská komise uvádí, že AI Act se v EU stal obecně použitelným 2. srpna 2026, i když některé povinnosti mají vlastní přechodné termíny. U vysoce rizikových použití se počítá mimo jiné s řízením rizik, kvalitními daty, logováním činnosti, dokumentací, lidským dohledem, kybernetickou bezpečností a robustností. Ne každý firemní agent automaticky spadá do této kategorie, ale čím více zasahuje do zaměstnávání, vzdělávání, kritické infrastruktury nebo důležitých služeb, tím méně stačí neformální pravidlo „někdo se na to občas podívá“.

Evropský přístup tak prakticky potvrzuje závěr průzkumu: autonomie musí být měřitelná. Firma by měla před spuštěním určit, ke kterým systémům agent přistupuje, jaké změny smí provést, kdy musí požádat o schválení a jak dlouho uchovává záznamy. Tato práce není tak viditelná jako výběr nového modelu, ale právě ona rozhoduje, zda se úspora času nezmění v drahý incident.

Vyplatí se agentní AI vyzkoušet?

Pro domácího uživatele, kreativce nebo živnostníka není důvod pořizovat autonomního agenta jen proto, že je novější než chatbot. Smysl dává u opakovaných úkolů s jasným výsledkem: třídění podkladů, příprava návrhu odpovědi, kontrola seznamu souborů nebo vytvoření prvního kola testů. Citlivé údaje, finanční operace a odesílání finálních výstupů by měly zůstat za lidským schválením. Běžné služby jsou v Česku zpravidla použitelné přes web a angličtina bývá jejich hlavním pracovním jazykem; kvalitu češtiny je vhodné před nasazením ověřit na vlastních materiálech. Ceny se liší podle konkrétní služby a spotřeby, proto nelze samotný průzkum použít jako cenové srovnání.

Agentní AI tedy do produkce skutečně vstupuje, ale ne jako bezchybný digitální zaměstnanec. Dospělejší přístup vypadá méně efektně: omezená oprávnění, schvalovací kroky, záznamy a možnost návratu. Pro člověka, který chce technologii využít bez zbytečného rizika, je to zároveň nejpraktičtější návod.

Co přesně znamená agentní AI?

Jde o systém, který kromě tvorby odpovědi umí plánovat kroky a používat připojené nástroje. Může například spustit test, upravit soubor nebo navrhnout opravu, pokud k tomu dostane oprávnění.

Je agentní AI v rozporu s evropským AI Actem?

Ne automaticky. Povinnosti závisí na konkrétním účelu a míře rizika. U citlivých oblastí musí provozovatel řešit například lidský dohled, dokumentaci, logování a bezpečnost.

Může agent pracovat bez kontroly člověka?

Technicky často ano, ale průzkum ukazuje, že firmy dávají přednost řízené autonomii. Agent může upozornit na problém nebo navrhnout opravu, zatímco člověk schválí zásah a může ho vrátit.

Diskuze

Zatím žádné komentáře — buďte první, kdo se podělí o svůj názor.
X

Nezmeškejte novinky!

Přihlaste se k odběru novinek a aktualit.