Přejít k hlavnímu obsahu

Agentic AI: Proč světové mocnosti varují před příliš rychlým nasazením autonomních agentů?

Ilustrační obrázek pro jarvis-ai.cz
Agentic AI představuje další krok v evoluci umělé inteligence – přechod od modelů, které pouze odpovídají na dotazy, k systémům, které samostatně plánují a vykonávají úkoly. Zatímco tento posun slibuje masivní zvýšení produktivity, bezpečnostní společenstvo Five Eyes (USA, Velká Británie, Kanada, Austrálie a Nový Zéland) vydalo varování: příliš rychlé a nekontrolované nasazení těchto autonomních agentů může vést k nepředvídatelným a nebezpečným důsledkům pro kybernetickou bezpečnost i stabilitu systémů.

Svět se nachází v momentě, kdy se hranice mezi generativní AI a plně autonomní inteligencí začíná stírat. Zatímco běžné modely, jako je standardní ChatGPT nebo Claude, fungují v režimu "dotaz–odpověď", nová vlna známá jako Agentic AI (agentická AI) je navržena tak, aby jednala. Tyto systémy dokážou používat nástroje, procházet internet, spravovat soubory a v rámci stanovených cílů samostatně rozhodovat o dalších krocích.

Co je to vlastně Agentic AI a v čem spočívá její síla?

Abychom pochopili riziko, musíme pochopit princip. Podle analýzy společnosti EY je Agentic AI mostem mezi generativní AI a strojovým učením, který umožňuje autonomní rozhodování a adaptivní inteligenci. Zatímco klasický model vám napíše recept na pečení dortu, agentická AI si recept sama vyhledá, objedná ingredience přes online obchod a následně vám potvrdí termín doručení.

Tento posun přináší obrovský potenciál. Předpovědi naznačují, že do roku 2028 bude v globální službě až 1 miliarda AI agentů a až 80 % zákaznických servis bude řešeno zcela autonomně. Pro firmy to znamená drastické snížení nákladů (odhadem až o 30 %), ale pro bezpečnostní experty to znamená nové, neprobádané mặtěže.

Varování Five Eyes: Riziko nekontrolovaného nasazení

Společenstvo zpravodajských služeb Five Eyes vyjádřilo hluboké obavy z tempa, kterým se tyto technologie zavádějí do kritické infrastruktury a firemních procesů. Hlavním problémem je nepředvídatelnost. Agentické systémy pracují v uzavřených smyčkách (perceive-plan-act), kde každá chyba v plánování může védec řetězovou reakci nesprávných akcí.

Podobné varování vydala i americká agentura CISA. Zdůrazňuje, že při adopci těchto služeb musí organizace dbát na extrémní opatrnost. Mezi hlavní hrozby patří:

  • Indirect Prompt Injection: Útok, kdy agent čte data (např. e-mail nebo webovou stránku), která obsahují skrytý příkaz, a agent jej následně vykoná (např. odešle citlivá data útočníkovi).
  • Ztráta kontroly nad rozhodováním: Pokud agent má přístup k API bankovních systémů nebo firemním databázím, může dojít k neúmyslným finančním nebo datovým ztrátám.
  • Kybernetická zneužitelnitelnost: Autonomní agenti mohou být zneužiti k automatizovaným, vysoce sofistikovaným kybernetickým útokům, které se dokážou samy adaptovat na obranu.

Srovnání: Generativní AI vs. Agentická AI

Pro lepší představu si můžeme tyto dva koncepty porovnat v kontextu nejznámějších modelů:

Vlastnost Generativní AI (např. GPT-4o, Claude 3.5) Agentická AI (např. AutoGen, OpenAI Assistants API)
Hlavní funkce Generování textu, kódu, analýza dat. Plánování, používání nástrojů, exekuce úkolů.
Interakce Reaktivní (čeká na prompt). Proaktivní (vlastní iniciativa v rámci cíle).
Autonomie Nízká (vyžaduje neustálý lidský vstup). Vysoká (dokáže pracovat v cyklech bez člověka).

Dopad na české firmy a evropský trh

Pro české podnikatele a vývojáře má toto téma dva zásadní rozměry: regulaci a bezpečnost. V rámci Evropské unie je klíčovým rámcem EU AI Act, který klasifikuje systémy AI podle míry rizika. Agentické systémy, které mají schopnost autonomního rozhodování v kritických oblastech (např. lidské zdroje, finance, infrastruktura), budou pravděpodobně podléhat nejpřísnější regulaci.

Co to znamená pro vás? Pokud vaše firma zvažuje implementaci agentických nástrojů (např. pomocí OpenAI Assistants API, které je dostupné za poplatky na základě využití/tokenů, nebo open-source frameworků jako AutoGen), musíte implementovat princip "Human-in-the-loop". To znamená, že kritické kroky (např. schválení platby, smazání dat, změna konfigurace) musí vždy validovat člověk. V českém prostředí, kde je důraz kladen na ochranu soukromí a GDPR, bude auditování rozhodovacích procesů agentů naprostou nezbytností.

Cenová dostupnost a nástroje

V současné době nejsou "agenti" samostatné produkty s pevnou cenou, ale spíše schopnosti implementované do existujících modelů.

  • OpenAI Assistants API: Platba za tokeny (v USD), cena závisí na objemu zpracování.
  • Microsoft AutoGen: Open-source (zdarma), vyžaduje vlastní výpočetní kapacitu a API klíče (např. od Azure OpenAI).
  • Claude (Anthropic): Nabízí silné schopnosti pro reasoning, cena je rovněž modelována podle využití API.
Všechny tyto nástroje jsou dostupné pro vývojáře v ČR, přičemž pro finální uživatele je klíčová podpora angličtiny, ale díky schopnostem LLM lze agenty instruovat i v češtině, což umožňuje jejich nasazení i v lokálních procesech.

Závěr

Agentická AI je technologickým posunem, který přinese nevídanou efektivitu, ale zároveň přináší nejvyšší úroveň rizik v historii digitálního světa. Varování Five Eyes není snahou o zastavení pokroku, ale voláním po odpovědném vývoji. Pro české firmy je to signál, aby nehledely pouze po úsporách, ale investovaly do bezpečných architektur a jasných kontrolních mechanismů.

Může agentická AI způsobit skutečnou škodu v reálném světě?

Ano. Pokud má agent přístup k externím nástrojům (např. e-mail, bankovní API, ovládání chytré domácnosti nebo průmyslových senzorů), chybný nebo zmanipulovaný příkaz může vést k finančním ztrátám, poškození infrastruktury nebo úniku citlivých dat.

Jak poznám, že nástroj, který používám, je "agentický"?

Hlavním znakem je schopnost nástroje samostatně plánovat kroky bez vašeho každodenního zadávání. Pokud nástroj říká: "Já to udělám, prohledám to a pak vám dám vědět," pracuje s prvky agentické AI.

Je agentická AI v souladu s EU AI Act?

To závisí na aplikaci. Pokud agent rozhoduje o důležitých aspektech lidského života (např. schvalování úvěrů nebo nábor zaměstnanců), bude klasifikován jako vysoce rizikový systém a musí splňovat přísné nároky na transparentnost a lidský dohled podle evropské regulace.

X

Nezmeškejte novinky!

Přihlaste se k odběru novinek a aktualit.