V posledních měsících jsme svědky masivního nárůstu adopce systémů, které nazýváme agentickou AI. Podle zprávy společnosti Cloudera již 57 % organizací implementovalo AI agenty a 96 % plánuje jejich využití v nejbližším roce rozšířit. Pro český trh a evropský prostor to znamená, že se musíme připravit na éru, kdy software nebude jen nástrojem, ale aktivním spolupracovníkem.

Co přesně znamená „agentická AI“?

Pro pochopení problému je nutné rozlišit mezi běžnou generativní AI (jako je standardní ChatGPT) a agentickou AI. Zatímco běžný model funguje na principu „vstup – výstup“, agentický systém pracuje v cyklu plánování – provedení – kontrola. Agent má k dispozici nástroje: může poslat e-mail, upravit soubor v Excelu, spustit kód v terminálu nebo provést nákup v e-shopu.

Tento proces vyžaduje vysokou míru autonomie. Pokud mu řeknete: „Naplánuj mi cestu do Paříže a rezervuj hotel“, agent nebude jen psát itinerář, ale skutečně se přihlásí k účtu, porovná ceny a provede transakci. Právě zde se objevuje bezpečnostní mezera: Co se stane, když agent udělá chybu nebo bude manipulován?

Nová éra kybernetických hrozeb

Tradiční kybernetická bezpečnost se zaměřuje na ochranu dat a přístupů. U agentické AI se však musíme ptát na integritu rozhodování. Existují tři hlavní oblasti rizika, které odborníci, jako je Andrew Palmer, identifikují jako kritické:

• Prompt Injection (Injekce příkazů): Útočník může skrze externí data (například e-mail, který agent čte) vložit skrytý příkaz, který agenta donutí k nechtěnému jednání, například k odeslání citlivých dat na externí server.
• Nekontrolované nástrojové používání: Pokud má agent přístup k vašemu terminálu nebo cloudové infrastruktuře, jedna chybná interpretace může vést k smazání dat nebo vypnutí serverů.
• Ztráta lidského dohledu: S rostoucí rychlostí automatizace se lidé stávají „testery v reálném čase“, což je nebezpečné, protože lidská schopnost reagovat na chybu AI je pomalejší než samotný proces agenta.

Pro české firmy, které se stále více integrují do globálních digitálních řetězců, je toto téma kritické. EU regulace, konkrétně AI Act, již nyní definuje přísná pravidla pro systémy s vysokým rizikem. Autonomní agenti, kteří rozhodují o důležitých procesech, budou pravděpodobně podléhat velmi přísnému dohledu v rámci evropského právního rámce.

Může být bezpečnost „neexistujícím problémem“?

Otázka v titulku je provokativní, ale má v sobě logiku. Existuje scénář, kdy se bezpečnost agentické AI stane marginální záležitostí. To by nastalo v případě, že se bezpečnost přestane vnímat jako „bariéra postavená kolem AI“ a stane se součástí samotné architektury agenta.

Moderní přístupy, které diskutují experti z firm jako SentinelOne, naznačují, že AI může být nejlepším obráncem sama sebe. Místo toho, aby lidé manuálně kontrolovali každý krok agenta, můžeme nasadit „supervizorský agent“. Tento druh systému má za úkol pouze monitorovat logiku a bezpečnostní protokoly hlavního agenta. Pokud hlavní agent začne vykazovat anomální chování (např. pokus o neobvyklý převod peněz), supervizorský agent jej okamžitě zastaví.

Tento koncept „AI vs. AI“ může transformovat kybernetickou bezpečnost. Jak uvádí Steve Stone ze SentinelOne, AI nepoužíváme k nahrazení lidí, ale k odstranění rutinních, nudných úkolů, což umožňuje analytikům soustředit se na komplexní hrozby. V tomto kontextu se bezpečnost stává automatizovaným procesem, který běží v milisekundách.

Srovnání technologií a dostupnost

Při výběru modelů pro agentické workflow je důležité sledovat schopnost reasoningu (logického uvažování). Zde je stručné srovnání aktuálních lídrů v kontextu agentických úloh:

Pro českého uživatele je důležité vědět, že většina těchto modelů zvládá český jazyk na velmi vysoké úrovni, což umožňuje vytvářet agenty, kteří mohou komunikovat s českými zákazníky nebo pracovat s českými dokumenty. Nicméně, většina vývojářských frameworků pro agenty (jako LangChain nebo AutoGPT) je primárně dokumentována v angličtině.

Praktický dopad pro firmy a jednotlivce

Co to znamená pro vás? Pokud jste majitel malé firmy v ČR nebo IT manažer, nemůžete agentickou AI přijmout bez jasných pravidel. „Guardrails“ (ochranné mantinely) musí být nastaveny před prvním spuštěním.

Doporučení pro implementaci:

1. Princip minimálních oprávnění: Agent by nikdy neměl mít přístup k více datům nebo nástrojům, než je nezbytně nutné pro jeho úkol.
2. Human-in-the-loop: U kritických operací (platby, mazání dat) musí být vždy vyžadováno potvrzení člověkem.
3. Auditní stopa: Každý krok, který agent podnikne, musí být logován a okamžitě dohledatelný.

Agentická AI nám může vrátit tisíce hodin práce, ale pouze tehdy, pokud budeme mít důvěru v to, že její autonomie je v našich rukou, nikoliv mimo ně. Bezpečnost zde není překážkou v inovaci, ale jejím nezbytným základním kamenem.