AI selhává potichu. Proč chatboti a agenti potřebují vlastní provozní kamery

Proč je AI jiná než běžný program

Většina softwaru, se kterým se v práci i doma potkáváme, je předvídatelná. Kalkulačka dá dvě plus dvě vždycky dohromady jako čtyři. Chatbot to ale tak nemá. Velké jazykové modely (LLM), na kterých stojí ChatGPT, Claude nebo Gemini, jsou v jádru statistické stroje, které neustále odhadují, jaké slovo má následovat. Stejný dotaz proto může pokaždé skončit trochu jinou — a někdy i úplně špatnou — odpovědí.

Téhle vlastnosti se říká, že je model nedeterministický. Není to nutně chyba, je to podstata technologie. Problém nastává ve chvíli, kdy takový model pustíte do reálné služby a nemáte nástroj, který by vám řekl, kdy začne mluvit z cesty. Tradiční sledování aplikací totiž umí odpovědět jen na otázku „běží to, nebo neběží?“. U AI ale potřebujete vědět „odpovídá to správně, bezpečně a za rozumné peníze?“ — a to je úplně jiná disciplína.

Co přesně se u AI sleduje

Odborníci na AI provoz pracují se čtyřmi základními pilíři. Prvním jsou takzvané stopy a rozpětí (traces and spans): záznam toho, jak konkrétní dotaz prochází systémem — jak model postupoval krok za krokem, které nástroje zavolal a jak se rozhodoval. Je to obdoba záznamu o tom, kudy jde balíček po cestě k zákazníkovi.

Druhým pilířem jsou průběžné evaluace. Tady se k hodnocení kvality odpovědí používá jiný jazykový model, který hraje roli porotce, a k tomu se přidává zpětná vazba od lidí. Třetí pilíř hlídá data: jestli model čerpá ze správných zdrojů a jestli se mu nerozbilo propojení s vlastní znalostní databází. A čtvrtý pilíř počítá peníze — kolik výpočetního výkonu a kolik tokenů každý dotaz spolkne.

Užitečný je přitom hlavně pohled na tiché chyby. Konkrétně se u AI sleduje například to, jak často si model vymýšlí (odborně „halucinuje“), jestli náhodou nevypouští toxické výrazy nebo jestli neunikají osobní údaje. Sleduje se i rychlost: za jak dlouho dorazí první token odpovědi a jak dlouho trvá celá odpověď. A v neposlední řadě cena na jednoho uživatele — právě tady se často odhalí nejdražší chyby.

Nejdražší chyba: agent, který se zacyklí

Z pohledu firemní peněženky je nejnepříjemnější scénář takzvaný nekonečný cyklus agenta. Když má autonomní AI agent špatně nastavené hranice, může začít donekonečna volat jedno rozhraní za druhým a dokola posílat dotazy poskytovateli modelu. Účet za tokeny pak roste hodiny, než si toho někdo vůbec všimne. Bez sledování nákladů v reálném čase taková chyba projde jako tichý únik peněz.

Právě proto se sledování AI neomezuje jen na technické metriky, ale zahrnuje i ekonomiku: kolik tokenů spotřeboval prompt a kolik samotná odpověď, a kolik to celé stojí na jednoho uživatele. Náhlý výkyv v těchto číslech obvykle znamená, že se někde něco zadrhlo — špatně napsaný prompt nebo degradovaný model.

Nástroje, které to umí — a kolik stojí

Dobrou zprávou je, že se dnes dá pozorovatelnost AI pořídit i zadarmo, protože řada nástrojů je open source. Nejpřehlednější je srovnat si čtyři hlavní hráče:

• Langfuse — open source nástroj s licencí MIT, který sleduje historii promptů, náklady na tokeny i hodnocení odpovědí. Má štědrý bezplatný plán (Hobby, 50 tisíc jednotek měsíčně). Placený plán Core stojí 29 dolarů měsíčně (zhruba 670 Kč), Pro pak 199 dolarů. Umí i běžet na vlastním serveru, tedy zcela zdarma.
• Helicone — lehký open source „proxy“, který se vloží mezi vaši aplikaci a poskytovatele modelu, stačí jen vyměnit adresu. Nabízí kešování odpovědí a okamžitý přehled cen. Bezplatný plán zahrnuje 10 tisíc dotazů, placený Pro stojí 79 dolarů měsíčně (asi 1 800 Kč).
• Datadog LLM Observability — volba velkých firem, které už Datadog používají ke sledování infrastruktury. Umí propojit výpadky serverů s reálnou prodlevou odpovědí na jednom dashboardu.
• Arize Phoenix — hodí se pro ladění na vlastním počítači a striktně dodržuje otevřený standard OpenTelemetry, takže se snadno propojí s dalšími nástroji.

Souvisejícím nástrojem je i LangSmith od autorů frameworku LangChain, který nabízí hluboké trasování řetězců a fronty pro ruční hodnocení odpovědí odborníky. Pro úplnost: Datadog ani Arize své ceny nezveřejňují tak přímo jako Langfuse či Helicone, proto u nich uvádím jen jejich zaměření.

Český a evropský pohled

Pro české firmy je u tohohle tématu podstatné jedno slovo: GDPR. Data o tom, co vaši zákazníci píšou chatbotovi, jsou citlivá. Langfuse umožňuje ukládat data do datového centra v Evropské unii a nabízí smlouvu o zpracování osobních údajů (DPA), což je pro evropské zákazníky často rozhodující. Možnost provozovat nástroj na vlastním serveru pak znamená, že citlivé dotazy vůbec nemusí opustit vaši síť.

Souvisí s tím i evropský Akt o umělé inteligenci (AI Act), který klade vyšší nároky na transparentnost a dohled nad rizikovými systémy. Sledování toho, co model dělá a proč, se tak z „pěkné nadstavby“ postupně stává nástrojem, který pomáhá plnit povinnosti. Nástroje samotné jsou zatím v angličtině, ale pro technické týmy to není překážka — ovládání je standardizované.

Vyplatí se to běžnému člověku?

Upřímně: pokud AI jen občas zkoušíte doma pro vlastní potřebu, žádné „provozní kamery“ nepotřebujete. Hodnota pozorovatelnosti nastupuje ve chvíli, kdy na modelu postavíte něco, co slouží zákazníkům — e-shopový asistent, firemní podporu nebo službu, za kterou lidé platí. Tam už se vyplatí vidět, kdy model začne vymýšlet, a hlavně kolik každá odpověď stojí. Začít se dá zdarma, a to je podle mě dobrý první krok.