Čísla, která dávají smysl až ve velkém měřítku
Nejdřív krátké vysvětlení, co je token. Velké jazykové modely text nespotřebovávají po písmenech, ale po malých kusech — token je zhruba část slova. Čtyři písmena anglického textu obvykle odpovídají jednomu tokenu. A když čtete, že AT&T zpracuje 45 miliard tokenů denně, znamená to, že jejich interní platforma Ask AT&T každý den projede objem textu, který si běžný uživatel těžko představí.
Přepočítejme si to: 45 miliard tokenů denně je ročně zhruba 16,4 bilionu tokenů. U komerčních modelů se platí řádově jednotky až desítky dolarů za milion tokenů (podle konkrétního modelu a poměru vstup/výstup). Když to celé běží na placených modelech od Anthropicu nebo OpenAI, bavíme se podle vyjádření firmy o částce v řádu stovek milionů dolarů ročně. Přesnou cifru AT&T nezveřejnila, ale pořád je to dost peněz na to, aby stálo za to hledat levnější cestu.
Proto dává smysl, že firma přešla do protiútoku na vlastním účtu za AI. Podle šéfa dat a AI Andyho Markuse (Chief Data & AI Officer), který situaci popsal pro The Wall Street Journal, je cílem udržet výdaje na modely od Anthropicu a OpenAI v dalších letech zhruba na dnešní úrovni — a to i přesto, že objem využití dál roste. Jinými slovy: víc práce, stejný účet.
Jak funguje „model routing“ — triáž pro AI dotazy
Klíč k celé úspoře se jmenuje Lite LLM. Je to směrovač, který funguje jako triáž na pohotovosti nebo jako dispečink taxislužby: každý příchozí dotaz vyhodnotí podle náročnosti, očekávané kvality, ceny a rychlosti a pak ho pošle tomu nejlevnějšímu modelu, který úlohu spolehlivě zvládne. Na jednoduché shrnutí textu nemusí vyjíždět ten nejdražší model — stejně jako na krátkou cestu přes město nemusíte objednávat limuzínu.
Výsledek? U špičkových programátorských úloh, jako je generování kódu, klesly náklady až o 56 %, zatímco kvalita výstupu se podle Markuse zhoršila jen o 2 %. Jiné úlohy, hlavně ty rutinní a masově opakované, vycházejí na open-source modelech ještě levněji — u některých typů úloh se mluví o úspoře až 90 % oproti komerčním modelům.
Brána navíc umí přepnout model i uprostřed vícetahové konverzace. Když se ukáže, že původně zvolený model na konkrétní úkol nestačí, systém sáhne po schopnějším. Přesně tohle AT&T popsalo v blogu o „tokenomice“.
Co AT&T vlastně používá
Není to jen jeden model, ale celá sada open-weight modelů, které si firma může stáhnout, spustit a upravovat sama. V portfoliu jsou tři velká jména:
| Model | Autor | Proč AT&T zaujal |
|---|---|---|
| Nemotron | Nvidia | špička mezi otevřenými modely, laděná i pro podnikové úlohy |
| Llama | Meta | nejznámější otevřená rodina modelů, široká komunita |
| Gemma | kompaktní modely vhodné pro rutinní a levné úlohy |
Důležité je slovo open-weight. Znamená to, že váhy (tedy „nastavení mozku“ modelu) jsou volně ke stažení a firma je může provozovat na vlastní infrastruktuře. Část inferencí AT&T běží ve vlastních datacentrech na čipech Nvidia a AMD — což je podle Markuse často levnější než pronájem výpočetního výkonu v cloudu. Zároveň tím firmě zůstává plná kontrola nad tím, kam data tečou.
Kde open-source modely pořád nestačí
Bylo by naivní tvrdit, že otevřené modely úplně nahradí Claude nebo GPT. Markus sám přiznává, že open-source modely za komerční špičkou zaostávají o 6 až 10 měsíců — ačkoliv se tenhle odstup postupně zmenšuje. Nejtěžší úkoly, hlavně komplexní programování a složité uvažování, dál jezdí na placených modelech od Anthropicu a OpenAI.
Výsledkem je hybridní strategie: drahý model tam, kde se vyplatí, a levný open-source model na všechno ostatní. Vývojáři AT&T si navíc můžou vybírat vlastní nástroje — od GitHub Copilotu přes Devin a Claude Code až po Codex — ale podléhají výdajovým stropům. Což je vlastně elegantní pojistka: lidi mají svobodu, firma má rozpočet pod kontrolou.
Proč na tom záleží i v Česku
Na první pohled jde o amerického operátora, ale princip je přenositelný úplně kamkoliv — včetně českých firem. Modely Llama a Gemma si dnes stáhne kdokoliv a spustí je na vlastním serveru nebo v evropském cloudu. Pro firmy, které řeší GDPR nebo evropský AI Act, je to zásadní: data nemusí opustit vlastní infrastrukturu, takže odpadá riziko posílání citlivých údajů k třetí straně.
Navíc Llama i Gemma umí česky, takže na rutinní úkoly — shrnutí e-mailů, přepis schůzek, odpovídání na opakované dotazy — se dají nasadit i v českém prostředí bez jazykové bariéry. AT&T tyhle modely používá přesně na tohle: zaměstnanci se ptají na HR politiky, prodejci si nechávají přepisovat a shrnovat hovory se zákazníky a podpora si v reálném čase vytahuje podklady. Firma eviduje přes tisíc interních AI nasazení a tvrdí, že se jí investice vrátí pětinásobně do roka.
Co to znamená pro Anthropic a OpenAI
Pro velké AI laboratoře je AT&T varovný signál. Anthropic sice jede na vlně — v posledním čtvrtletí vykázal tržby 11,5 miliardy dolarů, čtrnáctinásobek oproti předchozímu roku, a připravuje IPO, které by podle Bloombergu mohlo dorovnat rekordní 75miliardový vstup SpaceX na burzu. Jenže i ti nejvěrnější zákazníci začínají zjišťovat, že na každou úlohu nepotřebují ten nejdražší model.
A do toho se tlačí levné čínské open-source modely za zlomek ceny. Podle analýzy, ze které vychází i Goldman Sachs, se konkurence přesouvá od otázky „kdo má nejchytřejší model“ k otázce „kdo nabídne nejlepší poměr ceny a výkonu“. A v téhle disciplíně open-source vyhrává bod za bodem.
Pro běžného uživatele to má jeden příjemný důsledek: když firmy jako AT&T začnou hromadně přecházet na levnější modely, vytváří to tlak na ceny i u komerčních služeb. Claude a GPT nezmizí, ale jejich výrobci budou muset víc dokazovat, proč se za ně vyplatí platit.
Kolik AT&T reálně ušetří?
Firma přesnou částku nezveřejnila, jen to, že při plném provozu na komerčních modelech by šlo o řád stovek milionů dolarů ročně. Konkrétní doložená čísla: až 56% úspora u programátorských úloh s poklesem kvality jen o 2 % a u některých typů úloh až 90% úspora oproti komerčním modelům.
Jsou open-source modely stejně kvalitní jako Claude nebo GPT?
Ne na všechno. Podle Andyho Markuse zaostávají za komerční špičkou zhruba o 6 až 10 měsíců a na nejsložitější úkoly se dál používají placené modely. Na rutinní a masově opakované úlohy — shrnování, přepis, třídění — ale často stačí a jsou výrazně levnější.
Může si podobný přístup dovolit i malá česká firma?
Ano, v menším měřítku. Modely Llama a Gemma jsou volně ke stažení a umí česky. Malá firma je může spustit na vlastním serveru nebo v evropském cloudu, čímž získá kontrolu nad daty (důležité kvůli GDPR a AI Actu). Rozdíl je v tom, že bez vlastního vývojového týmu je náročnější postavit směrovač typu Lite LLM, který by dotazy automaticky rozděloval mezi modely.
