Amazon vyměnil Claude za vlastní model. Zpracování ticketů zlevnilo o 98 %
Amazon u interního třídění ticketů vyměnil Claude Sonnet 4.6 za vlastní model Strands Decider. Zpracování milionu ticketů zlevnilo z 22 200 na 500 dolarů a nový model Claude v produkci překonal.
Amazon tiše provedl experiment, který hodně napoví o tom, kam směřuje praktické nasazení AI ve firmách. U interního třídění ticketů vyměnil model Claude Sonnet 4.6 od Anthropicu za vlastní, podstatně menší model Strands Decider E4B. Zpracování milionu ticketů zlevnilo z 22 200 na 500 dolarů a nový model Claude v produkci dokonce překonal.
Co přesně Amazon řešil a proč narazil na limity LLM
Amazon provozuje rozsáhlý interní systém pro správu incidentů a požadavků. Ten musí každou událost uvnitř společnosti – ať už jde o zákaznické eskalace, požadavky na navýšení výpočetní kapacity, automatická systémová varování nebo bezpečnostní incidenty – roztřídit do 20 předem daných kategorií. Tuto klasifikaci původně obstarával velký jazykový model Claude Sonnet 4.6. Jenže nasazení obřího modelu na takto úzkou úlohu ukázalo zásadní neefektivitu. Úkolem systému totiž není generovat textové odpovědi, psát kód ani tvořit obrázky. Jádrem klasifikační úlohy je čistě spočítat pravděpodobnost a přiřadit míru spolehlivosti (confidence score) pro každou z nabízených variant. Využívat univerzální velký jazykový model (LLM), který umí tvořit eseje a vést komplexní dialog, je na pouhý routing a třídění předimenzované a neúměrně drahé. Podle podrobností, které popsal server BigGo Finance s odkazem na oficiální blog nástroje Strands Agents, se proto Amazon rozhodl, že sem patří specializovaný rozhodovací model, nikoli obecný generativní gigant.Dvoukroková migrace: Jak vznikl Strands Decider E4B
Inženýři Amazonu a AWS nevytvořili konečné řešení přes noc, ale zvolili postupnou migraci ve dvou krocích:1. První nasazení základního modelu Strands Decider
Nejprve Amazon nasadil standardní verzi svého interního rozhodovacího modelu Strands Decider, který vznikl v rámci open-source sady nástrojů Strands Agents. Ta slouží vývojářům jako toolkit pro stavbu autonomních AI agentů. Standardní verze potvrdila, že úzký specialista zvládne kategorizaci rychleji a s menší režií než univerzální model.2. Vývoj a vyladění modelu E4B na bázi Gemma 4
Aby Amazon dosáhl ještě vyšší přesnosti, postavil na otevřeném základu Gemma 4 vlastní model Strands Decider E4B se 4 miliardami parametrů. Následovalo pečlivé ladění prahu spolehlivosti – tedy hranice jistoty, jakou model musí mít, než ticketu přiřadí konkrétní štítek. Díky tomuto vyladění dosáhl čtyřmiliardový model v reálném produkčním nasazení přesnosti, která původní Claude Sonnet 4.6 dokonce předčila.Čísla, která stojí za pozornost: Tokeny i servery Lambda
Výsledky přechodu na specializovaný model jsou nejlépe vidět na spotřebě tokenů. Zatímco Claude Sonnet 4.6 generoval odpovědi ve strukturovaném formátu JSON, Strands Decider E4B vrací výhradně vybranou kategorii. Tím se zásadně zkrátily i vstupní prompty. Počet vstupních tokenů na jeden ticket klesl z 6 554 na 2 009 a výstup se smrskl ze 170 tokenů na jediný.| Položka | Claude Sonnet 4.6 | Strands Decider E4B |
|---|---|---|
| Vstupní tokeny na ticket | 6 554 | 2 009 |
| Výstupní tokeny na ticket | 170 | 1 |
| Náklady na zpracování 1 milionu ticketů | 22 200 USD | 500 USD |
Poznámka: Uvedené odhady nákladů nezahrnují pouze spotřebu tokenů, ale započítávají také dobu běhu na serverless výpočetní službě AWS Lambda.
Zatímco zpracování jednoho milionu ticketů dříve vyšlo na 22 200 dolarů, se specializovaným modelem Strands Decider E4B spadly celkové náklady na pouhých 500 dolarů. To představuje pokles o celých 98 procent. Zásadní roli v této úspoře sehrála právě infrastruktura. Díky tomu, že model generuje pouze jediný výstupní token a pracuje s kratším kontextem, průměrná doba běhu na serverless platformě AWS Lambda klesla o 74 procent. Při obrovských objemech interních požadavků se kratší výpočetní čas serverless funkcí promítá do celkového účtu stejně razantně jako samotná cena za tokeny. V přepočtu na koruny klesla cena za milion ticketů zhruba ze 486 tisíc korun na necelých 11 tisíc. U firmy, která denně zpracovává statisíce požadavků, znamená taková optimalizace miliony korun ročně k dobru.SLM vs. LLM v praxi: Kdy specialista nestačí
Případ Amazonu ukazuje nový trend v podnikové architektuře AI: ústup od nasazování masivních univerzálních modelů na triviální úkony. Malé jazykové a rozhodovací modely (SLM) vynikají v routingu, filtraci spamu, třídění dokumentů nebo extrakci metadat. Spotřebují minimum energie, mají minimální latenci a lze je provozovat s nepatrnými náklady. Autoři na blogu Strands Agents však otevřeně přiznávají, že rozhodovací modely nejsou všelékem. Univerzální velké modely zůstávají nenahraditelné v těchto situacích:- když výstupní štítek vyžaduje doplňující vysvětlující text nebo odůvodnění,
- když se produktové katalogy a kategorie mění každý týden a model se nestíhá přetrénovat,
- když podstatný kontext nelze zredukovat do několika tisíc tokenů.
Co je to Strands Decider a jak souvisí s AWS?
Jde o interní rozhodovací model Amazonu navržený pro kategorizaci a volbu variant. Vznikl v rámci Strands Agents, což je open-source sada nástrojů publikovaná AWS, která slouží vývojářům ke stavbě a řízení AI agentů.
Proč se u nového modelu podařilo srazit výstup na jediný token?
Claude Sonnet 4.6 vracel odpověď jako strukturovaný JSON objekt obsahující dodatečné formátování. Strands Decider E4B je specializovaný klasifikátor, který vrací pouze identifikátor vybrané kategorie, což zkrátilo výstup na minimum a ušetřilo čas výpočetní služby AWS Lambda.
Vyplatí se malý model i pro generování zákaznických odpovědí?
Ne nutně. Rozhodovací modely jako Strands Decider jsou stavěné na klasifikaci a scoring možností. Pokud má systém generovat souvislý text, vysvětlovat kontext nebo reagovat na rychle se měnící data, velké jazykové modely (LLM) mají stále navrch.
