Shrnutí v bodech
- Cloudflare vydal modely Clef a Clef-flash pod otevřenou licencí Apache 2.0.
- Místo generování textu slouží jako rozhodovací vrstva, která vrací strukturované pravděpodobnosti.
- Modely vedou v žebříčku Jev Decision Index a jsou plně kompatibilní s rozhraním Jev API.
- Spolu s modely Cloudflare spustil platformu pro zpětnovazební ladění (RL fine-tuning).
Drahý zvyk: ptát se velkého modelu na jednoduché ano či ne
Když dnes vývojáři staví autonomní systémy, často narážejí na stejný nešvar. Pokud potřebují zjistit, zda je zákaznický požadavek urgentní, do jaké kategorie zařadit příchozí dokument nebo zda má agent pokračovat v dalším kroku, pošlou celou zprávu do velkého jazykového modelu typu GPT nebo Claude.
To s sebou nese dvě hlavní nevýhody. Za prvé je to drahé, protože každý dotaz spotřebovává stovky vstupních i výstupních tokenů. Za druhé je to pomalé a nespolehlivé: velký jazykový model generuje volný text, může halucinovat nebo se odchýlit od požadovaného formátu, což následně rozbije navazující programovou logiku.
Rozhodovací modely: rychlost, nízká cena a čísla místo slov
Společnost Cloudflare představila alternativní přístup v podobě dvou specializovaných modelů: Clef a odlehčeného Clef-flash. Tyto systémy patří do kategorie takzvaných rozhodovacích modelů (decision models). Místo generování vět či odstavců přijmou libovolný vstup a vrátí přesně definované pravděpodobnosti jednotlivých voleb.
Kód aplikace tak nedostane ukecanou odpověď, ale například informaci, že požadavek spadá do technické podpory s pravděpodobností 94 procent a vyžaduje okamžitý zásah s pravděpodobností 88 procent. Tyto hodnoty lze přímo v kódu vyhodnotit běžnou podmínkou bez nutnosti parsovat nespolehlivý textový výstup.
Otevřená licence Apache 2.0 a ladění na míru
Podle oficiálního oznámení Cloudflare modely Clef v současnosti vedou v benchmarku Jev Decision Index, kde porážejí dosavadní specializované klasifikátory v přesnosti i latenci. Modely jsou navíc plně kompatibilní s rozhraním Jev API, což usnadňuje jejich začlenění do existujících projektů.
Zajímavá je i licenční politika. Cloudflare uvolnil váhy obou modelů na platformě Hugging Face pod licencí Apache 2.0. Vývojáři je mohou provozovat zcela zdarma na vlastním hardwaru, případně využít hostovanou infrastrukturu Workers AI. Společnost navíc otevřela nástroj pro dolaďování pomocí zpětné vazby (RL fine-tuning), díky kterému si firmy mohou model doučit na vlastních interních datech.
Kalkulačka nákladů: kolik stojí sto tisíc rozhodnutí
Ekonomický rozdíl nejlépe ilustrují konkrétní čísla. Pokud vývojářský tým provozuje systém zákaznické podpory a posílá sto tisíc příchozích zpráv měsíčně do velkého jazykového modelu kvůli prostému roztřídění, zaplatí na vstupech a výstupech desítky až stovky dolarů podle použitého modelu a délky kontextu. Při škálování na miliony operací denně se z takové položky stává neudržitelný náklad.
Rozhodovací modely jako Clef vyžadují zlomek výpočetního výkonu. Při běhu na serverless platformě Workers AI nebo na vlastním menším GPU serveru klesají náklady na zlomek centu za tisíc volání. Latence se přitom zkracuje z několika sekund na jednotky milisekund, což umožňuje nasazení rozhodovací logiky v reálném čase přímo do webových a mobilních aplikací.
Konec plýtvání tokeny v pracovních postupech agentů
V moderní architektuře agentů se tak začíná prosazovat hierarchické dělení práce. Rutinní třídění, bezpečnostní filtry a směrování úkolů přebírají bleskové a levné rozhodovací modely s minimální spotřebou zdrojů. Drahé a výpočetně náročné jazykové modely přicházejí ke slovu teprve ve chvíli, kdy je skutečně nutné tvořit složitý kód, formulovat odpověď člověku nebo řešit hlubokou analytickou úvahu.
Kde je možné modely Clef vyzkoušet?
Modely jsou dostupné na platformě Cloudflare Workers AI i ke stažení na Hugging Face pod licencí Apache 2.0.
Nahrazují rozhodovací modely běžné LLM?
Nenahrazují. Slouží jako levný a rychlý předstupeň, který řeší klasifikaci a směrování, zatímco generování textu zůstává velkým modelům.
