AI, která jen rozhoduje, běží desetkrát rychleji. OpenAI ji pustila všem

Jak rozhodovací model funguje

Klasický velký jazykový model, jako je GPT‑6 Luna nebo Gemini, generuje odpověď po tokenech, tedy po malých kouscích slov. Každý token je jeden krok výpočtu, a čím delší odpověď, tím víc času a peněz. Rozhodovací model jde opačným směrem: dostane otázku a pevnou sadu možných odpovědí, vybere jednu a ke každé variantě připojí pravděpodobnost. Nic nevysvětluje, takže je výsledek rychlý a levný.

OpenAI to vzala zkrátka. Místo trénování speciálního modelu upravila GPT‑6 Luna, aby odpovídal rychleji a levněji. „Hlavní zlom je rychlost, z jedné až tří vteřin jsme se dostali na 100 až 180 milisekund," řekl serveru TechCrunch Nikunj Handa, produktový šéf API OpenAI.

API nabízí tři typy odpovědi: predicate (pravděpodobnost, že je tvrzení pravdivé, číslo od 0 do 1), choice (výběr jedné z předdefinovaných možností včetně jistoty) a score (hodnocení na stupnici). Vývojář dostane strukturované číslo místo volného textu, který by musel dál zpracovávat.

Rychlost a cena

Rozhodují dvě čísla. Decisions API stojí 0,10 dolaru za milion vstupních tokenů, kešovaný vstup vyjde na 0,01 dolaru. Za výstupní tokeny se neplatí nic, protože model žádný text nevrací, jen číslo a pravděpodobnost. Účet je tak pevně daný vstupem, na rozdíl od velkých modelů, které si účtují vstup i výstup a s každou delší odpovědí zdražují.

Úspory dokládají první zákazníci. Firma Ramp uvádí, že přiřazování nákladů na AI práci zrychlil Decisions API čtyřikrát a zlevnil o 30 procent. Sierra hlásí odezvu pod 280 milisekund, asi třikrát rychleji a s 90procentním poklesem ceny za jedno volání. Datadog naměřil u takzvaného p95 40krát rychlejší odezvu než u dostupných špičkových modelů.

Souboj s Jevem a žebříčky

Kategorie vznikla letos. TypeSafe, startup založený bývalým výzkumníkem OpenAI, vytvořil model Jev a během pár týdnů ho investoři ohodnotili na 7,6 miliardy dolarů. Jev funguje jako superklasifikátor: dostane možnosti, rychle vybere a udá jistotu. Vývojáři zjistili, že takový model v řadě workflow nahradí plnohodnotné LLM, protože je rychlejší a výrazně levnější. Zprávu o rozšíření Decisions API převzal také NewsBreak.

V žebříčcích ale OpenAI nevede. Podle indexů AIM System One a Artificial Analysis Decision Index zatím dominují D1 Ultra od Liquid AI a Elephant‑1 od Base Lab. Nejnovější Jev je v nich sedmý a třetí, rozhodovací model OpenAI osmý a čtrnáctý. TypeSafe podle OpenRouteru zůstává nejvytíženější. Jeho šéf Diogo Almeida benchmarkům nevěří a radí testovat modely na vlastní práci.

Hlas a obraz

Do veřejné verze OpenAI přidala i hlas a obraz. Decisions API se napojuje na GPT‑Live, takže hlasový asistent může během konverzace v milisekundách rozhodnout, jestli se doptat, přesměrovat požadavek, nebo věc eskalovat. Speak, který staví AI lektory jazyků, zkrátil dobu mezi akcemi z 1,4 sekundy na 0,13 sekundy. U obrazu má Luna podle Handa silnou kalibraci, takže OpenAI sází i na klasifikaci obrázků.

Dostupnost a český kontext

Pro české firmy je podstatné, že OpenAI nabízí zpracování dat v EU i v USA. Jde o API, ne spotřebitelskou aplikaci, takže se netýká běžného chatování, ale integrací v podnikových systémech a agenty. Pro vybrané zákazníky je dostupné Zero Data Retention, tedy zpracování bez uchovávání obsahu vstupů. To hraje roli u citlivých dat a požadavků GDPR.

Zatím se neví, co přesně dělá rozhodovací model dobrým. Podle TechCrunchu jde o optimalizaci mezi inteligencí, cenou, kalibrací a rychlostí a ta se liší podle typu úlohy. Handa naznačuje, že při odezvě okolo 60 milisekund by šlo model volat pro každý snímek videa.