Jeden sloupec, který rozhoduje
Graf sepsal uživatel 0xIlyy a v prvním sloupci staví vedle sebe hardwar, druhý sloupec udává, kolik dat za sekundu zvládne čip načíst z vlastní paměti. Čelní pozice patří profesionálnímu čipu RTX PRO 6000 Blackwell s 96 GB, který dosahuje 1 792 GB/s. Stejné číslo sdílí i herní RTX 5090 s 32 GB, což je zajímavé, protože ta druhá karta stojí podstatně méně. Potom přichází další: GeForce RTX 4090 (1 008 GB/s), Radeon RX 7900 XTX (960 GB/s), Radeon PRO W7900 (864 GB/s), Mac Studio s M3 Ultra (až 819 GB/s), Radeon AI PRO R9700 (640 GB/s), MacBook Pro s M5 Max (460–614 GB/s), Intel Arc Pro B65 (~608 GB/s), Tenstorrent Wormhole n300 (576 GB/s) i Blackhole p150 (512 GB/s plus 800 GbE připojení), Arc Pro B60 (~456 GB/s) a MacBook Pro s M5 Pro (307 GB/s). A pak přestřel. Na dně grafu leží DGX Spark s 128 GB za 273 GB/s a Mac mini s M4 Pro rovněž za 273 GB/s.
Proč právě propustnost, ne počet jader
Při generování textu model píše výstup jedno token za druhým. A při každém tokenu musí čip přečíst z paměti prakticky celé váhy modelu. Počítací výkon čipu (ty FLOPS a TOPS, které výrobci rádi tisknou do titulku) v tu chvíli skoro nehraje — rozhoduje to, jak rychle se data dostanou k jádru. Tohle se dá i spočítat. Model o 70 miliardách parametrů, zkvalitněný na čtyři bity, váží v paměti zhruba 40 gigabajtů. Rozdělte propustnost paměti touhle hodnotou a dostanete horní hranici rychlosti generování. Z 273 GB/s vyjde kolem sedmi tokenů za sekundu. Z 1 792 GB/s kolem 45. Nejde o naměřenou rychlost, ale o strop, kterého se v reálném provozu ani nedostanete — v praxi přibude KV cache a další ztráty. Přesto je poměr 6,5krát přesně ten, který vidíte v nezávislých testech: profesionální karta generuje tokeny šestinásobně rychleji než Spark.
Proč tedy Spark vůbec existuje
Tady se to zdá být nesmysl. Zaplatit za box, který je v rychlosti na dně žebříčku. Odpověď je v druhém sloupci, který graf v pozadí naznačuje, ale neukazuje: kapacitě paměti. Spark má 128 GB paměti v jednom kompaktním těle o rozměrech knížky. Dvě tyto krabičky spustí lokálně i DeepSeek V4 Flash. RTX PRO 6000 má 96 GB, ale je to karta na stacionárku s příkonem 600 watů. RTX 5090 má jen 32 GB, což na větší modely nestačí. Spark tak dokáže spustit modely, které se na herní karty vůbec nevejdou, a přitom běží na CUDA stacku, který v AI světě zůstává jedničkou. Víc Sparků se navíc dá propojit. Dva kusy přes ConnectX-7 na 200 gigabitů zvládají společně modely do 405 miliard parametrů. Jen pozor — kapacitu to sice rozšíří, rychlost generování se tím nezrychlí, protože každé jádro pořád čte z vlastní pomalé paměti.
Co to znamená pro vás
Ceny v Česku to ilustrují lépe než jakýkoliv graf. Spark je na Alze 139 990 Kč a je určen jen pro firmy a školy — běžný uživatel se k němu nemá. RTX 5090 za podobnou sumu sice běží rychle, ale 32 GB paměti vám velkou část moderních modelů z cloudu nespustí. Mac Studio s M3 Ultra má naopak až 512 GB paměti a propustnost 819 GB/s, což je kompromis mezi Sparkem a profesionální kartou, jenže 512GB varianta - to není zrovna levná hračka. Proč tedy, když už je Spark pomalý, se na něj sáhnout? Protože je to nejlevnější způsob, jak si ověřit, jaký workload vůbec potřebujete, než do něj hodíte desítky, vlastně stovky tisíc. Jeden až dva uživatelé, kteří chtějí mít model pod kontrolou a bez placeného rozhraní, ho zvládnou bez potíží. V testech na něm běžely open-source modely a nahradily placené kódovací asistenty. Ale pro firmu, kde na modelu současně řádí patnáct lidí, nebo pro práci s dlouhými dokumenty, je to slepá ulička. Sdílená propustnost paměti se pod zátěží rozdělí a rychlost klesne na úroveň čekárny. Tady už musí být něco rychlejšího.
