Mluv česky. Přepis → typované rozhodnutí → akce. Bez generování textu, jeden průchod enkodérem.
připojuji…
–ms
–round-trip
–medián
–min
0rozhodnutí
Závod: poslední rozhodnutí
laya · lokálně
táž laya na MacBooku M4 (MPS)
generativní LLM přes API
Oranžový pruh běží přesně tolik ms, kolik trvalo tohle rozhodnutí. Modrý je naměřená hodnota téhož
modelu a téhož schématu na MacBooku M4 přes MPS — tenhle server jede na 4 vCPU bez GPU, a to je na encoderu
rozdíl zhruba 5–10×. Šedý pruh je ilustrační referenční hodnota 800 ms pro generativní LLM API, ne měření.
Třídírna · poznámky zákazníků padají do skluzů
0🥂 křehké
0❄️ chlazené
0🎁 dárkové
0⚡ expres
–zásilek / s
–rozhodnutí / s
–medián ms
–celkem ms
–tentýž nápor přes LLM API*
Data · každá zásilka a jak ji model vyhodnotil
#
Poznámka (vstup)
Skluz
Rozdělení pravděpodobností
conf
noul zásah
ms
Spusť nápor a data se objeví tady. Klikni na řádek pro celou odpověď modelu.
*Sloupec s LLM je přepočet referenčních 800 ms na zásilku — ilustrace, ne měření.
Histogram ukazuje skutečnou latenci jednotlivých rozhodnutí v pořadí, jak proběhla.
Kliknutím na řádek rozbalíš surovou odpověď modelu včetně všech pravděpodobností.
Autíčko · jede pomalu pořád dopředu, ty ho jen natáčíš
🚗
Řekni „doleva“ nebo „doprava“ — auto se otočí o 90°. „Zastav“ zabrzdí, „jeď“ zase rozjede.
choice · manévr
Tady není brána „je to povel?“. Zkusil jsem ji a na téhle úloze
nerozlišovala: na skutečných povelech klesala až na 0,06, na běžné konverzaci stoupala na 0,33 — žádný práh je
neodděluje. Radši pryč než předstírat, že funguje — ve třídírně vedle stejný typ otázky (zásah skladníka) drží.
0°natočení
0px / s
–povel → akce
Záznam
Auto jede samo rychlostí 70 px/s, u kraje projede na druhou stranu.
Aby reakce nedrhla, nečeká se na konec věty: rozhodnutí se pouští už z průběžného přepisu prohlížeče,
protože ten finální přijde až po pauze v řeči, klidně o sekundu později. Průběžný přepis se ale nejdřív nechá 200 ms ustálit a v rámci jedné věty se stejný text
pustí jen jednou, jinak by se z jednoho „vlevo“ otočilo dvakrát. Když během počítání řekneš další povel,
zařadí se a zahodí se jen ten mezitím zastaralý. Údaj povel → akce je celý řetězec včetně sítě, ne jen model.
Poctivá poznámka ke kvalitě: model běží zero-shot, bez dotrénování. Naměřeno na těchto schématech:
skluzy ve třídírně ~75 %, manévry auta ~75 % (12/16). Když sáhne vedle, uvidíš to na pruzích
pravděpodobností — a ne vždy to pozná i podle nízké confidence. Demo ukazuje latenci, ne přesnost.