Mluv česky. Přepis → typované rozhodnutí → akce. Bez generování textu, jeden průchod enkodérem.
připojuji…
–ms
–round-trip
–medián
–min
0rozhodnutí
Závod: poslední rozhodnutí
laya · lokálně
táž laya na MacBooku M4 (MPS)
generativní LLM přes API
Oranžový pruh běží přesně tolik ms, kolik trvalo tohle rozhodnutí. Modrý je naměřená hodnota téhož
modelu a téhož schématu na MacBooku M4 přes MPS — tenhle server jede na 4 vCPU bez GPU, a to je na encoderu
rozdíl zhruba 5–10×. Šedý pruh je ilustrační referenční hodnota 800 ms pro generativní LLM API, ne měření.
Třídírna · poznámky zákazníků padají do skluzů
0🥂 křehké
0❄️ chlazené
0🎁 dárkové
0⚡ expres
–zásilek / s
–rozhodnutí / s
–medián ms
–celkem ms
–tentýž nápor přes LLM API*
Data · každá zásilka a jak ji model vyhodnotil
#
Poznámka (vstup)
Skluz
Rozdělení pravděpodobností
conf
noul zásah
ms
Spusť nápor a data se objeví tady. Klikni na řádek pro celou odpověď modelu.
*Sloupec s LLM je přepočet referenčních 800 ms na zásilku — ilustrace, ne měření.
Histogram ukazuje skutečnou latenci jednotlivých rozhodnutí v pořadí, jak proběhla.
Kliknutím na řádek rozbalíš surovou odpověď modelu včetně všech pravděpodobností.
Autíčko · jede pomalu pořád dopředu, ty ho jen natáčíš
🚗
Řekni „doleva“ nebo „doprava“ — auto se otočí o 90°. „Zastav“ zabrzdí, „jeď“ zase rozjede.
choice · manévr
Tady není brána „je to povel?“. Zkusil jsem ji a na téhle úloze
nerozlišovala: na skutečných povelech klesala až na 0,06, na běžné konverzaci stoupala na 0,33 — žádný práh je
neodděluje. Radši pryč než předstírat, že funguje — ve třídírně vedle stejný typ otázky (zásah skladníka) drží.
0°natočení
0px / s
–povel → akce
Záznam
Auto jede samo rychlostí 70 px/s, u kraje projede na druhou stranu.
Aby reakce nedrhla, nečeká se na konec věty: rozhodnutí se pouští už z průběžného přepisu prohlížeče,
protože ten finální přijde až po pauze v řeči, klidně o sekundu později. Průběžný přepis se ale nejdřív nechá 200 ms ustálit a v rámci jedné věty se stejný text
pustí jen jednou, jinak by se z jednoho „vlevo“ otočilo dvakrát. Když během počítání řekneš další povel,
zařadí se a zahodí se jen ten mezitím zastaralý. Údaj povel → akce je celý řetězec včetně sítě, ne jen model.
Fotka · vyber ukázku, nahraj vlastní, vlož ze schránky (⌘V) nebo zapni kameru
Přetáhni sem fotku nebo klikni na ukázku dole
Kam šel čas · –
– zakódování fotky– otázky– round-trip– snímků/s
Odpovědi
Vyber fotku vlevo.
Zeptej se sám · anglicky
Model thaitea/laya-vision (201M, SmolVLM-256M zkrácený na 20 vrstev) je nezávislý fork Layi,
ne od jejích autorů. Odpovídá stejně jako textová Laya: typovaně a jedním průchodem, bez generování textu.
Drahé je jen zakódování fotky (vision tower nad 512px dlaždicí, modrá část pruhu). Server ho drží v cache,
takže další otázky na tutéž fotku už stojí jen průchod jazykovou částí (oranžová). To nejlíp ukáže
„Zeptej se sám“. Model rozumí jen anglicky, české jsou popisky. Váhy jsou pod licencí CC BY-NC-SA 4.0,
tedy jen pro nekomerční použití. Fotky se nikam neukládají, drží se jen v paměti serveru kvůli cache.
Poctivá poznámka ke kvalitě: model běží zero-shot, bez dotrénování. Naměřeno na těchto schématech:
skluzy ve třídírně ~75 %, manévry auta ~75 % (12/16). Když sáhne vedle, uvidíš to na pruzích
pravděpodobností — a ne vždy to pozná i podle nízké confidence. Demo ukazuje latenci, ne přesnost.