Pilotní výsledky · interpretace opravena 6. září 2026
Tři testovací kategorie. Jedna omezená pilotní studie.
Stejných 20 čistých syntetických svítidel, dekódovaných třikrát na jízdním pruhu na jednom M1 Max MacBook Pro pomocí Yaps 2.3.2129. Core ML Parakeet a Whisper Base jsou konfigurace modelu uvnitř Yaps, ne konkurenční produkty.
01 · Souhrnný záznam
Rozpoznání s místním čištěním, měřeno společně.
Yaps syntetický pilot pro opakování přípravku. Nižší hodnoty WER, míry mazání a latence naznačují méně chyb nebo kratší dobu zpracování v rámci tohoto konkrétního nastavení běhu; nejsou to hodnocení produktů.
Výstupní pruh Yaps}
Role
Běží
Slova, s opakováním
Mikro WER
Míra mazání
Zpracování mediánu
zpracování p95
Maximální zpracování
Core ML Parakeet + místní čištění
Vyčištění na
60
1,473
3.46%
0.41%
1,124 ms
2,807 ms
2,958 ms
Core ML Parakeet, čištění vypnuto
Čištění vypnuto
60
1,473
3.67%
0.20%
250 ms
722 ms
1,863 ms
Whisper Base, vyčištění vypnuto
Čištění vypnuto
60
1,473
6.52%
0.41%
844 ms
1,669 ms
2,189 ms
Doba zpracování zahrnuje rozpoznání, finalizaci potrubí a místní čištění, pokud je povoleno. Nezahrnuje počáteční konstrukci runtime, načítání zařízení, živé nahrávání, odesílání zkratek a vkládání kurzoru. Výstup konečného hodnotitele skóre všech drah; Čisticí pruhy mohou stále používat změny slovníku a formátování.
Latence používá 60 stejně vážených vzorků dekódování na dráhu a lineární kvantily R-7. 20 svítidel obsahuje 491 pozic referenčních slov na průchod, počítaných třikrát ve jmenovateli 1 473 slov. Opakování nejsou nezávislé výroky. Chyby na hranici kvality zůstávají zahrnuty: 3 se zapnutým čištěním Core ML, 3 s vypnutým čištěním Core ML a 6 s Whisper.
„Micro“ znamená, že počty editovacích operací a referenční slova byly sečteny před výpočtem každé míry. Není to makro průměr procent na jednotlivé klipy.
02 · Omezené čtení
Co tyto tři řady mohou podporovat.
Čištění vypnuto
Odpovídající konfigurace čištění
Whisper Base s vypnutým čištěním měl o 2,85 procentního bodu vyšší WER, o 0,20 bodu vyšší míru smazání, o 595 ms vyšší medián a o 947 ms vyšší p95 než Core ML Parakeet s vypnutým čištěním v těchto srovnatelných pilotních bězích.
Dráha s povoleným čištěním
Rozpoznávání a čištění dohromady
Pruh s povoleným čištěním Core ML zahrnuje místní sémantické čištění. Jeho medián 1 124 ms a p95 2 807 ms společně popisují rozpoznání a finalizaci před vložením do jiné aplikace.
Co fungovalo
Publikační pipeline
Sanitizér zachoval počty a prodlevu, přičemž vynechal přepisy, odkazy, výzvy a kontext aplikace. Integrita veřejných souborů je zaznamenána pomocí SHA-256 kontrolních součtů.
Co zůstává
Důkazy z benchmarků
Lidská řeč, různé přízvuky a jazyky, živý záznam mikrofonu, řízený tepelný pořádek, sledování sítě, více zařízení a systémy třetích stran jsou stále potřebné.
03 · Explicitní výjimky
Co tento pilot neukazuje.
Srovnávací výkon v porovnání s jakýmkoli jiným produktem.
Výkon při lidské řeči, přízvucích nebo vícejazyčné řeči.
Chování živého mikrofonu, odšumění, brána ticha, první slovo nebo vyprázdnění konce.
Výkon při studeném versus teplém stavu pod kontrolovaným tepelným protokolem.
Offline nebo chování souvisejícís ochranou soukromí zjištěné prostřednictvím sledování sítě.
Obecné tvrzení, že jedna surová nebo očištěná konfigurace je lepší.
Korpus, matice zařízení, pořadí a tepelný postup nebyly předem registrovány. Tyto pozorování popisují tyto sekvenční běhy, na tomto korpusu, zařízení, verzi softwaru a datu.