Pilotné výsledky · interpretácia opravená 6. septembra 2026
Tri testovacie kategórie. Jedna obmedzená pilotná štúdia.
Rovnakých 20 čistých syntetických svietidiel, dekódovaných trikrát na dráhu na jednom M1 Max MacBook Pro pomocou Yaps 2.3.2129. Core ML Parakeet a Whisper Base sú modelové konfigurácie v rámci Yaps, nie konkurenčné produkty.
01 · Súhrnný záznam
Rozpoznávanie s lokálnym čistením, merané spoločne.
Yaps syntetický pilot pre prehrávanie zariadení. Nižšie hodnoty WER, miery mazania a oneskorenia naznačujú menej chýb alebo kratší čas spracovania v tomto konkrétnom nastavení; nejde o hodnotenie produktov.
Výstupná dráha Yaps
Rola
Beží
Slová, s opakovaním
Mikro WER
Miera vymazania
Spracovanie mediánu
spracovanie p95
Maximálne spracovanie
Core ML Parakeet + miestne čistenie
Čistenie na
60
1,473
3.46%
0.41%
1,124 ms
2,807 ms
2,958 ms
Core ML Parakeet, čistenie vypnuté
Čistenie vypnuté
60
1,473
3.67%
0.20%
250 ms
722 ms
1,863 ms
Whisper Base, vyčistenie
Čistenie vypnuté
60
1,473
6.52%
0.41%
844 ms
1,669 ms
2,189 ms
Čas spracovania zahŕňa rozpoznanie, finalizáciu potrubia a lokálne čistenie, ak je povolené. Nezahŕňa počiatočnú konštrukciu runtime, načítanie zariadenia, živé nahrávanie, odosielanie skratiek a vkladanie kurzora. Výstup konečného hodnotiteľa bodujú všetky dráhy; Čistiace pruhy môžu stále uplatňovať zmeny slovnej zásoby a formátovania.
Latencia používa 60 rovnako vážených vzoriek dekódovania na dráhu a lineárne kvantily R-7. 20 zápasov obsahuje 491 pozícií referenčných slov na jeden prechod, počítaných trikrát v menovateli 1 473 slov. Opakovania nie sú nezávislé výroky. Chyby na hranici kvality zostávajú zahrnuté: 3 so zapnutým čistením Core ML, 3 s vypnutým čistením Core ML a 6 s Whisper.
„Mikro“ znamená, že sa pred výpočtom každej miery sčítali počty editačných operácií a referenčné slová. Nie je to makro priemer percent na klip.
02 · Obmedzené čítanie
Čo môžu tieto tri riadky podporiť.
Čistenie vypnuté
Zodpovedajúce konfigurácie čistenia
Whisper Base with cleanup off had 2.85 percentage points higher WER, 0.20 points higher deletion rate, a 595 ms higher median, and a 947 ms higher p95 than Core ML Parakeet with cleanup off in these matched pilot runs.
Pruh s aktivovaným čistením
Spolu Rozpoznávanie a čistenie
Pruh s povoleným čistením Core ML zahŕňa lokálne sémantické čistenie. Jeho medián 1 124 ms a p95 2 807 ms opisujú spoločné rozpoznávanie a finalizáciu pred vložením do inej aplikácie.
Čo fungovalo
Publikačný proces
Sanitizátor uchovával počty a oneskorenie, pričom vynechával prepisy, odkazy, výzvy a kontext aplikácie. Integrita verejného súboru je zaznamenaná pomocou SHA-256 kontrolných súm.
Čo zostáva
Dôkazy z benchmarku
Ľudská reč, rôzne prízvuky a jazyky, živé snímanie z mikrofónu, kontrolovaný tepelný poriadok, sieťové sledovanie, viac zariadení a systémy tretích strán sú stále potrebné.
03 · Explicitné vylúčenia
Čo tento pilot neukazuje.
Porovnávací výkon voči akémukoľvek inému produktu.
Výkon pri ľudskej reči, prízvukoch alebo viacjazyčnej reči.
Živý mikrofón, potlačenie šumu, brána ticha, správanie pri prvom slove alebo pri splývaní na konci.
Výkon v studenom a teplom stave podľa kontrolovaného tepelnému protokolu.
Offline alebo správanie súvisiace s ochranou súkromia stanovené cez pozorovanie siete.
Všeobecné tvrdenie, že jedna surová alebo upravená konfigurácia je lepšia.
Korpus, matica zariadení, poradie a tepelný postup neboli predregistrované. Tieto pozorovania popisujú tieto postupné behy, na tomto korpuse, zariadení, verzii softvéru a dátume.