Kísérleti eredmények · értelmezés javítva 2026. szeptember 6.
Három tesztkategória. Egy korlátozott pilot tanulmány.
Ugyanaz a 20 tiszta szintetikus lámpatest, sávonként háromszor dekódolva egy M1 Max MacBook Pro segítségével Yaps 2.3.2129. A Core ML Parakeet és Whisper Base a Yaps-on belüli modellkonfigurációk, nem a versenytárs termékek.
01 · Összesített feljegyzés
Felismerés helyi tisztítással, együtt mérve.
Yaps szintetikus eszköz-visszajátszó pilot. Az alacsonyabb WER, törlési arány és késleltetési értékek kevesebb hibát vagy rövidebb feldolgozási időt jeleznek ezen az adott futtatási beállításon belül; ezek nem termék rangsorok.
Yaps kimeneti sáv
Szerep
Fut
Szavak, ismétlésekkel
Mikro WER
Törlési arány
Medián feldolgozás
p95 feldolgozás
Maximális feldolgozás
Core ML Parakeet + helyi tisztítás
Tisztítás itt:
60
1,473
3.46%
0.41%
1,124 ms
2,807 ms
2,958 ms
Core ML Parakeet, takarítás ki
Tisztítás kikapcsolva
60
1,473
3.67%
0.20%
250 ms
722 ms
1,863 ms
Whisper Base, tisztítás ki
Tisztítás kikapcsolva
60
1,473
6.52%
0.41%
844 ms
1,669 ms
2,189 ms
A feldolgozási idő magában foglalja a felismerést, a folyamat lezárását és a helyi tisztítást, ha engedélyezve van. Nem tartalmazza a kezdeti futásidejű felépítést, a fixture betöltését, az élő felvételt, a parancsikonok küldését és a kurzor beillesztését. Az összes sáv pontszáma a végső értékelő kimenete; A cleanup-off sávok továbbra is alkalmazhatják a szókincs és a formázás módosításait.
A Latency sávonként 60 egyenlő súlyú dekódolási mintát és R-7 lineáris kvantiust használ. A 20 összeállítás 491 referenciaszó-pozíciót tartalmaz átadásonként, háromszor számolva az 1473 szavas nevezőben. Az ismétlések nem független megnyilatkozások. A minőségi küszöbértékkel kapcsolatos hibák továbbra is szerepelnek: 3 a Core ML tisztítás bekapcsolt állapotában, 3 a Core ML tisztítása kikapcsolt és 6 a Whisper.
A „Micro” azt jelenti, hogy a szerkesztési műveletek számát és a referencia szavakat összegezték, mielőtt kiszámították volna az egyes arányokat. Ez nem a klipekre vonatkozó százalékok makroátlaga.
02 · Korlátozott olvasás
Mit tudnak támogatni ezek a három sor
Tisztítás kikapcsolva
Egyező tisztítási konfigurációk
Az Whisper Base tisztítás nélkül 2,85 százalékponttal magasabb WER-et, 0,20 ponttal magasabb törlési arányt, 595 ms-mal magasabb mediánt és 947 ms-mal magasabb p95-öt ért el, mint az Core ML Parakeet tisztítás nélkül a párosított kísérleti futtatásokban.
Tisztításra alkalmas sáv
Felismerés és tisztítás együtt
A Core ML tisztítást engedélyező sáv helyi szemantikai tisztítást tartalmaz. A medián 1124 ms és a p95 2807 ms a felismerést és a véglegesítést együtt írja le, egy másik alkalmazásba való beillesztés előtt.
Mi működött
Közzétételi folyamat
A tisztító megőrizte a számokat és a késleltetést, miközben kizárta a leiratokat, hivatkozásokat, kéréseket és az alkalmazás kontextusát. A nyilvános fájl integritását SHA-256 összeggel rögzítik.
Mi marad
Benchmark bizonyíték
Az emberi beszéd, többféle akcentus és nyelv, élő mikrofonfelvétel, szabályozott hőmérsékleti sorrend, hálózati megfigyelés, több eszköz és harmadik fél rendszerei továbbra is szükségesek.
03 · Kifejezett kizárások
Mit nem mutat ez a próba
Összehasonlító teljesítmény bármely más termékkel szemben.
Teljesítmény emberi beszéden, akcentusokon vagy többnyelvű beszéden.
Élő mikrofon, zajszűrés, némítókapu, első szó, vagy vég-simítás viselkedés.
Hideg és meleg teljesítmény kontrollált hőmérsékleti protokoll alatt.
Offline vagy adatvédelmi viselkedés, amelyet hálózati megfigyelés alapján állapítanak meg.
Általános állítás, hogy egy nyers vagy tisztított konfiguráció jobb.
A korpusz, az eszközmátrix, a sorrend és a hőkezelési eljárás nem volt előzetesen regisztrálva. Ezek a megfigyelések ezeket a szekvenciális futásokat írják le, ezen a korpuszon, eszközön, szoftververzión és dátumon.