Bandomieji rezultatai · interpretacija taisyta 2026 m. rugsėjo 6 d.
Trys testų kategorijos. Vienas ribotas pilotinis tyrimas.
Tas pats 20 švarių sintetinių įrangos vienetų, dekoduojamų tris kartus per takelį viename M1 Max MacBook Pro naudojant Yaps 2.3.2129. Core ML Parakeet ir Whisper Base yra modelio konfigūracijos viduje Yaps, ne konkurentų produktai.
01 · Bendroji ataskaita
Atpažinimas su vietiniu valymu, matuojamas kartu.
Yaps sintetinis įrenginio pakartotinio paleidimo pilotas. Mažesni WER, trynimo lygiai ir vėlavimo reikšmės rodo mažiau klaidų arba trumpesnį apdorojimo laiką šiame tiksliajame paleidimo nustatyme; tai nėra produktų reitingai.
Yaps išėjimo juosta
Vaidmuo
Veikia
Žodžiai su pasikartojimais
Mikro WER
Ištrynimo dažnis
Medianinis apdorojimas
p95 apdorojimas
Maksimalus apdorojimas
Core ML Parakeet + vietinis valymas
Išvalymas
60
1,473
3.46%
0.41%
1,124 ms
2,807 ms
2,958 ms
Core ML Parakeet, išvalymas
Valymas išjungtas
60
1,473
3.67%
0.20%
250 ms
722 ms
1,863 ms
Whisper Base, išvalymas
Valymas išjungtas
60
1,473
6.52%
0.41%
844 ms
1,669 ms
2,189 ms
Apdorojimo laikas apima atpažinimą, vamzdyno užbaigimą ir vietinį valymą, kai įjungta. Tai neapima pradinės vykdymo trukmės konstravimo, armatūros įkėlimo, tiesioginio įrašymo, nuorodų siuntimo ir žymeklio įterpimo. Visų juostų galutinis vertintojo rezultatas; išvalytos juostos vis tiek gali pritaikyti žodyno ir formatavimo pakeitimus.
Latencija naudoja 60 vienodai svertinių dekodavimo pavyzdžių vienoje juostoje ir R-7 tiesinius kvantilius. 20 rungtynių yra 491 atskaitos žodžio pozicija per vieną praėjimą, skaičiuojama tris kartus 1 473 žodžių vardiklyje. Pakartojimai nėra savarankiški posakiai. Kokybės slenksčio gedimai išlieka įtraukti: 3 su įjungtu Core ML valymu, 3 su išjungtu Core ML valymu ir 6 su Whisper.
„Mikro“ reiškia, kad prieš skaičiuojant kiekvieną rodiklį buvo sumuojami redagavimo operacijų skaičius ir atitinkami žodžiai. Tai nėra per klipo procentų vidurkis.
02 · Ribotas skaitymas
Ką šios trys eilutės gali palaikyti.
Valymas išjungtas
Atitinkamos valymo konfigūracijos
Whisper Base be valymo turėjo 2,85 procentinio punkto didesnį WER, 0,20 punkto didesnį šalinimo rodiklį, 595 ms didesnį medianą ir 947 ms didesnį p95 nei Core ML Parakeet be valymo šiuose suderintuose bandomuosiuose paleidimuose.
Valymo juosta
Atpažinimas ir valymas kartu
Core ML valymo juosta apima vietinį semantinį valymą. Jo 1 124 ms mediana ir 2 807 ms p95 apibūdina atpažinimą ir užbaigimą kartu prieš įterpiant į kitą programą.
Kas veikė
Leidimo duomenų srautas
Sanitaras išlaikė skaičius ir uždelsimą, tuo pat metu neįtraukiant transkriptų, nuorodų, nurodymų ir programos konteksto. Viešojo failo vientisumas yra įrašomas naudojant SHA-256 santrauką.
Kas lieka
Etalono įrodymai
Žmogaus kalba, keli akcentai ir kalbos, tiesioginis mikrofono fiksavimas, valdomas terminis užsakymas, tinklo stebėjimas, daugiau įrenginių ir trečiųjų šalių sistemos vis dar reikalingi.
03 · Aiškios išimtys
Ko šis piloto projektas nerodo.
Palyginamas veikimas su bet kuriuo kitu produktu.
Veikimas kalbant žmogaus kalba, akcentais arba daugiakalbe kalba.
Gyvas mikrofonas, triukšmo mažinimas, tylos vartai, pirmojo žodžio ar pabaigos ištrynimo elgsena.
Šalto ir šilto veikimas kontroliuojamoje temperatūros aplinkoje.
Vietinis ar privatumo elgesys, nustatytas stebint tinklą.
Bendras pareiškimas, kad viena žalia arba išvalyta konfigūracija yra geresnė.
Korpusas, įrenginio matrica, užsakymas ir terminė procedūra nebuvo iš anksto registruoti. Šie stebėjimai aprašo šiuos sekos veiksmus, šiuo korpusu, įrenginiu, programinės įrangos versija ir data.