Rezultati pilota · interpretacija popravljena 6. september 2026
Tri testne kategorije. Ena omejena pilotna študija.
Istih 20 čistih sintetičnih napeljav, dekodiranih trikrat na stezo na enem M1 Max MacBook Pro z uporabo Yaps 2.3.2129. Core ML Parakeet in Whisper Base sta konfiguraciji modela znotraj Yaps, ne konkurenčni izdelki.
01 · Agregiran zapis
Prepoznavanje z lokalnim čiščenjem, merjeno skupaj.
Yaps sintetični pilot za ponovni posnetek v napravi. Nižje vrednosti WER, stopnje brisanja in zakasnitve kažejo na manj napak ali krajši čas obdelave v tej natančni nastavitvi; niso ocene izdelkov.
Yaps izhodna steza
Vloga
Teče
Besede, s ponovitvami
Mikro WER
Stopnja izbrisa
Povprečno obdelavo
obdelava p95
Največja obdelava
Core ML Parakeet + lokalno čiščenje
Čiščenje vklopljeno
60
1,473
3.46%
0.41%
1,124 ms
2,807 ms
2,958 ms
Core ML Parakeet, čiščenje izklopljeno
Čiščenje izklopljeno
60
1,473
3.67%
0.20%
250 ms
722 ms
1,863 ms
Whisper Base, čiščenje izklopljeno
Čiščenje izklopljeno
60
1,473
6.52%
0.41%
844 ms
1,669 ms
2,189 ms
Čas obdelave vključuje prepoznavanje, dokončanje cevovoda in lokalno čiščenje, ko je omogočeno. Izključuje začetno konstrukcijo izvajalnega časa, nalaganje napeljave, snemanje v živo, pošiljanje bližnjic in vstavljanje kazalca. Vse steze točkujejo končni rezultat ocenjevalca; pasovi za čiščenje lahko še vedno uporabljajo spremembe besedišča in oblikovanja.
Latenca uporablja 60 enako uteženih vzorcev dekodiranja po pasu in R-7 linearnih kvantilov. 20 opornikov vsebuje 491 referenčnih besednih mest na prehod, štetih trikrat v imenovalcu 1.473 besed. Ponavljanja niso neodvisni izreki. Neuspehi zaradi mejnih vrednosti kakovosti so še vedno vključeni: 3 s čiščenjem Core ML vklopljenim, 3 s čiščenjem Core ML izklopljenim in 6 s Whisper.
„Mikro“ pomeni, da so bili seštevki števila urejevalnih operacij in referenčnih besed sešteti pred izračunom vsake stopnje. To ni makro povprečje odstotkov na posameznem posnetku.
02 · Omejeno branje
Kaj lahko te tri vrstice podpirajo.
Čiščenje izklopljeno
Ujemajoče se konfiguracije čiščenja izklopljeno
Whisper Base z izklopljenim čiščenjem je imel za 2,85 odstotne točke višjo WER, 0,20 točke višjo stopnjo izbrisa, 595 ms višjo mediano in 947 ms višji p95 kot Core ML Parakeet z izklopljenim čiščenjem v teh usklajene pilotne vožnje.
Poka za čiščenje omogočen
Prepoznavanje in čiščenje skupaj
Core ML pas, ki omogoča čiščenje, vključuje lokalno semantično čiščenje. Njegova mediana 1124 ms in 2807 ms p95 skupaj opisujeta prepoznavanje in finalizacijo pred vstavitvijo v drugo aplikacijo.
Kaj je delovalo
Cevovod publikacij
Sanitizator je ohranil števce in zakasnitve ter izključil prepiske, reference, pozive in kontekst aplikacije. Integriteta javnih datotek je zabeležena s kontrolnimi vsotami SHA-256.
Kaj ostane
Dokazi iz merilne primerjave
Človeški govor, različni naglasi in jeziki, zajem v živo z mikrofonom, nadzorovano temperaturno naročilo, opazovanje omrežja, več naprav in sistemi tretjih oseb so še vedno potrebni.
03 · Izrecne izključitve
Kaj ta pilot ne pokaže.
Primerjalna uspešnost v primerjavi z vsakim drugim izdelkom.
Uspešnost pri človeškem govoru, naglasih ali večjezičnem govoru.
Živi mikrofon, odstranjevanje šuma, prag tišine, prvo besedo ali vedenje pri koncu.
Uspešnost pri hladnem proti toplemu v okviru nadzorovanega toplotnega protokola.
Offline ali vedenje o zasebnosti, določeno z opazovanjem omrežja.
Splošna trditev, da je ena surova ali očiščena konfiguracija boljša.
Korpus, matrika naprav, vrstni red in toplotni postopek niso bili vnaprej registrirani. Ta opažanja opisujejo te zaporedne poskuse, na tem korpusu, napravi, različici programske opreme in datumu.