Pilottitulokset · tulkinta korjattu 6. syyskuuta 2026
Kolme testiluokkaa. Yksi rajoitettu pilottitutkimus.
Samat 20 puhdasta synteettistä kohdetta, dekoodattu kolme kertaa kaistaa kohden yhdellä M1 Max MacBook Prolla käyttäen Yaps 2.3.2129. Core ML Parakeet ja Whisper Base ovat mallikonfiguraatioita Yaps:ssa, eivät kilpailijoiden tuotteita.
01 · Kokootietue
Tunnistus paikallisella siivouksella, mitattuna yhdessä.
Yaps synteettinen laite-toisto pilotti. Alhaisemmat WER, poistoaste ja viivearvot osoittavat vähemmän virheitä tai lyhyemmän käsittelyajan tässä tarkassa suoritusasetuksessa; ne eivät ole tuoteluokituksia.
Yaps lähtökaista
Rooli
Suorittaa
Sanat, toistot
Mikro WER
Poistoprosentti
Mediaanikäsittely
p95 käsittely
Maksimikäsittely
Core ML Parakeet + paikallinen siivous
Siivouspalvelussa
60
1,473
3.46%
0.41%
1,124 ms
2,807 ms
2,958 ms
Core ML Parakeet, siivous pois
Puhdistus pois
60
1,473
3.67%
0.20%
250 ms
722 ms
1,863 ms
Whisper Base, siivous pois
Puhdistus pois
60
1,473
6.52%
0.41%
844 ms
1,669 ms
2,189 ms
Käsittelyaika sisältää tunnistuksen, putkilinjan viimeistelyn ja paikallisen puhdistamisen, kun se on käytössä. Se ei sisällä alkuperäistä ajonaikaista rakentamista, kalustelatausta, suoraa tallennusta, pikakuvakkeiden lähettämistä ja kohdistimen lisäämistä. Kaikki kaistat saavat lopullisen arvioijan tuloksen; Cleanup-off kaistat voivat silti tehdä sanaston ja muotoilun muutoksia.
Latenssi käyttää 60 yhtä painotettua dekoodausnäytettä kaistaa kohden ja R-7 lineaarista kvantiilia. 20 ottelua sisältävät 491 viitesanan paikkaa syöttöä kohti, laskettuna kolme kertaa 1 473 sanan nimittäjässä. Toistot eivät ole itsenäisiä lausumia. Laatukynnyksen virheet ovat edelleen mukana: 3 Core ML-puhdistuksen ollessa päällä, 3 Core ML-siivouksen ollessa pois käytöstä ja 6 Whisper:n kanssa.
"Mikro" tarkoittaa, että muokkaustoimintojen määrät ja viitesanat laskettiin yhteen ennen kunkin hinnan laskemista.Se ei ole leikekohtaisten prosenttiosuuksien makrokeskiarvo.
02 · Rajoitettu lukuoikeus
Mitä nämä kolme riviä voivat tukea.
Puhdistus pois
Vastaavat puhdistuskokoonpanot
Whisper Base, kun puhdistus on pois päältä, oli 2,85 prosenttiyksikköä korkeampi WER, 0,20 pistettä korkeampi poistoprosentti, 595 ms pidempi mediaani ja 947 ms pidempi p95 kuin Core ML Parakeet, kun puhdistus oli pois päältä näissä vastaavissa pilottiajossa.
Siivous käytössä
Tunnistus ja siivous yhdessä
Core ML-siivoustoiminto sisältää paikallisen semanttisen siivouksen. Sen 1 124 ms mediaani ja 2 807 ms p95 kuvaavat tunnistusta ja viimeistelyä yhdessä ennen lisäystä toiseen sovellukseen.
Mikä toimi
Julkaisuputki
Puhdistin säilytti laskennat ja viiveet syrjäyttäen transkriptit, viitteet, kehotteet ja sovelluksen kontekstin. Julkisen tiedoston eheys tallennetaan SHA-256 tiivisteillä.
Mikä säilyy
Vertailutodistus
Ihmisen puhe, useita aksentteja ja kieliä, live-mikrofonin sieppaus, kontrolloitu lämpöjärjestys, verkon tarkkailu, lisää laitteita ja kolmannen osapuolen järjestelmiä tarvitaan edelleen.
03 · Selkeät poissulkemiset
Mitä tämä pilotti ei näytä.
Vertaileva suorituskyky muihin tuotteisiin verrattuna.
Suorituskyky ihmisen puheessa, aksenteissa tai monikielisessä puheessa.
Live-mikrofoni, kohinanvaimennus, hiljaisuussilta, ensimmäisen sanan tai lopun tyhjennyskäyttäytyminen.
Kylmä versus lämmin suorituskyky kontrolloidun lämpöprotokollan mukaisesti.
Offline- tai yksityisyyskäyttäytyminen, joka on todettu verkon havainnoinnin kautta.
Yleinen väite, että yksi raaka tai puhdistettu kokoonpano on parempi.
Korpusta, laitematriisia, järjestystä ja lämpöprosessia ei esirekisteröity. Nämä havainnot kuvaavat näitä peräkkäisiä ajokertoja, tällä korpuksella, laitteella, ohjelmistoversiolla ja päivämäärällä.