Pilotresultater · fortolkning rettet 6. september 2026
Tre testkategorier. En begrænset pilotundersøgelse.
De samme 20 rene syntetiske armaturer, afkodet tre gange pr. bane på én M1 Max MacBook Pro ved hjælp af Yaps 2.3.2129. Core ML Parakeet og Whisper Base er modelkonfigurationer inde i Yaps, ikke konkurrerende produkter.
01 · Samlet post
Genkendelse med lokal oprydning, målt sammen.
Yaps syntetiske fixture-replay pilot. Lavere WER, slettehastighed og latenstider indikerer færre fejl eller kortere behandlingstid inden for denne eksakte køreropsætning; de er ikke produktrangeringer.
Yaps udgangsbane
Rolle
Kører
Ord, med gentagelser
Mikro WER
Sletningshastighed
Medianbehandling
p95 behandler
Maksimal behandling
Core ML Parakeet + lokal oprydning
Oprydning på
60
1,473
3.46%
0.41%
1,124 ms
2,807 ms
2,958 ms
Core ML Parakeet, oprydning fra
Oprydning off
60
1,473
3.67%
0.20%
250 ms
722 ms
1,863 ms
Whisper Base, oprydning fra
Oprydning off
60
1,473
6.52%
0.41%
844 ms
1,669 ms
2,189 ms
Behandlingstiden inkluderer genkendelse, færdiggørelse af pipeline og lokal oprydning, når det er aktiveret. Det udelukker indledende runtime-konstruktion, indlæsning af armaturer, live-optagelse, genvejsafsendelse og markørindsættelse. Alle baner scorer endelig evaluator output; oprydningsbaner kan stadig anvende ordforråd og formateringsændringer.
Latency bruger 60 lige vægtede afkodningsprøver pr. bane og R-7 lineære kvantiler. De 20 kampe indeholder 491 referenceord-positioner pr. pass, tællet tre gange i nævneren på 1.473 ord. Gentagelser er ikke selvstændige ytringer. Kvalitetstærskelfejl forbliver inkluderet: 3 med Core ML oprydning slået til, 3 med Core ML oprydning fra og 6 med Whisper.
"Mikro" betyder redigeringsoperationstællinger, og referenceord blev summeret før beregning af hver hastighed.Det er ikke makrogennemsnittet af procenter pr. klip.
02 · Begrænset læsning
Hvad disse tre rækker kan understøtte.
Oprydning off
Matchende oprydningskonfigurationer
Whisper Base with cleanup off had 2.85 percentage points higher WER, 0.20 points higher deletion rate, a 595 ms higher median, and a 947 ms higher p95 than Core ML Parakeet with cleanup off in these matched pilot runs.
Oprydningsaktiveret bane
Genkendelse og oprydning sammen
Den Core ML oprydningsaktiverede bane inkluderer lokal semantisk oprydning. Dens 1.124 ms median og 2.807 ms p95 beskriver genkendelse og færdiggørelse sammen, før den indsættes i en anden applikation.
Hvad der virkede
Udgivelsespipeline
Sanitizeren beholdt tællinger og latenstid, mens transkriptioner, referencer, prompts og applikationskontekst blev udelukket. Offentlig filintegritet registreres med SHA-256-digests.
Hvad forbliver
Benchmark beviser
Menneskelig tale, flere accenter og sprog, livestreaming fra mikrofon, kontrolleret termisk rækkefølge, netværksovervågning, flere enheder og tredjepartssystemer er stadig nødvendige.
03 · Eksplicitte ekskluderinger
Hvad denne pilot ikke viser.
Sammenlignende ydeevne i forhold til ethvert andet produkt.
Præstation på menneskelig tale, accenter eller flersproget tale.
Live mikrofon, støjreduktion, stilhedslukke, første-ord eller hale-flush adfærd.
Kold-versus-varm ydeevne under en kontrolleret termisk protokol.
Offline- eller privatlivsadfærd etableret gennem netværksovervågning.
En generel påstand om, at én rå eller renset konfiguration er bedre.
Korpusset, enhedsmatrixen, rækkefølgen og den termiske procedure blev ikke forregistreret. Disse observationer beskriver disse sekventielle kørsler på dette korpus, denne enhed, softwareversion og dato.