Reproducerbart korpus
Offentligt licenseret tale og samtykkede scripts, der bruger de samme lydbyt, hvor det understøttes, for at isolere genkendelse og efterbehandling.
Metodologi · version 0.1.0
Reglerne kommer før resultaterne.
En præregistrerings-stil protokol til at gøre gunstige og ugunstige resultater lige inspicerbare.Den nuværende udgivelse er stadig en pilot;disse regler definerer porten til et fremtidigt benchmark.
01 · Systemdefinition
Et produktnavn er ikke en testbetingelse.
Hvert system er en tuple: offentlig produktversion, operativsystemversion, motor- eller modelrevision, indstillinger, der påvirker genkendelse og oprydning, enhedsklasse og optagelsessti.Resultater fra forskellige tupler samles aldrig stille.
Hvis et produkt ikke kan acceptere den samme lydsti, rapporteres det i et separat lag. En live mikrofonoptagelse præsenteres ikke som direkte sammenlignelig med en filafspilning.
| Platform | Baseline klasse | Nuværende klasse | Formål |
|---|---|---|---|
| macOS | Entry Apple Silicon | Nuværende Apple Silicon | Lokalt desktopområde |
| Windows | Mainstream x86 bærbar computer | Aktuel bærbar computer | CPU- og GPU-varians |
| Android | Understøttet mellemklasse-enhed | Aktuelt flagskib | Mobil varians |
02 · Tre faser
Laboratorie-reproducerbarhed, derefter virkelighed med rigtigt udstyr.
Indfangning på en rigtig enhed
Kalibreret afspilning gennem dokumenterede rum og mikrofoner for at afsløre denoise, pre-roll, silence-gate og tail-flush-adfærd.
Naturlig diktering
Nytilmeldte talere læser forudregistrerede prompts. Private supportoptagelser bliver aldrig promoveret til det offentlige korpus.
Synlige lag
Sprog, regional variation, varighed, støj, rumforhold, navne, tal, tekniske termer, pauser og mundtlige rettelser.
03 · Primære metrics
WER er starten, ikke hele historien.
Word fejlprocent beregnes som substitutioner plus indsættelser plus sletninger, divideret med referenceord. Undersøgelsen rapporterer også hver operation separat, fordi en enkelt flydende transskription kan skjule en manglende sætning.
Samlede priser er micro-word-weighted: operationstællinger og referenceord summeres, før hastigheden beregnes. Latency udgiver stikprøveantal, median, p95 og maksimum. Den afsluttede pilot har blandet termisk tilstand; kontrollerede kolde og varme løbeture og live UI-levering forbliver fremtidige målinger.
Behandlingstiden inkluderer genkendelse, færdiggørelse af pipeline og lokal oprydning, når det er aktiveret. Det udelukker indledende runtime-konstruktion, indlæsning af armaturer, live-optagelse, genvejsafsendelse og markørindsættelse. Alle baner scorer endelig evaluator output; oprydningsbaner kan stadig anvende ordforråd og formateringsændringer.
Latency bruger 60 lige vægtede afkodningsprøver pr. bane og R-7 lineære kvantiler. De 20 kampe indeholder 491 referenceord-positioner pr. pass, tællet tre gange i nævneren på 1.473 ord. Gentagelser er ikke selvstændige ytringer. Kvalitetstærskelfejl forbliver inkluderet: 3 med Core ML oprydning slået til, 3 med Core ML oprydning fra og 6 med Whisper.
Fortolkning rettet 6. september 2026. Originale tal er uændrede. Læs bevisrevisionen, eksterne referencer, resterende begrænsninger og reproduktionsinstruktioner.
Netværksovervågning
Protokollen registrerer, om en arbejdsproces fuldfører offline efter opsætning, observerede destinationer og bytes, samt om lyd- eller tekstpayloads blev observeret, når de forlod enheden. Pakkeopsamling har blinde vinkler, så den forsvarlige udtalelse er "ingen lyd-/tekstpayload blev observeret i denne test." Påstå aldrig "intet forlader nogensinde enheden."
04 · Udgivelsesporte
Ingen leaderboard indtil alle porte er bestået.
Metode først frossetVersion og analyse-commit registreret inden benchmark-indsamling.
Corpus fastgjortUforanderlige revisioner og SHA-256 checksummer for hver kilde- og udstedt fil.
Gennemgåede referencerTo-personers referencegennemgang og en normaliseringspolitik for hvert system.
Indgange, der kan sammenlignesSamme byte eller et eksplicit, separat rapporteret capture-stratum.
Proveniens fuldførtProdukt, model, enhed, indstillinger, strømstatus og optagelsessti registreret.
Fejl bevaretTimeouts og manglende transskriberinger forbliver i nævneren.
Operationer afstemmerUdskiftninger, indsættelser og sletninger summerer op til redigeringsafstand.
FortrolighedsgennemgangSanitizer passerer, og et menneske inspicerer den offentlige artefaktgrænse.
Konflikt afsløretYaps forfatterskab, undtagelser, afvigelser og begrænsninger forbliver fremtrædende.
Data sendes med kravRensede rækker, samlede data, manifest og korrektionskanalpåpublicering sammen.
05 · Kendte begrænsninger
Hvad denne protokol stadig ikke kan se.
Det nuværende testsetup tester hovedsageligt transskript-pipelinen efter optagelse. Det afspiller ikke fuldt fixture-lyd gennem den levende mikrofonstack, så capture-klipning, støjreduceringsartefakter, pre-roll, stilhedsgating og tail flush kræver Phase B-instrumentering.
Netværksovervågning kan ikke bevise fraværet af krypteret indhold eller forudsige fremtidig adfærd. Et offentligt korpus kan ikke repræsentere hver accent, handicap, mikrofon, rum eller spontan talestil. Hvert resultat er knyttet til en specifik version og dato.