Reprodukčný korpus
Verejná licencovaná reč a súhlasné skripty, používajúce rovnaké audio bity tam, kde je to podporované, na izoláciu rozpoznávania a post-procesingu.
Metodológia · verzia 0.1.0
Pravidlá sú pred výsledkami.
Protokol vo forme predregistrácie na to, aby boli priaznivé aj nepriaznivé výsledky rovnako kontrolovateľné. Súčasné vydanie je stále pilotné; tieto pravidlá definujú vstupnú bránu pre budúci benchmark.
01 · Definícia systému
Názov produktu nie je testovacou podmienkou.
Každý systém je tupel: verejná verzia produktu, verzia operačného systému, revízia motora alebo modelu, nastavenia ovplyvňujúce rozpoznávanie a čistenie, trieda zariadenia a cesta zachytenia. Výsledky z rôznych tupelov sa nikdy nezdružujú ticho.
Ak produkt nemôže prijať rovnakú zvukovú cestu, je zaznamenaný v samostatnej vrstve. Živý zachyt mikrofónu nie je prezentovaný ako priamo porovnateľný s prehrávaním súboru.
| Platforma | Základný kurz | Aktuálna trieda | Účel |
|---|---|---|---|
| macOS | Záznam Apple Silicon | Aktuálne Apple Silicon | Rozsah lokálneho desktopu |
| Windows | Bežný x86 notebook | Súčasný výkonnostný laptop | Rozdiely medzi CPU a GPU |
| Android | Podporované zariadenia strednej triedy | Súčasná vlajková loď | Mobilná variancia |
02 · Tri fázy
Opakovateľnosť v laboratóriu, potom realita so skutočným zariadením.
Záznam zo skutočného zariadenia
Kalibrované prehrávanie cez zdokumentované miestnosti a mikrofóny na odhalenie správania odšumu, predbeh, tichého brány a vypúšťania chvostu.
Prirodzená diktácia
Noví súhlasení hovorcovia čítajú predregistrované podnety. Snímky súkromnej podpory sa nikdy nezaradia do verejného korpusu.
Viditeľné vrstvy
Jazyk, regionálna odlišnosť, trvanie, hluk, podmienky v miestnosti, mená, čísla, technické pojmy, prestávky a hovorené opravy.
03 · Hlavné metriky
WER je začiatok, nie celý príbeh.
Word chybovosť sa vypočíta ako náhrady plus vloženia plus vymazania, delené referenčnými slovami. Štúdia tiež uvádza každú operáciu samostatne, pretože jeden plynulý prepis môže skryť chýbajúcu frázu.
Kumulatívne sadzby micro-word-weighted: Počty operácií a referenčné slová sa spočítajú pred vypočítaním sadzby. Latencia zverejňuje počet vzoriek, medián, p95 a maximum. Dokončený pilot má zmiešaný tepelný stav; kontrolované studené a teplé chody a živé poskytovanie používateľského rozhrania zostávajú budúcimi meraniami.
Čas spracovania zahŕňa rozpoznanie, finalizáciu potrubia a lokálne čistenie, ak je povolené. Nezahŕňa počiatočnú konštrukciu runtime, načítanie zariadenia, živé nahrávanie, odosielanie skratiek a vkladanie kurzora. Výstup konečného hodnotiteľa bodujú všetky dráhy; Čistiace pruhy môžu stále uplatňovať zmeny slovnej zásoby a formátovania.
Latencia používa 60 rovnako vážených vzoriek dekódovania na dráhu a lineárne kvantily R-7. 20 zápasov obsahuje 491 pozícií referenčných slov na jeden prechod, počítaných trikrát v menovateli 1 473 slov. Opakovania nie sú nezávislé výroky. Chyby na hranici kvality zostávajú zahrnuté: 3 so zapnutým čistením Core ML, 3 s vypnutým čistením Core ML a 6 s Whisper.
Výklad opravený 6. septembra 2026. Pôvodné čísla sú nezmenené. Prečítajte si dôkazový audit, externé referencie, zostávajúce obmedzenia a pokyny na reprodukciu.
Pozorovanie siete
Protokol zaznamenáva, či sa pracovný tok dokončí offline po nastavení, sledované destinácie a bajty a či boli zaznamenané audio alebo textové dáta odchádzajúce zo zariadenia. Zachytávanie paketov má slepé miesta, takže obhájiteľné vyhlásenie je „v tomto teste nebol zaznamenaný žiadny audio/textový obsah“. Nikdy nehovorte „nič nikdy neodchádza“.
04 · Publikačné brány
Žiadny rebríček až kým všetky brány neprejdú.
Metóda zamrazená ako prváVerzia a záznam o analýze zaznamenané pred zberom benchmarku.
Korpus pripnutýNemenné revízie a SHA-256 odtlačky pre každý zdrojový a vydaný súbor.
Skontrolované referencieRecenzia referencie dvoch osôb a jedna normalizačná politika pre každý systém.
Vstupy porovnateľnéRovnaké bajty alebo explicitná, samostatne hlásená strata zachytenia.
Proveniencia dokončenáZaznamenaný produkt, model, zariadenie, nastavenia, stav napájania a cesta zachytenia.
Zachované zlyhaniaČasové limity a chýbajúce prepisy zostávajú v menovateli.
Prevádzkové vyrovnanieNáhrady, vloženia a vymazania sa spočítavajú do editačnej vzdialenosti.
Preskúmanie ochrany súkromiaSanitizér spracuje a človek skontroluje hranicu verejného artefaktu.
Zverejnený konfliktAutorská práca, vylúčenia, odchýlky a obmedzenia Yaps zostávajú významné.
Údaje sú dodávané s nárokmiOčistené riadky, súhrny, manifesty a kanál opráv sa publikujú spolu.
05 · Známe obmedzenia
Čo tento protokol stále nedokáže vidieť.
Súčasný testovací rámec primárne testuje pipeline prepisu po zachytení. Neprehráva úplne zvuk zo zariadenia cez živý mikrofónový reťazec, takže zachytenie orezania, artefakty odšumenia, predspustenie, tiché prepínanie a vyprázdňovanie zvyšku vyžadujú prístroje fázy B.
Pozorovanie siete nemôže dokázať neprítomnosť šifrovaného obsahu ani predpovedať budúce správanie. Verejný korpus nemôže reprezentovať každý prízvuk, postihnutie, mikrofón, miestnosť ani spontánny štýl reči. Každý výsledok je viazaný na konkrétnu verziu a dátum.