Reprodukovatelný korpus
Veřejně licencovaná řeč a souhlasné skripty, používající stejná zvuková data tam, kde je to podporováno, pro izolaci rozpoznávání a následného zpracování.
Metodologie · verze 0.1.0
Pravidla předcházejí výsledkům.
Protokol ve stylu předregistrování, který umožňuje stejně kontrolovat příznivé i nepříznivé výsledky. Současná verze je stále pilotní; tato pravidla definují bránu pro budoucí měřítko.
01 · Definice systému
Název produktu není podmínkou testu.
Každý systém je n-tice: veřejná verze produktu, verze operačního systému, revize enginu nebo modelu, nastavení ovlivňující rozpoznávání a čištění, třída zařízení a cesta zachycení. Výsledky z různých n-tic se nikdy nespojují potichu.
Pokud produkt nemůže přijmout stejnou zvukovou cestu, je to hlášeno v samostatné vrstvě. Živý záznam z mikrofonu není prezentován jako přímo srovnatelný s přehráváním souboru.
| Platforma | Základní třída | Aktuální třída | Účel |
|---|---|---|---|
| macOS | Zápis Apple Silicon | Současný Apple Silicon | Rozsah lokálního desktopu |
| Windows | Hlavní proud x86 notebook | Aktuální výkonný notebook | Rozdíly v CPU a GPU |
| Android | Podporované středně výkonné zařízení | Aktuální vlajková loď | Mobilní variabilita |
02 · Tři fáze
Opakovatelnost v laboratoři, pak realita u skutečného zařízení.
Záznam z reálného zařízení
Kalibrované přehrávání přes dokumentované místnosti a mikrofony k odhalení chování odšumění, předběžného nahrávání, tichého zámku a vyprázdnění ocasu.
Přirozené diktování
Nově souhlasené osoby čtou předem zaregistrované podněty. Soukromé podporované záznamy se nikdy nezveřejňují do veřejného korpusu.
Viditelné vrstvy
Jazyk, regionální varianta, délka, hluk, podmínky místnosti, jména, čísla, technické termíny, pauzy a mluvené opravy.
03 · Primární metriky
WER je začátek, ne celý příběh.
Word chybovost se vypočítá jako substituce plus vložení plus mazání, děleno referenčními slovy. Studie také uvádí každou operaci zvlášť, protože jediný plynulý přepis může skrýt chybějící frázi.
Souhrnné sazby jsou micro-word-weighted: Počty operací a referenční slova se sečtou před výpočtem rychlosti. Latence publikuje počet vzorků, medián, p95 a maximum. Dokončený pilot má smíšený tepelný stav; řízený studený a teplý chod a živé poskytování uživatelského rozhraní zůstávají budoucími měřeními.
Doba zpracování zahrnuje rozpoznání, finalizaci potrubí a místní čištění, pokud je povoleno. Nezahrnuje počáteční konstrukci runtime, načítání zařízení, živé nahrávání, odesílání zkratek a vkládání kurzoru. Výstup konečného hodnotitele skóre všech drah; Čisticí pruhy mohou stále používat změny slovníku a formátování.
Latence používá 60 stejně vážených vzorků dekódování na dráhu a lineární kvantily R-7. 20 svítidel obsahuje 491 pozic referenčních slov na průchod, počítaných třikrát ve jmenovateli 1 473 slov. Opakování nejsou nezávislé výroky. Chyby na hranici kvality zůstávají zahrnuty: 3 se zapnutým čištěním Core ML, 3 s vypnutým čištěním Core ML a 6 s Whisper.
Výklad opraven 6. září 2026. Původní čísla se nezměnila. Přečtěte si důkazní audit, externí odkazy, zbývající omezení a pokyny k reprodukci.
Pozorování sítě
Protokol zaznamenává, zda pracovní postup dokončí offline po nastavení, pozorovaná cílová místa a bajty a zda byly zaznamenány odcházející audio nebo textové datové pakety. Zachycení paketů má slepá místa, takže obhajitelné tvrzení je „v tomto testu nebyly pozorovány žádné audio/textové pakety“. Nikdy netvrďte „nic nikdy neodchází“.
04 · Publikační brány
Žádný žebříček, dokud neprojdou všechny brány.
Metoda zamrzlá jako prvníVerze a commit analýzy zaznamenány před sběrem benchmarku.
Korpus připnutýNeměnné revize a SHA-256 hashe pro každý zdrojový a generovaný soubor.
Zkontrolované referenceRecenze s odkazem na dvě osoby a jedna normalizační politika pro každý systém.
Vstupy srovnatelnéStejné bajty nebo explicitní, samostatně hlášená úroveň zachycení.
Provenance dokončenoProdukt, model, zařízení, nastavení, stav napájení a cesta zachycení zaznamenány.
Selhání uchovánaČasové limity a chybějící přepisy zůstávají ve jmenovateli.
Provozní vyrovnáníNahrazení, vložení a vynechání se sčítají a tvoří editační vzdálenost.
Revize soukromíProchází sanitizéry a lidská osoba kontroluje hranici veřejného artefaktu.
Konflikt odhalenAutorství, vyloučení, odchylky a omezení Yaps zůstávají výrazné.
Data jsou dodávána s nárokyOčištěné řádky, agregace, manifesty a kanál pro publikaci oprav společně.
05 · Známá omezení
Co tento protokol stále nemůže vidět.
Současný testovací rámec hlavně testuje přepisový proces po zachycení. Nepřehrává plně nahrávky z příslušenství přes živý mikrofonní systém, takže ořez zachycení, artefakty odstranění šumu, předběžné spuštění, blokování ticha a vyprázdnění koncovky vyžadují nástroje fáze B.
Pozorování sítě nemůže prokázat nepřítomnost šifrovaného obsahu ani předpovědět budoucí chování. Veřejný korpus nemůže reprezentovat každý přízvuk, postižení, mikrofon, místnost nebo spontánní způsob mluvy. Každý výsledek je spojen s konkrétní verzí a datem.