Korp riproduċibbli
Diskors magħruf bir-ruħ pubbliku u skripts maħruġa b'kunsens, użu tal-istess bytes tal-awdjo fejn suppost biex tkeċċa r-rikonoxximent u l-ipproċessar wara.
Metodoloġija · verżjoni 0.1.0
Ir-regoli jiġu qabel ir-riżultati.
Protokoll stil pre-reġistrazzjoni biex jagħmel riżultati favorevoli u mhux favorevoli ugwalment speċifikabbli. Il-verżjoni kurrenti għadha pilota; dawn ir-regoli jiddeterminaw il-bieb għal benchmarks futuri.
01 · Definizzjoni tas-sistema
Isem ta’ prodott mhuwiex kundizzjoni ta’ test.
Kull sistema hija tuple: verżjoni tal-prodott pubbliku, verżjoni tas-sistema operattiva, reviżjoni tal-magna jew mudell, settings li jaffettwaw ir-rekonescenza u t-tindif, klassi tal-apparat, u triq ta’ ħcaptar. Ir-riżultati minn tuples differenti qatt ma jingħaqdu b’mod silenzjuż.
Jekk prodott ma jistax jaċċetta l-istess triq tal-awdjo, jinqasam f’saff separati. Rekord live bil-mikrofonu ma jiħux preżentat bħala direttament komparabbli ma' reġistrazzjoni ta' fajl.
| Pjattaforma | Klassi bażika | Klassi kurrenti | Skop |
|---|---|---|---|
| macOS | Dħul Apple Silicon | Kurrenti Apple Silicon | Firxa lokali tal-desktop |
| Windows | Laptop mainstream x86 | Laptop ta' prestazzjoni kurrenti | Varjanza tal-CPU u l-GPU |
| Android | Apparat ta' firxa medja appoġġjat | Bandiera kurrenti | Varjant mobile |
02 · Tliet fażijiet
Ripetibilità tal-lab, imbagħad realtà tat-tagħmir reali.
Irkaptu b'tagħmir reali
Riproduzzjoni kkalibrata permezz ta' kmamar u mikrofoni dokumentati biex jiġi espost id-denoise, il-pre-roll, is-silence-gate, u l-imġieba tal-tail-flush.
Dikjarazzjoni naturali
Speakers li għadhom kemm qabel talbu jħossu dwar prompts preregistrati. Ir-rekords ta’ appoġġ privat qatt ma jiġu promossi fil-korp pubbliku.
Saffi viżibbli
Lingwa, varjetà reġjonali, tul, turbina, kundizzjonijiet tal-kamra, ismijiet, numri, termini tekniċi, wqfiet, u korrezzjonijiet verbali.
03 · Metriċi prinċipali
WER huwa l-bidu, mhux l-istorja kollha.
Word ir-rata ta' żball hija kkalkulata bħala sostituzzjonijiet flimkien ma' inserzjonijiet flimkien ma' tħassir, diviż bil-kliem ta' referenza. L-istudju jirrapporta wkoll kull operazzjoni separatament minħabba li traskrizzjoni waħda fluwenti tista 'taħbi frażi nieqsa.
Ir-rata aggregata huma micro-word-weighted: l-għadd ta' operazzjonijiet u l-kliem ta' referenza jinġabru qabel ma tiġi kkalkulata r-rata. Latency tippubblika għadd tal-kampjuni, medjan, p95, u massimu. Il-pilota komplut għandu stat termali mħallat; ġirjiet kesħin u sħan ikkontrollati u kunsinna UI ħajjin jibqgħu kejl futur.
Il-ħin tal-ipproċessar jinkludi rikonoxximent, finalizzazzjoni tal-pipeline u tindif lokali meta jkun attivat. Teskludi l-kostruzzjoni tal-runtime inizjali, it-tagħbija tal-apparat, ir-reġistrazzjoni diretta, id-dispaċċ ta' shortcut u l-inserzjoni tal-cursor. Il-korsiji kollha punteġġaw l-output finali tal-evalwatur; korsiji għat-tindif xorta jistgħu japplikaw bidliet fil-vokabularju u l-ifformattjar.
Il-Latency juża 60 kampjun ta' dekodifikazzjoni peżati b'mod ugwali għal kull korsija u kwantili lineari R-7. L-20 fixture fihom 491 pożizzjoni ta’ kelma ta’ referenza għal kull pass, magħduda tliet darbiet fid-denominatur ta’ 1,473 kelma. Ir-repetizzjonijiet mhumiex kliem indipendenti. Il-fallimenti tal-limitu ta' kwalità jibqgħu inklużi: 3 bit-tindif ta' Core ML mixgħul, 3 bi tindif ta' Core ML mitfi u 6 bi Whisper.
Interpretazzjoni kkoreġuta fis-6 ta' Settembru 2026. In-numri oriġinali ma nbidlux. Aqra l-verifika tal-evidenza, ir-referenzi esterni, il-limitazzjonijiet li jifdal u l-istruzzjonijiet tar-riproduzzjoni.
Osservazzjoni tan-netwerk
Il-protokoll jirreġistra jekk workflow jitlestiex offline wara s-s setup, il-miri u l-byte osservati, u jekk payloads ta’ audio jew test ġew osservati jħallu l-apparat. Il-capture tal-packets għandu toqob moħbija, għalhekk l-istqarrija difensiva hija “ma ġewx osservati payloads ta’ audio/test f’dan it-test.” Qatt ma tgħid “xejn qatt ma joħroġ.”
04 · Għelieqi tal-pubblikazzjoni
L-ebda leaderboard sakemm kull bieb jgħaddi.
Metodu miksur l-ewwelVerżjoni u commit ta’ analiżi rreġistrati qabel il-ġbir tal-benchmark.
Corpus imwaħħalReviżjonijiet mhux jistgħu jinbidlu u digesti SHA-256 għal kull fajl sors u emess.
Referenzi rrevedutiReviżjoni ta’ referenza ta’ persuna waħda u politika ta’ normalizzazzjoni għal kull sistema.
Inputs komparabbliL-istess bytes jew stratum ta' cattura esplicit, irrappurtat separatament.
Provenance komplutProdott, mudell, apparat, settings, stat ta' qawwa, u triq ta' cattura rrikkordjata.
Falliment jinżammIt-tmiem tal-ħin u t-traskrizzjonijiet nieqsa jibqgħu fid-denominatur.
Operazzjonijiet jirjustifikawSostituzzjonijiet, infusions, u ħruġ li jagħmlu d-distanza tal-editja.
Reviżjoni tal-privatezzaIl-passijiet tas-sanitizzatur u bniedem jesamina l-limitu tal-artiklu pubbliku.
Kkonflitt żvelatL-awtorship, esklużjonijiet, devjazzjonijiet, u limitazzjonijiet ta' Yaps jibqgħu prominenti.
Id-data tiġi mal-pretensjonijietRingieli mnaddfa, aggregati, manifesti, u l-kanal ta' korrezzjoni jippubblikaw flimkien.
05 · Limitazzjonijiet magħrufa
X'inhu li dan il-protokoll għadu ma jistax jara.
Il-harness attwali jittestja prinċipalment il-pipeline tat-traskrizzjoni wara l-qbid. Ma jerġax jilgħab kompletament l-awdjo tal-fixtures permezz tal-microfonu ħaj, għalhekk il-qbid tal-qligħ, l-artefatti ta’ denoise, il-pre-roll, is-silenzju tal-bibien, u t-taħfir tal-qiegħ jeħtieġu strumentazzjoni tal-Fażi B.
L-osservazzjoni tan-netwerk ma tistax tipprova l-assenza ta’ kontenut kodifikat jew tipprevedi l-imġieba tal-futur. Korp pubbliku ma jistax jirrappreżenta kull aksent, diżabilità, mikrofown, kamra, jew stil ta’ diskors spontanju. Kull riżultat huwa marbut ma’ verżjoni u data speċifiċi.