Riżultati pilota · interpretazzjoni kkoreġuta 6 ta' Settembru 2026
Tliet kategoriji ta' test. Studju pilota wieħed limitat.
L-istess 20 fixtures sintetici nadif, deċodati tliet darbiet għal kull binja fuq M1 Max MacBook Pro billi tuża Yaps 2.3.2129. Core ML Parakeet u Whisper Base huma konfigurazzjonijiet tal-mudell ġewwa Yaps, mhux prodotti tal-kompetituri.
01 · Rekord aggregat
Rikonoxximent bi tindif lokali, imkejla flimkien.
Yaps pilota ta’ replay ta’ fixture sinteżiku. Valuri aktar baxxi ta’ WER, rata ta’ tħassir, u latenza jindikaw inqas żbalji jew ħin ta’ ipproċessar aktar qasir f’din l-istess konfigurazzjoni ta’ run; mhumiex klassifiki tal-prodott.
Yaps linja ta' produzzjoni
Irwol
Imruns
Kliem, b'repetizzjonijiet
Mikro WER
Rata ta' ħass
Ipproċessar medjan
p95 proċessar
Ipproċessar massimu
Core ML Parakeet + tindif lokali
Tindif fuq
60
1,473
3.46%
0.41%
1,124 ms
2,807 ms
2,958 ms
Core ML Parakeet, it-tindif mitfi
Tindif mitfi
60
1,473
3.67%
0.20%
250 ms
722 ms
1,863 ms
Whisper Base, tindif barra
Tindif mitfi
60
1,473
6.52%
0.41%
844 ms
1,669 ms
2,189 ms
Il-ħin tal-ipproċessar jinkludi rikonoxximent, finalizzazzjoni tal-pipeline u tindif lokali meta jkun attivat. Teskludi l-kostruzzjoni tal-runtime inizjali, it-tagħbija tal-apparat, ir-reġistrazzjoni diretta, id-dispaċċ ta' shortcut u l-inserzjoni tal-cursor. Il-korsiji kollha punteġġaw l-output finali tal-evalwatur; korsiji għat-tindif xorta jistgħu japplikaw bidliet fil-vokabularju u l-ifformattjar.
Il-Latency juża 60 kampjun ta' dekodifikazzjoni peżati b'mod ugwali għal kull korsija u kwantili lineari R-7. L-20 fixture fihom 491 pożizzjoni ta’ kelma ta’ referenza għal kull pass, magħduda tliet darbiet fid-denominatur ta’ 1,473 kelma. Ir-repetizzjonijiet mhumiex kliem indipendenti. Il-fallimenti tal-limitu ta' kwalità jibqgħu inklużi: 3 bit-tindif ta' Core ML mixgħul, 3 bi tindif ta' Core ML mitfi u 6 bi Whisper.
“Mikro” tfisser li n-numri tal-operazzjonijiet ta' editjar u l-kliem tar-referenza kienu miġbura qabel ma ġew ikkalkulati r-rata kull waħda. Ma jfissirx il-medja makro ta' persentaġġi kull clip.
02 · Qari limitat
X'jista' jappoġġja dawn it-tliet ringieli.
Tindif mitfi
Konfigurazzjonijiet ta' tindif imqabbla
Whisper Base mingħajr tindif kellu 2.85 punti perċentwali ogħla WER, 0.20 punti ogħla rata ta' tħassir, medjana ogħla ta' 595 ms, u p95 ogħla ta' 947 ms minn Core ML Parakeet mingħajr tindif f'dawn il-provi pilota mparati.
Korsija attivata għat-tindif
Rikonoxximent u tindif flimkien
Il-Core ML korsija attivata għat-tindif tinkludi tindif semantiku lokali. Il-medjan ta' 1,124 ms tiegħu u 2,807 ms p95 jiddeskrivu r-rikonoxximent u l-finalizzazzjoni flimkien, qabel ma jiddaħħlu f'applikazzjoni oħra.
X’ħadem
Pipeline tal-pubblikazzjoni
Is-sanitizer żamm il-kontijiet u l-latenza filwaqt li eskluda l-traskrizzjonijiet, ir-riferimenti, il-prompts, u l-kuntest tal-applikazzjoni. L-integrità tal-fajl pubbliku hija rrappurtata bl-għaqdiet SHA-256.
X'jibqa'
Evidenza ta' benchmark
Il-kelliem tal-bniedem, aksenti u lingwi multipli, cattura tal-mikrofonu live, ordni termali kontrollata, osservazzjoni tan-netwerk, aktar apparati, u sistemi ta’ partijiet terzi għadhom meħtieġa.
03 · Esklussjonijiet espliciti
X'inhu li dan il-pilota ma juri xejn.
Prestazzjoni komparattiva kontra kwalunkwe prodott ieħor.
Prestazzjoni fuq diskors uman, aksenti, jew diskors multilingwi.
Mikrofonu ħaj, tneħħija tal-ħsejjes, bibien silenzjużi, l-ewwel kelma, jew mġieba tal-aħħar-taqsima.
Prestazzjoni kiesħa-versus-sħuna taħt protokoll termali kontrollat.
Offline jew mġieba ta’ privatezza stabbilita permezz ta’ osservazzjoni tan-netwerk.
Dikjarazzjoni ġenerali li konfigurazzjoni waħda, kemm jekk rohja jew mħassla, hija aħjar.
Il-korp, il-matriċi tal-apparat, l-ordni, u l-proċedura termali ma ġewx irreġistrati minn qabel. Dawn l-osservazzjonijiet jiddeskrivu dawn ir-rukkelli sekwenzjali, fuq dan il-korp, apparat, verżjoni tas-softwer, u data.