Pilota rezultāti · interpretācija labota 2026. gada 6. septembris
Trīs testu kategorijas. Viens ierobežots pilotpētījums.
Tie paši 20 tīri sintētiskie ķermeņi, trīs reizes atšifrēti vienā joslā vienā M1 Max MacBook Pro, izmantojot Yaps 2.3.2129. Core ML Parakeet un Whisper Base ir Yaps modeļa konfigurācijas, nevis konkurentu produkti.
01 · Apkopotais ieraksts
Atpazīšana ar vietējo tīrīšanu, mērot kopā.
Yaps sintētiskais ierīču atskaņojuma pilots. Zemāki WER, dzēšanas līmeņa un latentuma rādītāji norāda uz mazāku kļūdu skaitu vai īsāku apstrādes laiku šajā konkrētajā darbības uzstādījumā; tie nav produktu vērtējumi.
Yaps izvades josla
Loma
Darbojas
Vārdi ar atkārtojumiem
Mikro WER
Dzēšanas ātrums
Vidējā apstrāde
p95 apstrāde
Maksimālā apstrāde
Core ML Parakeet + lokāla tīrīšana
Tīrīšana vietnē
60
1,473
3.46%
0.41%
1,124 ms
2,807 ms
2,958 ms
Core ML Parakeet, tīrīšana off
Tīrīšana izslēgta
60
1,473
3.67%
0.20%
250 ms
722 ms
1,863 ms
Whisper Base, tīrīšana off
Tīrīšana izslēgta
60
1,473
6.52%
0.41%
844 ms
1,669 ms
2,189 ms
Apstrādes laiks ietver atpazīšanu, cauruļvada pabeigšanu un vietējo tīrīšanu, kad tas ir iespējots. Tas neietver sākotnējo izpildes laika izveidi, armatūras ielādi, tiešraides ierakstīšanu, saīsnes nosūtīšanu un kursora ievietošanu. Visas joslas novērtē galīgo vērtētāja rezultātu; tīrīšanas joslas joprojām var piemērot vārdu krājuma un formatējuma izmaiņas.
Latency izmanto 60 vienādi svērtus dekodēšanas paraugus katrā joslā un R-7 lineārās kvantiles. 20 spēles satur 491 atsauces vārda pozīciju vienā piegājienā, kas skaitītas trīs reizes 1473 vārdu saucējā. Atkārtojumi nav neatkarīgi izteikumi. Kvalitātes sliekšņa kļūmes joprojām ir iekļautas: 3 ar ieslēgtu Core ML tīrīšanu, 3 ar Core ML attīrīšanu un 6 ar Whisper.
“Mikro” nozīmē, ka rediģēšanas darbību skaits un atsauces vārdi tika summēti pirms katra rādītāja aprēķināšanas. Tas nav makro vidējais katra klipa procentos.
02 · Ierobežota lasīšana
Ko šie trīs rindiņas var atbalstīt.
Tīrīšana izslēgta
Atbilstošās tīrīšanas konfigurācijas
Whisper Base ar iztīrīšanu izslēgtu bija par 2,85 procentpunktiem augstāks WER, par 0,20 punktiem augstāks dzēšanas rādītājs, 595 ms augstākais mediāns un 947 ms augstākais p95 nekā Core ML Parakeet ar iztīrīšanu izslēgtu šajās salīdzinātajās pilotēšanas sesijās.
Joslas tīrīšana ar iespējotu
Atpazīšana un tīrīšana kopā
Tīrīšanas iespējotajā joslā Core ML ir iekļauta vietējā semantiskā tīrīšana. Tās 1124 ms vidējā un 2807 ms p95 apraksta atpazīšanu un pabeigšanu kopā, pirms ievietošanas citā lietojumprogrammā.
Kas strādāja
Publikācijas pipeline
Sanitizētājs saglabāja skaitļus un latentumu, izslēdzot transkriptus, atsauces, uzvednes un lietojumprogrammas kontekstu. Publiskā faila integritāte tiek reģistrēta ar SHA-256 kopsavilkumiem.
Kas paliek
Salīdzināšanas pierādījumi
Cilvēka runa, vairāki akcents un valodas, tiešraides mikrofonu uztvere, kontrolēts termiskais kārtības princips, tīkla novērošana, vairāk ierīču un trešo personu sistēmas joprojām ir nepieciešamas.
03 · Pēc būtības izslēgumi
Ko šis pilots neparāda.
Salīdzināmā veiktspēja pret jebkuru citu produktu.
Veiktspēja cilvēka runā, akcentos vai daudzvalodu runā.
Tiešraides mikrofons, trokšņu noņemšana, klusuma vārti, pirmā vārda vai beigu noplūdes uzvedība.
Veiktspēja aukstā pret siltu kontrolētā termiskā protokolā.
Bezsaistes vai privātuma uzvedība, kas izveidota, novērojot tīklu.
Vispārējs apgalvojums, ka viena neapstrādāta vai apstrādāta konfigurācija ir labāka.
Korpuss, ierīču matrica, secība un termiskā procedūra nebija iepriekš reģistrēta. Šie novērojumi apraksta šīs secīgās darbības, uz šo korpusu, ierīci, programmatūras versiju un datumu.