Résultats pilotes · interprétation corrigée 6 septembre 2026
Trois catégories de tests. Une étude pilote limitée.
Les mêmes 20 luminaires synthétiques propres, décodés trois fois par voie sur un M1 Max MacBook Pro utilisant Yaps 2.3.2129. Core ML Parakeet et Whisper Base sont des configurations de modèles à l'intérieur de Yaps, et non des produits concurrents.
01 · Fiche agrégée
Reconnaissance avec nettoyage local, mesurées ensemble.
Pilote de replay synthétique Yaps. Des valeurs inférieures de WER, de taux de suppression et de latence indiquent moins d'erreurs ou un temps de traitement plus court dans cette configuration d'exécution exacte ;ce ne sont pas des classements de produits.
Voie de sortie Yaps
Rôle
Fonctionne
Mots, avec répétitions
Micro WER
Taux de suppression
Traitement médian
Traitement p95
Traitement maximum
Core ML Parakeet + nettoyage local
Cleanup sur
60
1,473
3.46%
0.41%
1,124 ms
2,807 ms
2,958 ms
Core ML Parakeet, nettoyage désactivé
Nettoyage désactivé
60
1,473
3.67%
0.20%
250 ms
722 ms
1,863 ms
Whisper Base, nettoyage de
Nettoyage désactivé
60
1,473
6.52%
0.41%
844 ms
1,669 ms
2,189 ms
Le temps de traitement inclut la reconnaissance, la finalisation du pipeline et le nettoyage local lorsqu'il est activé. Il exclut la construction initiale du runtime, le chargement des appareils, l'enregistrement en direct, l'envoi de raccourcis et l'insertion de curseur. Tous les couloirs obtiennent le résultat final de l'évaluateur ; les voies de nettoyage peuvent toujours appliquer des modifications de vocabulaire et de formatage.
La latence utilise 60 échantillons de décodage équipondérés par voie et des quantiles linéaires R-7. Les 20 rencontres contiennent 491 positions de mots de référence par passe, comptées trois fois dans le dénominateur de 1 473 mots. Les répétitions ne sont pas des énoncés indépendants. Les échecs de seuil de qualité restent inclus : 3 avec le nettoyage Core ML activé, 3 avec le nettoyage Core ML désactivé et 6 avec Whisper.
« Micro » signifie que le nombre d'opérations d'édition et les mots de référence ont été additionnés avant de calculer chaque taux. Il ne s’agit pas de la moyenne macro des pourcentages par clip.
02 · Lecture limitée
Ce que ces trois lignes peuvent supporter.
Nettoyage désactivé
Configurations de nettoyage correspondantes
Whisper Base avec nettoyage désactivé avait un WER 2,85 points de pourcentage plus élevé, un taux de suppression 0,20 point plus élevé, une médiane plus élevée de 595 ms et un p95 plus élevé de 947 ms que Core ML Parakeet avec nettoyage désactivé dans ces pilotes correspondants court.
Voie activée pour le nettoyage
Reconnaissance et nettoyage ensemble
La voie activée pour le nettoyage Core ML inclut le nettoyage sémantique local. Ses 1 124 ms médianes et 2 807 ms p95 décrivent ensemble la reconnaissance et la finalisation, avant insertion dans une autre application.
Ce qui a fonctionné
Pipeline de publication
Le désinfectant a conservé les décomptes et la latence tout en excluant les transcriptions, les références, les invites et le contexte de l'application. L'intégrité des fichiers publics est enregistrée avec les résumés SHA-256.
Ce qui reste
Preuve de référence
La parole humaine, les accents et langues multiples, la capture de microphones en direct, l'ordre thermique contrôlé, l'observation du réseau, davantage d'appareils et de systèmes tiers sont toujours nécessaires.
03 · Exclusions explicites
Ce que ce pilote ne montre pas.
Performances comparatives avec tout autre produit.
Performance sur la parole humaine, les accents ou la parole multilingue.
Comportement de microphone en direct, débruitage, silence-gate, premier mot ou tail-flush.
Performance froid/chaud sous protocole thermique maîtrisé.
Comportement hors ligne ou de confidentialité établi par observation du réseau.
Une affirmation générale selon laquelle une configuration brute ou nettoyée est meilleure.
Le corpus, la matrice du dispositif, l'ordre et la procédure thermique n'étaient pas préenregistrés. Ces observations décrivent ces exécutions séquentielles, sur ce corpus, cet appareil, cette version du logiciel et cette date.