一致するクリーンアップオフ設定
クリーンアップをオフにした Whisper Base は、クリーンアップをオフにした Core ML Parakeet よりも 2.85 パーセント ポイント高かった WER、削除率 0.20 ポイント、中央値が 595 ミリ秒高く、p95 が 947 ミリ秒高かったパイロットが走行します。
パイロット結果 · 解釈修正 2026 年 9 月 6 日
三つのテストカテゴリー。一つの限定的なパイロット研究。
同じ 20 個のクリーンな合成フィクスチャを、Yaps 2.3.2129 を使用して 1 つの M1 Max MacBook Pro でレーンごとに 3 回デコードしました。Core ML Parakeet および Whisper Base は Yaps 内のモデル構成であり、競合製品ではありません。
01 ・集計レコード
ローカルクリーンアップによる認識、合わせて測定。
| Yaps 出力レーン | 役割 | 走る | 単語、繰り返しあり | マイクロ WER | 削除率 | 中央値処理用 | p95 処理 | 最大処理量 |
|---|---|---|---|---|---|---|---|---|
| Core ML Parakeet とローカルクリーンアップが必要です | クリーンアップオン | 60 | 1,473 | 3.46% | 0.41% | 1,124 ms | 2,807 ms | 2,958 ms |
| Core ML Parakeet、クリーンアップオフ | クリーンアップをオフ | 60 | 1,473 | 3.67% | 0.20% | 250 ms | 722 ms | 1,863 ms |
| Whisper Base、クリーンアップオフ | クリーンアップをオフ | 60 | 1,473 | 6.52% | 0.41% | 844 ms | 1,669 ms | 2,189 ms |
処理時間には、認識、パイプラインのファイナライズ、有効時のローカル クリーンアップが含まれます。これには、最初のランタイム構築、フィクスチャのロード、ライブレコーディング、ショートカットのディスパッチ、カーソル挿入は含まれません。すべてのレーンが最終評価出力をスコア化します。クリーンアップオフレーンでも語彙や書式の変更を適用できます。
レイテンシは、レーンごとに 60 個の均等に重み付けされたデコード サンプルと R-7 線形分位数を使用します。20 個のフィクスチャには、パスごとに 491 個の参照単語位置が含まれており、1,473 単語の分母で 3 回カウントされます。繰り返しは独立した発話ではありません。品質しきい値エラーも引き続き含まれます。Core ML クリーンアップがオンの場合が 3 件、Core ML クリーンアップがオフの場合が 3 件、Whisper の場合が 6 件です。
解釈は 2026 年 9 月 6 日に修正されました。元の数値は変更されていません。 証拠監査、外部参照、残りの制限、および再現指示を読み上げます。
「マイクロ」とは、各レートを計算する前に編集操作の数と参照単語が合計されたことを意味します。これは、クリップごとのパーセンテージのマクロ平均ではありません。
02 · 読み取り制限
この 3 行でサポートできるもの。
認識とクリーンアップを一緒に行う
Core ML クリーンアップが有効なレーンにはローカル セマンティック クリーンアップが含まれます。中央値 1,124 ミリ秒と p95 の 2,807 ミリ秒は、別のアプリケーションに挿入する前の認識と最終処理をまとめて示しています。
公開パイプライン
サニタイザーは、トランスクリプト、参照、プロンプト、アプリケーション コンテキストを除外しながら、カウントとレイテンシーを保持しました。パブリック ファイルの整合性は SHA-256 ダイジェストで記録されます。
ベンチマークの証拠
人間の音声、複数のアクセントと言語、ライブマイクキャプチャ、制御された熱秩序、ネットワーク観察、より多くのデバイス、およびサードパーティシステムが依然として必要です。
03 ・明示的な除外
このパイロットでは表示されないもの。
- 他の製品とのパフォーマンスの比較。
- 人間の音声、アクセント、または多言語音声に対するパフォーマンス。
- ライブマイク、ノイズ除去、沈黙ゲート、ファーストワード、またはテールフラッシュ動作。
- 制御された熱プロトコルの下での低温と高温のパフォーマンス。
- ネットワーク監視を通じて確立されたオフラインまたはプライバシー行動。
- 一般的には、未処理の構成またはクリーンな構成が 1 つある方が優れているという主張があります。
コーパス、デバイスマトリックス、順序、および熱手順は事前に登録されていませんでした。これらの観察は、このコーパス、デバイス、ソフトウェア バージョン、および日付での一連の実行を説明します。