일치하는 정리 해제 구성
Whisper Base는 일치된 파일럿 실행에서 정리가 꺼진 Core ML Parakeet보다 WER 2.85% 포인트 더 높았고, 삭제율은 0.20포인트 더 높았으며, 중앙값은 595ms 더 높았고, p95는 947ms 더 높았습니다.
파일럿 결과 · 해석이 2026년 9월 6일 수정됨
세 가지 테스트 카테고리. 하나의 제한된 파일럿 연구.
동일한 20개의 깨끗한 합성 고정 장치가 Yaps 2.3.2129를 사용하여 하나의 M1 Max MacBook Pro에서 레인당 3번 디코딩되었습니다. Core ML Parakeet 및 Whisper Base는 경쟁사 제품이 아닌 Yaps 내부 모델 구성입니다.
01 · 집계 기록
로컬 정리로 인식, 함께 측정됩니다.
| Yaps 출력 라인 | 역할 | 실행됨 | 반복되는 단어 | 마이크로 WER | 삭제율 | 중앙값 처리 | p95 처리 | 최대 처리량 |
|---|---|---|---|---|---|---|---|---|
| Core ML Parakeet + 로컬 정리 | 정리 사용 중 | 60 | 1,473 | 3.46% | 0.41% | 1,124 ms | 2,807 ms | 2,958 ms |
| Core ML Parakeet, 정리 끄기 | 정리 꺼짐 | 60 | 1,473 | 3.67% | 0.20% | 250 ms | 722 ms | 1,863 ms |
| Whisper Base, 정리 꺼짐 | 정리 꺼짐 | 60 | 1,473 | 6.52% | 0.41% | 844 ms | 1,669 ms | 2,189 ms |
처리 시간에는 활성화된 경우 인식, 파이프라인 마무리 및 로컬 정리가 포함됩니다. 초기 런타임 구성, 고정 장치 로딩, 라이브 녹음, 바로가기 디스패치 및 커서 삽입은 제외됩니다. 모든 레인은 최종 평가자 결과에 점수를 매깁니다. 청소 금지 차선에서는 여전히 어휘 및 형식 변경 사항을 적용할 수 있습니다.
지연 시간은 레인당 동일 가중치 디코드 샘플 60개와 R-7 선형 분위수를 사용합니다. 20개의 픽스처에는 패스당 491개의 참조 단어 위치가 포함되어 있으며 1,473 단어 분모에서 3번 계산됩니다. 반복은 독립적인 발언이 아닙니다. 품질 임계값 오류는 계속 포함됩니다. Core ML 정리가 켜진 상태에서 3개, Core ML 정리가 꺼진 상태에서 3개, Whisper가 켜진 상태에서 6개.
해석은 2026년 9월 6일에 수정되었습니다. 원래 숫자는 변경되지 않았습니다. 증거 감사, 외부 참조, 남은 한계 및 재생산 지침을 읽어보세요.
“마이크로”는 각 비율을 계산하기 전에 편집 작업 수와 참고 단어를 합산한 것을 의미합니다. 이는 클립별 백분율의 매크로 평균이 아닙니다.
02 · 제한된 읽기
이 세 열이 지원할 수 있는 것
인식과 정리를 함께
Core ML 정리 지원 레인에는 로컬 의미 정리가 포함됩니다. 중앙값 1,124ms와 p95 2,807ms는 다른 응용 프로그램에 삽입되기 전 인식 및 마무리를 함께 설명합니다.
출판 파이프라인
살균기는 전사본, 참조, 프롬프트 및 애플리케이션 컨텍스트를 제외하면서 카운트와 지연 시간을 유지했습니다. 공개 파일 무결성은 SHA-256 다이제스트로 기록됩니다.
벤치마크 증거
인간의 음성, 다양한 억양과 언어, 실시간 마이크 캡처, 제어된 열 순서, 네트워크 관찰, 더 많은 장치 및 타사 시스템은 여전히 필요합니다.
03 · 명시적 제외
이 파일럿이 보여주지 않는 것
- 다른 제품과의 비교 성능.
- 인간의 음성, 억양 또는 다국어 음성에 대한 성능.
- 실시간 마이크, 노이즈 제거, 침묵 게이트, 첫 단어, 또는 끝 정리 동작.
- 관리된 열 프로토콜에서의 냉-온 성능.
- 네트워크 관찰을 통해 확립된 오프라인 또는 프라이버시 동작.
- 어떤 원시 또는 정리된 구성(configuration)이 더 낫다는 일반적인 주장.
코퍼스, 장치 매트릭스, 순서, 그리고 열 절차는 사전 등록되지 않았습니다. 이 관찰들은 이 코퍼스, 장치, 소프트웨어 버전, 그리고 날짜에서의 이러한 순차적 실행을 설명합니다.