재현 가능한 말뭉치
공개 라이선스가 있는 음성 및 동의된 스크립트, 지원되는 경우 동일한 오디오 바이트를 사용하여 인식 및 후처리를 분리합니다.
방법론 · 버전 0.1.0
규칙이 결과보다 먼저입니다.
좋은 결과와 나쁜 결과를 동등하게 검토할 수 있도록 하는 사전 등록 스타일 프로토콜. 현재 릴리스는 여전히 파일럿이며, 이 규칙은 미래 벤치마크를 위한 관문을 정의함.
01 · 시스템 정의
제품 이름은 테스트 조건이 아닙니다.
각 시스템은 튜플입니다: 공개 제품 버전, 운영 체제 버전, 엔진 또는 모델 개정, 인식 및 정리에 영향을 미치는 설정, 장치 클래스, 캡처 경로. 서로 다른 튜플의 결과는 절대 무심코 통합되지 않습니다.
제품이 동일한 오디오 경로를 수용할 수 없는 경우, 별도의 층에서 보고됩니다. 라이브 마이크 캡처는 파일 재생과 직접 비교할 수 있는 것으로 제시되지 않습니다.
| 플랫폼 | 기본 클래스 | 현재 클래스 | 목적 |
|---|---|---|---|
| macOS | 항목 Apple Silicon | 현재 Apple Silicon | 로컬 데스크톱 범위 |
| Windows | 주류 x86 노트북 | 현재 성능 노트북 | CPU 및 GPU 변동성 |
| Android | 지원되는 중급 장치 | 현재 플래그십 | 모바일 분산 |
02 · 세 단계
실험실 반복성, 그리고 실제 장치에서의 현실.
실제 기기 캡처
문서화된 룸과 마이크를 통해 보정된 재생을 수행하여 노이즈 제거, 프리롤, 무음 게이트 및 테일 플러시 동작을 노출합니다.
자연스러운 받아쓰기
새로 동의한 화자가 사전 등록된 프롬프트를 읽습니다. 개인 지원 캡처는 절대 공개 코퍼스로 전환되지 않습니다.
보이는 층
언어, 지역적 변이, 지속 시간, 소음, 방 조건, 이름, 숫자, 기술 용어, 일시정지, 그리고 말로 하는 수정.
03 · 주요 지표
WER 는 시작일 뿐, 전체 이야기는 아니다.
Word 오류율은 대체 + 삽입 + 삭제를 참조 단어로 나누어 계산됩니다. 또한 이 연구는 하나의 유창한 성적표가 누락된 문구를 숨길 수 있기 때문에 각 작업을 별도로 보고합니다.
집계 비율은 micro-word-weighted: 작업 횟수와 참조 단어를 합산한 후 비율을 계산합니다. 지연 시간은 샘플 수, 중앙값, p95 및 최대값을 게시합니다. 완료된 파일럿에는 열 상태가 혼합되어 있습니다. 제어된 콜드 및 웜 실행과 실시간 UI 제공은 향후 측정으로 유지됩니다.
처리 시간에는 활성화된 경우 인식, 파이프라인 마무리 및 로컬 정리가 포함됩니다. 초기 런타임 구성, 고정 장치 로딩, 라이브 녹음, 바로가기 디스패치 및 커서 삽입은 제외됩니다. 모든 레인은 최종 평가자 결과에 점수를 매깁니다. 청소 금지 차선에서는 여전히 어휘 및 형식 변경 사항을 적용할 수 있습니다.
지연 시간은 레인당 동일 가중치 디코드 샘플 60개와 R-7 선형 분위수를 사용합니다. 20개의 픽스처에는 패스당 491개의 참조 단어 위치가 포함되어 있으며 1,473 단어 분모에서 3번 계산됩니다. 반복은 독립적인 발언이 아닙니다. 품질 임계값 오류는 계속 포함됩니다. Core ML 정리가 켜진 상태에서 3개, Core ML 정리가 꺼진 상태에서 3개, Whisper가 켜진 상태에서 6개.
해석은 2026년 9월 6일에 수정되었습니다. 원래 숫자는 변경되지 않았습니다. 증거 감사, 외부 참조, 남은 한계 및 재생산 지침을 읽어보세요.
네트워크 관찰
프로토콜은 워크플로가 설정 후 오프라인에서 완료되는지, 관찰된 대상과 바이트, 그리고 오디오 또는 텍스트 페이로드가 장치에서 나가는지 여부를 기록합니다. 패킷 캡처에는 사각지대가 있으므로, 방어 가능한 진술은 “이 테스트에서는 오디오/텍스트 페이로드가 관찰되지 않았다”입니다. 절대 “무엇도 절대 나가지 않는다”고 주장하지 마십시오.
04 · 출판 게이트
모든 게이트가 통과될 때까지 리더보드 없음.
메서드 먼저 고정벤치마크 수집 전에 기록된 버전 및 분석 커밋.
코퍼스 고정됨모든 소스 및 생성된 파일에 대한 변경 불가능한 개정 및 SHA-256 다이제스트.
검토된 참고 문헌모든 시스템에 대한 두 사람 참조 검토 및 한 개의 정규화 정책.
비교 가능한 입력동일한 바이트 또는 명시적이고 별도로 보고된 캡처 계층.
출처 완료제품, 모델, 장치, 설정, 전원 상태 및 캡처 경로 기록.
실패 항목 유지타임아웃과 누락된 전사는 여전히 분모에 남아 있습니다.
운영 조정치환, 삽입 및 삭제는 편집 거리로 합산됩니다.
개인정보 검토정리기 패스와 사람이 공개 아티팩트 경계를 검사함.
충돌 공개됨Yaps의 저작권, 제외 사항, 편차 및 제한 사항은 여전히 두드러집니다.
청구와 함께 제공되는 데이터정리된 행들, 집계, 매니페스트 및 보정 채널을 함께 게시.
05 · 알려진 제한 사항
이 프로토콜이 여전히 볼 수 없는 것.
현재 하니스는 주로 캡처 후 전사 파이프라인을 테스트합니다. 라이브 마이크 스택을 통해 장치 오디오를 완전히 재생하지 않기 때문에 캡처 클리핑, 노이즈 제거 인공물, 사전 롤, 무음 게이팅 및 테일 플러시는 Phase B 계측이 필요합니다.
네트워크 관찰은 암호화된 콘텐츠의 부재를 입증하거나 미래의 행동을 예측할 수 없습니다. 공개 코퍼스는 모든 억양, 장애, 마이크, 방, 또는 즉흥적인 말하기 스타일을 대표할 수 없습니다. 모든 결과는 특정 버전과 날짜에 묶여 있습니다.