Відтворюваний корпус
Публічна ліцензована мова та погоджені скрипти, використовуючи ті самі аудіобайти, де це підтримується, для ізоляції розпізнавання та постобробки.
Методологія · версія 0.1.0
Правила важливіші за результати.
Протокол у стилі попередньої реєстрації для того, щоб сприятливі та несприятливі результати були однаково перевірюваними. Поточний випуск ще пілотний; ці правила визначають ворота для майбутнього бенчмарку.
01 · Визначення системи
Назва продукту не є тестовою умовою.
Кожна система є кортежем: публічна версія продукту, версія операційної системи, редакція двигуна або моделі, налаштування, що впливають на розпізнавання та очищення, клас пристрою та шлях захоплення. Результати з різних кортежів ніколи не об’єднуються непомітно.
Якщо продукт не може прийняти той самий аудіошлях, це повідомляється у окремому шарі. Пряме записування звуку з мікрофона не подається як безпосередньо порівнянне з відтворенням файлу.
| Платформа | Базовий клас | Поточний клас | Мета |
|---|---|---|---|
| macOS | Запис Apple Silicon | Поточний Apple Silicon | Локальний діапазон робочого столу |
| Windows | Поширений x86 ноутбук | Поточний продуктивний ноутбук | варіація CPU та GPU |
| Android | Підтримувані пристрої середнього класу | Поточний флагман | Мобільні варіанти |
02 · Три фази
Повторюваність у лабораторії, а потім реальна ситуація з пристроєм.
Зйомка на реальному пристрої
Калібрована відтворення через документовані кімнати та мікрофони для виявлення шумоподавлення, попереднього відтворення, гейту тиші та поведінки хвоста.
Природне диктування
Нові доповідачі, які дали згоду, читають попередньо зареєстровані підказки. Приватні записи підтримки ніколи не включаються до публічного корпусу.
Видимі шари
Мова, регіональні варіанти, тривалість, шум, умови в кімнаті, імена, числа, технічні терміни, паузи та усні виправлення.
03 · Основні метрики
WER - це початок, а не вся історія.
Word рівень помилок обчислюється як заміни плюс вставки плюс видалення, поділені на контрольні слова. Дослідження також звітує про кожну операцію окремо, тому що одна вільна транскрипція може приховати відсутню фразу.
Агреговані ставки є micro-word-weighted: кількість операцій і контрольні слова підсумовуються перед обчисленням ставки. Затримка публікує вибіркову кількість, медіану, p95 і максимум. Готовий пілот має змішаний тепловий стан; контрольовані холодні та теплі прогони та живий інтерфейс користувача залишаються майбутніми вимірюваннями.
Час обробки включає розпізнавання, фіналізацію конвеєра та локальне очищення, якщо ввімкнено. Це виключає початкову конструкцію середовища виконання, завантаження приладів, живий запис, відправку ярликів і вставку курсору. Усі доріжки оцінюють остаточний результат оцінювача; смуги очищення все ще можуть застосовувати зміни словника та форматування.
Затримка використовує 60 однаково зважених зразків декодування на доріжку та лінійні квантилі R-7. 20 тестів містять 491 позицію довідкового слова за проходження, враховуючи три рази в знаменнику з 1473 слів. Повтори не є самостійними висловлюваннями. Помилки порогу якості залишаються включеними: 3 з увімкненим очищенням Core ML, 3 з вимкненим очищенням Core ML і 6 з Whisper.
Інтерпретацію виправлено 6 вересня 2026 р. Оригінальні номери не змінені. Прочитайте перевірку доказів, зовнішні посилання, інші обмеження та інструкції щодо відтворення.
Спостереження за мережею
Протокол фіксує, чи виконується робочий процес офлайн після налаштування, спостережувані цілі та байти, а також чи спостерігалися аудіо- або текстові дані, що залишають пристрій. Захоплення пакетів має сліпі зони, тому захищеним твердженням є «у цьому тесті аудіо/текстові дані не спостерігалися». Ніколи не стверджуйте, що «нічого ніколи не виходить».
04 · Публікаційні ворота
Немає таблиці лідерів, поки не будуть пройдені всі ворота.
Метод заморожено першийВерсія та коміт аналізу зафіксовані перед збором бенчмарку.
Прикріплений корпусНезмінні ревізії та дайджести SHA-256 для кожного вихідного та згенерованого файлу.
Переглянуті посиланняОгляд із двома особами та одна політика нормалізації для кожної системи.
Входи, що підлягають порівняннюТі самі байти або явний, окремо звітований шар захоплення.
Походження завершеноЗаписано продукт, модель, пристрій, налаштування, стан живлення та шлях захоплення.
Помилки збереженоТайм-аути та відсутні транскрипти залишаються в знаменнику.
Операції звіряютьЗамінення, вставки та видалення сумуються, утворюючи відстань редагування.
Огляд приватностіПроходи санітайзера, і людина перевіряє межі публічного артефакту.
Конфлікт розкритоАвторство Yaps, виключення, відхилення та обмеження залишаються помітними.
Дані постачаються з вимогамиОчищені рядки, агрегати, маніфести та канал виправлень публікуються разом.
05 · Відомі обмеження
Що цей протокол досі не може побачити.
Поточний стенд головним чином тестує конвеєр транскрипції після запису. Він не повністю відтворює аудіо пристрою через стек живого мікрофона, тому обрізання запису, артефакти шумоприглушення, попередній прогін, глушіння тиші та промивка хвоста потребують інструментування на фазі B.
Спостереження за мережею не може довести відсутність зашифрованого вмісту або передбачити майбутню поведінку. Публічний корпус не може представляти кожен акцент, інвалідність, мікрофон, кімнату або імпровізований стиль мовлення. Кожен результат пов’язаний з конкретною версією та датою.