Воспроизводимый корпус
Речь и согласованные сценарии, распространяемые по публичной лицензии, с использованием тех же аудиобайтов, где они поддерживаются, для изоляции распознавания и постобработки.
Методика · версия 0.1.0
Правила идут перед результатами.
Протокол в стиле предварительной регистрации, позволяющий одинаково контролировать как благоприятные, так и неблагоприятные результаты. Текущая версия все еще является пилотной;эти правила определяют путь к будущему эталону.
01 · Определение системы
Название продукта не является условием тестирования.
Каждая система представляет собой кортеж: общедоступную версию продукта, версию операционной системы, версию ядра или модели, настройки, влияющие на распознавание и очистку, класс устройства и путь захвата. Результаты из разных кортежей никогда не объединяются автоматически.
Если продукт не может принять тот же аудиотракт, об этом сообщается в отдельном слое. Запись с микрофона в прямом эфире не представляется прямой сравнимой с воспроизведением файла.
| Платформа | Базовый класс | Текущий класс | Назначение |
|---|---|---|---|
| macOS | Запись Apple Silicon | Текущий Apple Silicon | Диапазон локальных рабочих столов |
| Windows | Универсальный ноутбук x86 | Ноутбук текущей производительности | Разница в процессорах и графических процессорах |
| Android | Поддерживается устройство среднего класса | Текущий флагман | Мобильная дисперсия |
02 · Три фазы
Лабораторная повторяемость, затем реальность реального устройства.
Захват данных с реального устройства
Калиброванное воспроизведение через задокументированные комнаты и микрофоны для выявления шумоподавления, предварительной прокрутки, подавления тишины и хвостового потока.
Естественный диктант
Недавно согласившиеся докладчики читают предварительно зарегистрированные подсказки. Информация о частной поддержке никогда не попадает в публичный корпус.
Видимые слои
Язык, региональное разнообразие, продолжительность, шум, условия в помещении, имена, цифры, технические термины, паузы и устные исправления.
03 · Первичные метрики
WER — это начало, а не вся история.
Word процент ошибок рассчитывается как замены плюс вставки плюс удаления, разделенные на опорные слова. В исследовании также сообщается о каждой операции отдельно, поскольку одна беглая расшифровка может скрыть недостающую фразу.
Агрегированные ставки micro-word-weighted: количество операций и ссылочные слова суммируются перед расчетом ставки. Задержка публикует количество образцов, медиану, p95 и максимум. Готовый пилот имеет смешанное тепловое состояние; контролируемые «холодные» и «горячие» запуски, а также интерактивная доставка пользовательского интерфейса останутся в будущем.
Время обработки включает в себя распознавание, завершение конвейера и локальную очистку, если эта функция включена. Он исключает начальное построение среды выполнения, загрузку приборов, запись в реальном времени, отправку ярлыков и вставку курсора. Все дорожки оценивают окончательные результаты оценки; полосы очистки по-прежнему могут применять изменения словаря и форматирования.
Для задержки используется 60 равновзвешенных выборок декодирования на полосу и линейные квантили R-7. 20 приборов содержат 491 позицию опорного слова за проход, что учитывается три раза в знаменателе из 1473 слов. Повторы не являются самостоятельными высказываниями. Ошибки порога качества остаются включенными: 3 с включенной очисткой Core ML, 3 с отключенной очисткой Core ML и 6 с Whisper.
Интерпретация исправлена 6 сентября 2026 г. Исходные цифры не изменены. Прочитать доказательства аудита, внешние ссылки, оставшиеся ограничения и инструкции по воспроизведению.
Сетевое наблюдение
Протокол записывает, завершается ли рабочий процесс в автономном режиме после настройки, наблюдаются места назначения и байты, а также наблюдались ли аудио- или текстовые полезные данные, покидающие устройство. У захвата пакетов есть «слепые зоны», поэтому можно утверждать, что «в этом тесте не наблюдалось никакой аудио-/текстовой полезной нагрузки».Никогда не заявляйте: «Ничто никогда не уходит».
04 · Публикационные ворота
Никакой таблицы лидеров, пока не пройдут все ворота.
Метод заморожен первымФиксация версии и анализа записывается перед сбором тестов.
Корпус закрепленНеизменяемые версии и дайджесты SHA-256 для каждого исходного и отправляемого файла.
Просмотренные ссылкиСправочный анализ двумя людьми и одна политика нормализации для каждой системы.
Входные данные сопоставимыТе же байты или явный, отдельно сообщаемый уровень захвата.
Происхождение завершеноЗаписан продукт, модель, устройство, настройки, состояние питания и путь захвата.
Неисправности сохраненыТаймауты и недостающие расшифровки остаются в знаменателе.
Согласование операцийЗамены, вставки и удаления увеличивают расстояние редактирования.
Проверка конфиденциальностиПроходит дезинфицирующее средство, и человек осматривает границу публичного артефакта.
Конфликт раскрытАвторство Yaps, исключения, отклонения и ограничения остаются значительными.
Данные отправляются с претензиямиСанированные строки, агрегаты, манифесты и канал коррекции публикуются вместе.
05 · Известные ограничения
Что этот протокол пока не видит.
Текущий жгут в основном проверяет конвейер транскриптов после захвата. Он не полностью воспроизводит звук прибора через стек живых микрофонов, поэтому для обрезки захвата, шумоподавления, предварительной прокрутки, стробирования тишины и хвостового потока требуются инструменты фазы B.
Сетевое наблюдение не может доказать отсутствие зашифрованного контента или предсказать будущее поведение. Публичный корпус не может отражать каждый акцент, инвалидность, микрофон, комнату или стиль спонтанной речи. Каждый результат привязан к конкретной версии и дате.