Възпроизводим корпус
Публично лицензирана реч и съгласувани скриптове, използващи същите аудио байтове там, където е поддържано, за изолиране на разпознаване и последваща обработка.
Методология · версия 0.1.0
Правилата са преди резултатите.
Протокол в стил предварителна регистрация за правене на благоприятни и неблагоприятни резултати еднакво проверяеми. Настоящото издание все още е пилотно; тези правила определят входа за бъдещ бенчмарк.
01 · Дефиниция на системата
Името на продукт не е тестово условие.
Всяка система е кортеж: публична версия на продукта, версия на операционната система, ревизия на двигателя или модела, настройки, които влияят на разпознаването и почистването, клас на устройството и път за заснемане. Резултатите от различни кортежи никога не се обединяват тихомълком.
Ако продуктът не може да приеме същия аудио път, това се отчита в отделен слой. Стрийминг на живо от микрофон не се представя като директно сравним с възпроизвеждане на файл.
| Платформа | Базов клас | Текущ клас | Цел |
|---|---|---|---|
| macOS | Запис Apple Silicon | Текущ Apple Silicon | Диапазон на местния десктоп |
| Windows | Основен x86 лаптоп | Текущ ноутбук за висока производителност | CPU и GPU вариация |
| Android | Поддържани устройства среден клас | Текущ водещ продукт | Вариация за мобилни |
02 · Три фази
Повторяемост в лаборатория, след това реалност с реално устройство.
Заснемане с реално устройство
Калибрирано възпроизвеждане през документирани стаи и микрофони, за да се разкрие поведението на премахване на шум, предвучене, гейт на тишина и избиване на опашка.
Естествено диктуване
Ново съгласие от говорители, които четат предварително регистрирани подсказки. Личните записи за подкрепа никога не се промотират в публичния корпус.
Видими слоеве
Език, регионален вариант, продължителност, шум, условия на стаята, имена, числа, технически термини, паузи и говорни корекции.
03 · Основни показатели
WER е началото, не цялата история.
Word процент грешки се изчислява като замествания плюс вмъквания плюс изтривания, разделени на референтни думи. Проучването също така отчита всяка операция поотделно, тъй като един свободен препис може да скрие липсваща фраза.
Обобщените проценти са micro-word-weighted: броят на операциите и референтните думи се сумират преди да се изчисли скоростта. Закъснението публикува брой проби, медиана, p95 и максимум. Завършеният пилот има смесено термично състояние; контролираните студени и топли работи и доставката на потребителски интерфейс на живо остават бъдещи измервания.
Времето за обработка включва разпознаване, финализиране на конвейера и локално почистване, когато е активирано. Изключва първоначална конструкция по време на изпълнение, зареждане на приспособления, запис на живо, изпращане на пряк път и вмъкване на курсор. Всички ленти оценяват крайния резултат от оценителя; лентите за почистване все още могат да прилагат промени в речника и форматирането.
Латентността използва 60 еднакво претеглени проби за декодиране на лента и R-7 линейни квантили. 20-те срещи съдържат 491 позиции на референтни думи на пас, преброени три пъти в знаменателя от 1473 думи. Повторенията не са независими изказвания. Неизправностите на прага на качеството остават включени: 3 с включено почистване на Core ML, 3 с изключено почистване на Core ML и 6 с Whisper.
Тълкуването е коригирано на 6 септември 2026 г. Оригиналните номера са непроменени. Прочетете одита на доказателствата, външни препратки, оставащи ограничения и инструкции за възпроизвеждане.
Наблюдение на мрежата
Протоколът записва дали работният процес завършва офлайн след настройката, наблюдаваните дестинации и байтовете, както и дали са наблюдавани аудио или текстови данни, напускащи устройството. Улавянето на пакети има слепи зони, затова защитимото твърдение е „в този тест не беше наблюдаван аудио/текстов поток“. Никога не твърдете „нищо никога не излиза“.
04 · Врати за публикуване
Няма класация, докато всички портали не бъдат преминати.
Методът е замразен първоВерсията и комитът на анализа са записани преди събирането на бенчмарка.
Корпус фиксиранНепроменяеми редакции и SHA-256 хешове за всеки изходен и генериран файл.
Прегледани препраткиПреглед на справка от двама души и една политика за нормализация за всяка система.
Входове за сравнениеСъщите байтове или изрично, отделно отчетен слой на улавяне.
Произход завършенЗаписан продукт, модел, устройство, настройки, състояние на захранването и път за заснемане.
Запазени грешкиВременните прекъсвания и липсващите транскрипции остават в знаменателя.
Операциите съгласуватЗамяната, вмъкването и изтриването се сумират в редакционното разстояние.
Преглед на поверителносттаПресе на санитайзера и човешка проверка на границите на публичния артефакт.
Разкрит конфликтАвторството, изключенията, отклоненията и ограниченията на Yaps остават видими.
Данните се доставят с претенцииОпростени редове, агрегати, манифести и канал за публикуване на корекции заедно.
05 · Известни ограничения
Какво този протокол все още не може да види.
Текущото окабеляване основно тества транскрипционния процес след заснемане. То не възпроизвежда пълно аудиото на инсталациите чрез живата микрофонна система, затова засичането на отчупване, артефакти от намаляване на шума, предварителен запис, заглушаване на тишината и изчистване на опашката изискват инструментариум за Фаза B.
Наблюдението на мрежата не може да докаже отсъствието на криптирано съдържание или да предскаже бъдещо поведение. Публичен корпус не може да представя всеки акцент, увреждане, микрофон, стая или спонтанен начин на говорене. Всеки резултат е свързан със специфична версия и дата.