Резултати от пилотния проект · коригирана интерпретация 6 септември 2026 г.
Три тестови категории. Едно ограничено пилотно проучване.
Същите 20 чисти синтетични приспособления, декодирани три пъти на лента на един M1 Max MacBook Pro, използвайки Yaps 2.3.2129. Core ML Parakeet и Whisper Base са конфигурации на модели в Yaps, а не конкурентни продукти.
01 · Сборен запис
Разпознаване с локално почистване, измерени заедно.
Yaps синтетичен пилот за възпроизвеждане на фиксирани данни. По-ниските WER, ниво на изтриване и стойности на закъснение показват по-малко грешки или по-кратко време за обработка в точно тази конфигурация на изпълнение; те не са класации на продуктите.
Yaps изходна пътека
Роля
Изпълнения
Думи, с повторения
Микро WER
Честота на изтриване
Средна обработка
p95 обработка
Максимална обработка
Core ML Parakeet + локално почистване
Почистване на
60
1,473
3.46%
0.41%
1,124 ms
2,807 ms
2,958 ms
Core ML Parakeet, почистване изключено
Почистването е изключено
60
1,473
3.67%
0.20%
250 ms
722 ms
1,863 ms
Whisper Base, изчистване
Почистването е изключено
60
1,473
6.52%
0.41%
844 ms
1,669 ms
2,189 ms
Времето за обработка включва разпознаване, финализиране на конвейера и локално почистване, когато е активирано. Изключва първоначална конструкция по време на изпълнение, зареждане на приспособления, запис на живо, изпращане на пряк път и вмъкване на курсор. Всички ленти оценяват крайния резултат от оценителя; лентите за почистване все още могат да прилагат промени в речника и форматирането.
Латентността използва 60 еднакво претеглени проби за декодиране на лента и R-7 линейни квантили. 20-те срещи съдържат 491 позиции на референтни думи на пас, преброени три пъти в знаменателя от 1473 думи. Повторенията не са независими изказвания. Неизправностите на прага на качеството остават включени: 3 с включено почистване на Core ML, 3 с изключено почистване на Core ML и 6 с Whisper.
„Микро“ означава, че броят на операциите за редактиране и референтните думи са сумирани преди изчисляването на всеки процент. Това не е макро средното на процентите за отделните клипове.
02 · Ограничено четене
Какво могат да поддържат тези три реда.
Почистването е изключено
Съответстващи конфигурации за изчистване
Whisper Base с изключено почистване имаше 2,85 процентни пункта по-висока WER, 0,20 точки по-висока скорост на изтриване, 595 ms по-висока медиана и 947 ms по-високо p95 от Core ML Parakeet с изключено почистване в тези съвпадащи пилотни изпълнения.
Лента с възможност за почистване
Разпознаване и почистване заедно
Core ML лентата с разрешено почистване включва локално семантично почистване. Неговата медиана от 1124 ms и 2807 ms p95 описват разпознаването и финализирането заедно, преди вмъкване в друго приложение.
Какво работи
Публикационен процес
Очистителят запази броя и закъснението, като изключи транскрипти, препратки, подканвания и контекст на приложението. Цялостта на публичните файлове се записва с SHA-256 хешове.
Какво остава
Доказателства от бенчмаркове
Човешката реч, множество акценти и езици, директно записване чрез микрофон, контролиран термичен ред, наблюдение на мрежата, повече устройства и системи на трети страни все още са необходими.
03 · Явни изключения
Какво този пилот не показва.
Сравнително представяне спрямо който и да е друг продукт.
Представяне на човешка реч, акценти или многоезична реч.
Жив микрофон, премахване на шум, врата на тишината, първо слово или поведение на остатъчния звук.
Представяне при студени спрямо топли условия под контролиран термичен протокол.
Офлайн или поведение за поверителност, установено чрез наблюдение на мрежата.
Общо твърдение, че една сурова или почистена конфигурация е по-добра.
Корпусът, матрицата на устройството, редът и термичната процедура не бяха предварително регистрирани. Тези наблюдения описват тези последователни изпълнения, на този корпус, устройство, версия на софтуера и дата.