Corpus reproducible
Discurso con licencia pública y guiones consentidos, utilizando los mismos bytes de audio cuando se admitieron para aislar el reconocimiento y el posprocesamiento.
Metodología · versión 0.1.0
Las reglas vienen antes de los resultados.
Un protocolo estilo prerregistro para hacer que los resultados favorables y desfavorables sean igualmente inspeccionables. La versión actual sigue siendo piloto;estas reglas definen la puerta para un futuro punto de referencia.
01 · Definición del sistema
El nombre de un producto no es una condición de prueba.
Cada sistema es una tupla: versión pública del producto, versión del sistema operativo, revisión del motor o modelo, configuraciones que afectan el reconocimiento y la limpieza, clase de dispositivo y ruta de captura. Los resultados de diferentes tuplas nunca se agrupan de forma silenciosa.
Si un producto no puede aceptar la misma ruta de audio, se reporta en un estrato separado. Una captura de micrófono en vivo no se presenta como directamente comparable con la reproducción de un archivo.
| Plataforma | Clase de referencia | Clase actual | Finalidad |
|---|---|---|---|
| macOS | Entrada Apple Silicon | Apple Silicon actual | Rango de escritorio local |
| Windows | Portátil x86 convencional | Rendimiento actual portátil | Variación de CPU y GPU |
| Android | Dispositivo de gama media compatible | Actual buque insignia | Variación móvil |
02 · Tres fases
Repetibilidad de laboratorio, luego realidad del dispositivo real.
Captura de dispositivo real
Reproducción calibrada a través de salas y micrófonos documentados para exponer el comportamiento de eliminación de ruido, pre-roll, silencio y cola.
Dictado natural
Oradores recién consentidos leyendo mensajes preinscritos. Las capturas de apoyo privado nunca se promueven al corpus público.
Estratos visibles
Idioma, variedad regional, duración, ruido, condiciones de la sala, nombres, números, términos técnicos, pausas y correcciones habladas.
03 · Métricas primarias
WER es el comienzo, no la historia completa.
Word La tasa de error se calcula como sustituciones más inserciones más eliminaciones, divididas por palabras de referencia. El estudio también informa cada operación por separado porque una sola transcripción fluida puede ocultar una frase faltante.
Las tasas agregadas son micro-word-weighted: los recuentos de operaciones y las palabras de referencia se suman antes de calcular la tarifa. Latencia publica el recuento de muestras, la mediana, p95 y el máximo. El piloto completado tiene un estado térmico mixto; Las ejecuciones controladas en frío y en caliente y la entrega de UI en vivo siguen siendo medidas futuras.
El tiempo de procesamiento incluye reconocimiento, finalización de canalización y limpieza local cuando está habilitado. Excluye la construcción del tiempo de ejecución inicial, la carga de dispositivos, la grabación en vivo, el envío de accesos directos y la inserción del cursor. Todos los carriles califican el resultado final del evaluador; Los carriles de limpieza aún pueden aplicar cambios de vocabulario y formato.
La latencia utiliza 60 muestras de decodificación igualmente ponderadas por carril y cuantiles lineales R-7. Los 20 partidos contienen 491 posiciones de palabras de referencia por pase, contadas tres veces en el denominador de 1.473 palabras. Las repeticiones no son expresiones independientes. Las fallas de umbral de calidad permanecen incluidas: 3 con la limpieza Core ML activada, 3 con la limpieza Core ML desactivada y 6 con Whisper.
Interpretación corregido el 6 de septiembre de 2026. Los números originales no cambian. Leer la auditoría de evidencias, referencias externas, restantes limitaciones e instrucciones de reproducción.
Observación de la red
El protocolo registra si un flujo de trabajo se completa sin conexión después de la configuración, los destinos y bytes observados, y si se observaron cargas útiles de audio o texto saliendo del dispositivo. La captura de paquetes tiene puntos ciegos, por lo que la afirmación defendible es "no se observó ninguna carga útil de audio/texto en esta prueba".Nunca digas que “nunca nada se va”.
04 · Puertas de publicación
No hay clasificación hasta que pasen todas las puertas.
Método congelado primeroConfirmación de versión y análisis registrada antes de la recopilación de puntos de referencia.
Corpus fijadoRevisiones inmutables y resúmenes SHA-256 para cada fuente y archivo emitido.
Referencias revisadasRevisión de referencias por dos personas y una política de normalización para cada sistema.
Entradas comparablesLos mismos bytes o un estrato de captura explícito y notificado por separado.
Procedencia completaProducto, modelo, dispositivo, configuración, estado de energía y ruta de captura registrados.
Fallos retenidosLos tiempos de espera y las transcripciones faltantes permanecen en el denominador.
Conciliación de operacionesLas sustituciones, inserciones y eliminaciones se suman para editar la distancia.
Revisión de privacidadPasa el desinfectante y un humano inspecciona el límite del artefacto público.
Conflicto reveladoLa autoría, las exclusiones, las desviaciones y las limitaciones de Yaps siguen siendo prominentes.
Los datos se envían con reclamacionesFilas desinfectadas, agregados, manifiestos y canal de corrección se publican juntos.
05 · Limitaciones conocidas
Lo que este protocolo aún no puede ver.
El arnés actual prueba principalmente la canalización de transcripción después de la captura. No reproduce completamente el audio del dispositivo a través de la pila de micrófonos en vivo, por lo que capturar recortes, artefactos de eliminación de ruido, pre-roll, activación de silencio y descarga de cola requieren instrumentación de Fase B.
La observación de la red no puede demostrar la ausencia de contenido cifrado ni predecir el comportamiento futuro. Un corpus público no puede representar todos los acentos, discapacidades, micrófonos, salas o estilos de habla espontánea. Cada resultado está vinculado a una versión y fecha específicas.