Pilotresultaten · interpretatie gecorrigeerd 6 september 2026
Drie testcategorieën. Eén beperkte pilotstudie.
Dezelfde 20 schone synthetische armaturen, drie keer per baan gedecodeerd op één M1 Max MacBook Pro met behulp van Yaps 2.3.2129. Core ML Parakeet en Whisper Base zijn modelconfiguraties binnen Yaps, geen producten van concurrenten.
01 · Totaalrecord
Herkenning met lokale opschoning, samen gemeten.
Yaps synthetische fixture-replay piloot. Lagere WER, deletiesnelheid en latentie-waarden duiden op minder fouten of kortere verwerkingstijd binnen deze exacte uitvoeringsopzet; het zijn geen productranglijsten.
Yaps uitvoerbaan
Rol
Loopt
Woorden, met herhalingen
Micro WER
Verwijderingspercentage
Mediaan verwerking
p95 verwerking
Maximale verwerking
Core ML Parakeet + lokale schoonmaak
Opruiming op
60
1,473
3.46%
0.41%
1,124 ms
2,807 ms
2,958 ms
Core ML Parakeet, opschonen uitgeschakeld
Opruimen uit
60
1,473
3.67%
0.20%
250 ms
722 ms
1,863 ms
Whisper Base, opruiming van
Opruimen uit
60
1,473
6.52%
0.41%
844 ms
1,669 ms
2,189 ms
De verwerkingstijd omvat herkenning, pijplijnafronding en lokale opschoning, indien ingeschakeld. Het omvat de initiële runtime-constructie, het laden van de armatuur, live-opname, het verzenden van snelkoppelingen en het invoegen van de cursor. Alle rijstroken scoren de uiteindelijke output van de evaluator; Opruimstroken kunnen nog steeds wijzigingen in de woordenschat en opmaak toepassen.
Latency gebruikt 60 gelijk gewogen decodeermonsters per baan en R-7 lineaire kwantielen. De 20 armaturen bevatten 491 referentiewoordposities per pass, drie keer geteld in de noemer van 1.473 woorden. Herhalingen zijn geen onafhankelijke uitingen. Fouten op het gebied van de kwaliteitsdrempel blijven inbegrepen: 3 met Core ML opschonen aan, 3 met Core ML opschonen uit en 6 met Whisper.
“Micro” betekent dat het aantal bewerkingen en referentiewoorden zijn opgeteld voordat elk tarief werd berekend.Het is niet het macrogemiddelde van percentages per clip.
02 · Beperkt lezen
Wat deze drie rijen kunnen ondersteunen.
Opruimen uit
Overeenkomende opschoningsconfiguraties
Whisper Base met opschonen uit had 2,85 procentpunten hoger WER, 0,20 punten hogere verwijderingssnelheid, een 595 ms hogere mediaan en een 947 ms hogere p95 dan Core ML Parakeet met opschonen uit in deze gematchte pilot loopt.
Opruiming ingeschakelde rijstrook
Herkenning en opschonen samen
De Core ML-opschoningsstrook omvat lokale semantische opschoning. De mediaan van 1.124 ms en p95 van 2.807 ms beschrijven samen de herkenning en voltooiing, voordat deze in een andere toepassing wordt ingevoegd.
Wat werkte
Publicatieproces
De sanitizer hield tellingen en latentie bij terwijl transcripties, referenties, prompts en applicatiecontext werden uitgesloten. De integriteit van publieke bestanden wordt vastgelegd met SHA-256-digests.
Wat blijft
Benchmarkbewijs
Menselijke spraak, meerdere accenten en talen, live microfoonopname, gecontroleerde thermische volgorde, netwerkobservatie, meer apparaten en systemen van derden zijn nog steeds vereist.
03 · Expliciete uitsluitingen
Wat deze pilot niet laat zien.
Vergelijkende prestaties met elk ander product.
Prestaties bij menselijke spraak, accenten of meertalige spraak.
Live microfoon, ruisonderdrukking, stiltepoort, eerste-woord of staart-afspoelgedrag.
Koude versus warme prestaties onder een gecontroleerd thermisch protocol.
Offline of privacy-gedrag vastgesteld door netwerkobservatie.
Een algemene bewering dat één onbewerkte of opgeschoonde configuratie beter is.
Het corpus, het apparaatmatrix, de volgorde en de thermische procedure waren niet vooraf geregistreerd. Deze observaties beschrijven deze opeenvolgende runs, op dit corpus, apparaat, softwareversie en datum.