Gran actualización del modelo de voz Fun-ASR de Alibaba Tongyi: la latencia de la primera palabra es de solo cien milisegundos, y la identificación del dialecto de Wenzhou supera el 82%

El laboratorio Alibaba Tongyi redujo la latencia de la primera palabra del modelo de reconocimiento de voz en streaming Fun-ASR-Realtime al nivel de cien milisegundos, logrando que las palabras aparezcan justo después de que la voz termine, con una precisión cercana a los modelos offline. El nuevo modelo admite 30 idiomas y 16 dialectos, con una precisión de reconocimiento del dialecto de Wenzhou del 82.74%. (Resumen anterior: xAI lanza oficialmente la API de voz de Grok, TTS a $4.2 por millón de caracteres, tasa de reconocimiento supera a ElevenLabs) (Contexto adicional: Informe de OpenRouter analizando 100 billones de tokens: ¿Para qué usa realmente la gente la IA?, el auge de los modelos chinos y el secreto de la retención de usuarios) Índice Alternar

• Verificación práctica: Transmisión en vivo de 100 horas en una isla desierta
• Rendimiento en reconocimiento de dialectos
• La versión offline también domina El 6 de julio, el laboratorio Alibaba Tongyi anunció que redujo la latencia de la primera palabra del modelo de reconocimiento de voz en streaming Fun-ASR-Realtime al nivel de cien milisegundos, logrando el efecto de "las palabras aparecen justo cuando la voz termina", y la precisión se ha acercado al nivel de los modelos offline. El núcleo de esta mejora radica en el fortalecimiento de la capacidad de percepción contextual. El nuevo modelo puede combinar el historial de diálogos y palabras clave en tiempo real para realizar correcciones dinámicas, por ejemplo, corrigiendo automáticamente '葉鹿' a '夜鷺' según el contexto posterior, resolviendo eficazmente el problema de la interpretación fuera de contexto en el reconocimiento de voz en tiempo real.

Verificación práctica: Transmisión en vivo de 100 horas en una isla desierta

En la reciente transmisión en vivo de 100 horas en una isla desierta de Yingshi Jufeng, Fun-ASR-Realtime proporcionó soporte de subtítulos en tiempo real durante todo el evento en condiciones adversas de lluvia intensa al aire libre y múltiples personas cambiando frecuentemente de hablante, reconociendo acumulativamente más de 60,000 fragmentos, con un total de 1.32 millones de caracteres. Estos datos significan que el modelo puede mantener una calidad de reconocimiento estable en escenarios reales de mono, alto ruido ambiental y múltiples personas superpuestas — este es el indicador más crítico para las aplicaciones de subtítulos en tiempo real.

Rendimiento en reconocimiento de dialectos

El modelo actualmente admite 30 idiomas y 16 dialectos, con una precisión promedio de caracteres del 88.62% en pruebas de dialectos. Los resultados de los principales dialectos son los siguientes:

• Dialecto de Shanghái: 92.41%
• Dialecto de Wenzhou: 82.74% (conocido como el dialecto "más difícil de entender")
• Promedio (16 dialectos): 88.62% El dialecto de Wenzhou, como un proyecto de alta dificultad dentro de los dialectos Wu, alcanza una precisión del 82.74%, lo que demuestra una mejora significativa en la capacidad de generalización del modelo en dialectos con pocos recursos.

La versión offline también domina

El modelo offline Fun-ASR-Flash ocupó el primer lugar en la clasificación de tasa de error de palabras de la plataforma global de evaluación de IA Artificial Analysis, validando aún más el liderazgo técnico de la serie Fun-ASR en el campo del reconocimiento de voz. Los servicios API de ambos modelos ya están disponibles en Alibaba Cloud Bailian, y los kits de herramientas de código abierto subyacentes y los modelos se pueden obtener en la comunidad Moda y GitHub.