Alibaba Tongyi Fun-ASR modelo de voz grande atualização: latência do primeiro caractere é de apenas cem milissegundos, reconhecimento do dialeto de Wenzhou supera 82%

O laboratório Alibaba Tongyi reduziu a latência da primeira palavra do modelo de reconhecimento de fala em tempo real Fun-ASR-Realtime para o nível de milissegundos, exibindo palavras imediatamente após a fala, com precisão próxima à de modelos offline. O novo modelo suporta 30 idiomas e 16 dialetos, alcançando 82,74% de precisão no reconhecimento do dialeto de Wenzhou.
(Resumo: xAI lançou oficialmente a API de voz Grok, com TTS a US$ 4,2 por milhão de caracteres, superando o ElevenLabs em reconhecimento)
(Contexto adicional: Relatório do OpenRouter analisando 100 trilhões de tokens: O que os humanos realmente fazem com a IA, ascensão de modelos chineses e segredos de retenção de usuários)

Índice

Toggle

• Validação prática: Transmissão ao vivo de 100 horas em ilha deserta
• Desempenho no reconhecimento de dialetos
• Versão offline também domina

Em 6 de julho, o laboratório Alibaba Tongyi anunciou que reduziu a latência da primeira palavra do modelo de reconhecimento de fala em tempo real Fun-ASR-Realtime para o nível de milissegundos, alcançando o efeito de "palavras imediatamente após a fala", com precisão próxima à de modelos offline.

O núcleo desta melhoria está no fortalecimento da capacidade de percepção de contexto. O novo modelo pode combinar diálogos históricos e palavras-chave em tempo real para correção dinâmica, por exemplo, ajustando automaticamente "ye lu" para "garça-noturna" com base no contexto posterior, resolvendo efetivamente o problema de interpretação fragmentada comum no reconhecimento de fala em tempo real.

Validação prática: Transmissão ao vivo de 100 horas em ilha deserta

Na recente transmissão ao vivo de 100 horas em ilha deserta da Yingshi Jufeng, o Fun-ASR-Realtime forneceu legendas em tempo real em condições adversas, como chuva forte ao ar livre e alternância frequente de falantes, reconhecendo mais de 60 mil entradas, totalizando 1,32 milhão de caracteres.

Esses dados indicam que o modelo mantém qualidade de reconhecimento estável em cenários reais com monofonia, alto ruído ambiente e fala entrelaçada de múltiplos falantes – esse é o indicador mais crítico para aplicações de legendas em tempo real.

Desempenho no reconhecimento de dialetos

Atualmente, o modelo suporta 30 idiomas e 16 dialetos, alcançando uma precisão média de caracteres de 88,62% em testes de dialetos. O desempenho em dialetos principais é:

• Xangainês: 92,41%
• Wenzhounês: 82,74% (considerado o dialeto "mais difícil")
• Média (16 dialetos): 88,62%

O Wenzhounês, como um dialeto de alta dificuldade dentro do grupo Wu, atingir 82,74% de precisão demonstra uma melhoria significativa na capacidade de generalização do modelo para dialetos com poucos recursos.

Versão offline também domina

O modelo offline Fun-ASR-Flash conquistou o primeiro lugar na classificação de taxa de erro de caracteres da plataforma global de avaliação de IA Artificial Analysis, confirmando ainda mais a posição de liderança técnica da série Fun-ASR no campo do reconhecimento de fala.

As APIs de ambos os modelos já estão disponíveis no Alibaba Cloud Bailian, e os kits de ferramentas e modelos de código aberto subjacentes podem ser obtidos no ModelScope e no GitHub.