Mô hình giọng nói Fun-ASR của Alibaba Tongyi đã được nâng cấp lớn: độ trễ ký tự đầu tiên chỉ 100 mili giây, nhận dạng tiếng Ôn Châu vượt quá 82%.

Phòng thí nghiệm Thông Nghĩa của Alibaba đã giảm độ trễ của ký tự đầu tiên trong mô hình nhận dạng giọng nói luồng lớn Fun-ASR-Realtime xuống mức mili giây, chữ xuất hiện ngay khi giọng nói vừa dứt, độ chính xác tiến gần đến mô hình ngoại tuyến. Mô hình mới hỗ trợ 30 ngôn ngữ, 16 phương ngữ, độ chính xác nhận dạng tiếng Ôn Châu đạt 82,74%.
(Bối cảnh trước: xAI chính thức mở API giọng nói Grok, giá TTS 4,2 USD/triệu ký tự, tỷ lệ nhận dạng đánh bại ElevenLabs)
(Bổ sung bối cảnh: OpenRouter phân tích báo cáo 100 nghìn tỷ Token: Con người thực sự dùng AI để làm gì, sự trỗi dậy của mô hình Trung Quốc và bí mật giữ chân người dùng)

Mục lục bài viết

Toggle

• Xác thực thực chiến: 100 giờ livestream trên đảo hoang
• Hiệu suất nhận dạng phương ngữ
• Phiên bản ngoại tuyến đồng thời thống lĩnh

Ngày 6 tháng 7, Phòng thí nghiệm Thông Nghĩa của Alibaba tuyên bố đã giảm độ trễ của ký tự đầu tiên trong mô hình nhận dạng giọng nói luồng lớn Fun-ASR-Realtime xuống mức mili giây, thực hiện hiệu ứng "chữ xuất hiện ngay khi giọng nói vừa dứt", đồng thời độ chính xác đã tiến gần đến mức của mô hình ngoại tuyến.

Cốt lõi của nâng cấp này là tăng cường khả năng nhận thức ngữ cảnh. Mô hình mới có thể kết hợp lịch sử hội thoại và từ nóng thời gian thực để sửa lỗi động, chẳng hạn như tự động sửa "Diệp Lộc" thành "Dạ Lộc" dựa trên ngữ cảnh sau, giải quyết hiệu quả điểm yếu dễ hiểu sai nghĩa của nhận dạng giọng nói thời gian thực.

Xác thực thực chiến: 100 giờ livestream trên đảo hoang

Trong buổi livestream 100 giờ trên đảo hoang vừa kết thúc của Ảnh Thị Cự Phong, Fun-ASR-Realtime đã cung cấp hỗ trợ phụ đề thời gian thực trong môi trường khắc nghiệt như mưa bão ngoài trời, nhiều người thường xuyên chuyển đổi phát ngôn, tích lũy nhận dạng hơn 60.000 mục, tổng cộng 1,32 triệu chữ.

Dữ liệu này có nghĩa là mô hình vẫn có thể duy trì chất lượng nhận dạng ổn định trong các bối cảnh thực tế như đơn kênh, tiếng ồn môi trường cao, nhiều người xen kẽ – đây chính là chỉ số quan trọng nhất cho ứng dụng phụ đề thời gian thực.

Hiệu suất nhận dạng phương ngữ

Mô hình hiện hỗ trợ 30 ngôn ngữ và 16 phương ngữ, độ chính xác ký tự trung bình trong thử nghiệm phương ngữ đạt 88,62%. Hiệu suất của các phương ngữ chính như sau:

• Tiếng Thượng Hải: 92,41%
• Tiếng Ôn Châu: 82,74% (được gọi là phương ngữ "khó hiểu nhất")
• Trung bình (16 phương ngữ): 88,62%

Tiếng Ôn Châu là một dự án khó trong phương ngữ Ngô, đạt độ chính xác 82,74%, cho thấy khả năng tổng quát hóa của mô hình trên các phương ngữ tài nguyên thấp được cải thiện đáng kể.

Phiên bản ngoại tuyến đồng thời thống lĩnh

Mô hình phiên bản ngoại tuyến Fun-ASR-Flash đã giành vị trí đầu tiên trên bảng xếp hạng tỷ lệ lỗi ký tự của nền tảng đánh giá AI toàn cầu Artificial Analysis, xác nhận thêm vị thế dẫn đầu công nghệ của dòng Fun-ASR trong lĩnh vực nhận dạng giọng nói.

API dịch vụ của hai mô hình đều đã có mặt trên Alibaba Cloud Bailian, bộ công cụ mã nguồn mở và mô hình cơ bản có thể lấy từ cộng đồng Moda và GitHub.