Xiaomi Tiết Lộ Chi Tiết Huấn Luyện MiMo-V2-Pro: Tham Số Mô Hình 1T, Triển Khai Hàng Nghìn GPU

Tin tức Cổng, ngày 24 tháng 4 — Trưởng nhóm mô hình ngôn ngữ lớn của Xiaomi, Luo Fuli, đã tiết lộ trong một cuộc phỏng vấn chuyên sâu rằng mô hình MiMo-V2-Pro có tổng cộng 1 nghìn tỷ tham số và để huấn luyện cần hàng nghìn GPU. Cô cho biết quy mô 1T là ngưỡng tối thiểu để đạt hiệu năng tiến gần tới Claude Opus 4.6 và giành vé vào cửa cạnh tranh cho giai đoạn tiếp theo của các tác nhân AI.

Về mặt kỹ thuật, phiên bản Pro sử dụng cơ chế chú ý thưa cực đoan với tỷ lệ 7:1 giữa chú ý toàn cục và chú ý theo cửa sổ trượt, nhằm kiểm soát chi phí suy luận cho xử lý ngữ cảnh dài. Mô hình cũng giữ lại kiến trúc MTP (Dự đoán Nhiều Token) để tận dụng phần năng lực tính toán dư thừa cho suy luận nhanh hơn.

Về phía quản lý, đội MiMo gồm 100 người chỉ có 30-40 người trực tiếp tham gia vào các vòng lặp cốt lõi. Nhóm hoạt động mà không có phân cấp chính thức hay chia tách nhóm con rõ ràng, cũng như không có hạn chót giao hàng. Khi gặp các vấn đề số học không ổn định như việc tăng vọt loss trong huấn luyện, nhóm ưu tiên dừng huấn luyện để điều tra, ngay cả khi điều đó đồng nghĩa với việc dừng hoạt động trong một hoặc hai tuần và phát sinh chi phí tính toán lên tới hàng triệu đô la.

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ bên thứ ba và không đại diện cho quan điểm hoặc ý kiến của Gate. Nội dung hiển thị trên trang này chỉ mang tính chất tham khảo và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Gate không đảm bảo tính chính xác hoặc đầy đủ của thông tin và sẽ không chịu trách nhiệm cho bất kỳ tổn thất nào phát sinh từ việc sử dụng thông tin này. Đầu tư vào tài sản ảo tiềm ẩn rủi ro cao và chịu biến động giá đáng kể. Bạn có thể mất toàn bộ vốn đầu tư. Vui lòng hiểu rõ các rủi ro liên quan và đưa ra quyết định thận trọng dựa trên tình hình tài chính và khả năng chấp nhận rủi ro của riêng bạn. Để biết thêm chi tiết, vui lòng tham khảo Tuyên bố miễn trừ trách nhiệm.

Bài viết liên quan

X Ra mắt Nền tảng quảng cáo AI được xây dựng lại vào tháng 4 năm 2026, Cải tổ lớn nhất trong 20 năm

Theo X, nền tảng này đã bắt đầu triển khai theo giai đoạn một nền tảng quảng cáo được xây dựng lại vào tháng 4/2026. Động thái này đánh dấu đợt đại tu hệ thống quảng cáo lớn nhất của họ trong khoảng 20 năm khi công ty chuyển nhiều công cụ quảng cáo hơn sang AI. Ads Manager mới sử dụng nhắm mục tiêu và xếp hạng dựa trên AI, dựa trên

GateNews44phút trước

Intel tăng 114% trong tháng 4 nhờ kết quả kinh doanh mạnh mẽ và kỳ vọng về AI

Theo CNBC, cổ phiếu Intel đã tăng 114% trong tháng 4, ghi nhận tháng tốt nhất theo kỷ lục, được thúc đẩy bởi lợi nhuận theo quý mạnh hơn và sự lạc quan trở lại của nhà đầu tư về đợt phục hồi liên quan đến AI. Cổ phiếu đã tăng 24% vào ngày 24 tháng 4 sau khi CEO Lip-Bu Tan công bố rằng doanh thu theo quý tăng hơn 7%, trong khi

GateNews1giờ trước

Marathon Digital Holdings sẽ mua Long Ridge Energy với 1,5 tỷ USD để mở rộng trung tâm dữ liệu AI

Marathon Digital Holdings đang mua lại Long Ridge Energy với giá 1,5 tỷ USD để mở rộng năng lực trung tâm dữ liệu AI. Thỏa thuận bao gồm một nhà máy điện khí tự nhiên công suất 505 MW và 1.600 mẫu đất tại Ohio, cung cấp hơn 1 GW công suất để hỗ trợ cơ sở hạ tầng AI và CNTT trong tương lai.

GateNews1giờ trước

OpenClaw Phát hành v2026.4.29 vào ngày 29 tháng 4, Nâng cấp Bộ nhớ lên Wiki Cá nhân hóa với Theo dõi Quan hệ

Theo Beating, trợ lý AI mã nguồn mở OpenClaw (GitHub 367K lượt sao) đã phát hành v2026.4.29 vào ngày 29/4, đánh dấu bản cập nhật thứ hai trong vòng hai ngày. Hệ thống bộ nhớ đã phát triển từ cơ chế gợi nhớ dựa trên truy xuất đơn giản sang wiki được cá nhân hóa, cho phép các tác nhân tự động xây dựng hồ sơ nhân vật và theo dõi r

GateNews2giờ trước

Musk làm chứng rằng xAI đã sử dụng các mô hình OpenAI để huấn luyện Grok

Elon Musk đã làm chứng vào hôm thứ Năm tại tòa án liên bang ở California rằng công ty trí tuệ nhân tạo của ông, xAI, đã sử dụng một phần các mô hình của OpenAI khi huấn luyện chatbot Grok, theo TechCrunch. Thừa nhận này là một sự công khai hiếm hoi của một nhà phát triển AI lớn về một thực hành đang ngày càng gia tăng

CryptoFrontier4giờ trước

Giám đốc điều hành Google, ông Sundar Pichai, tiết lộ việc sử dụng Gemini AI để thấu hiểu bản chất con người và xây dựng giao tiếp chân thành hơn

Pichai cho biết trước các cuộc họp quan trọng, ông dùng các quan điểm của Gemini để phân tích và dự đoán suy nghĩ của đối phương, từ đó tăng cường sự thấu cảm và giao tiếp chân thành hơn. Các tác nhân AI cũng có thể tự động sắp xếp email, lên lịch và tạo bản tóm tắt, giúp mọi việc hằng ngày hiệu quả hơn. Ngoài ra, các nền tảng AI lấy mở sáng tạo làm trung tâm đang nổi lên; các công nghệ mã nguồn mở như Gemini 4 đang hạ thấp rào cản gia nhập. Đồng thời, ông nhấn mạnh việc xây dựng khung quản trị AI, đồng thời kêu gọi giới chính trị và xã hội cùng tham gia để giải quyết các thách thức như an ninh mạng, deepfake và tính bền vững.

ChainNewsAbmedia4giờ trước
Bình luận
0/400
Không có bình luận