Thông số 2,8 nghìn tỷ tham số của Kimi K3 và việc triển khai với 64 chip có thể giúp gia tăng nhu cầu GPU của Nvidia và HBM

NVDA-2,32%
Theo SemiAnalysis, Kimi K3 với hơn 2,8 nghìn tỷ tham số cần kiến trúc triển khai 64 chip và dung lượng HBM vượt 1,5TB. Trái với các lo ngại trên thị trường rằng các cơ chế chú ý tuyến tính làm suy yếu nhu cầu đối với phần cứng AI cao cấp, công ty nghiên cứu cho biết quy mô và kiến trúc suy luận của K3 thực tế có thể củng cố nhu cầu đối với GPU Nvidia, HBM và thiết bị liên kết (interconnect). SemiAnalysis cũng cho biết ngay cả khi mức đồng thời của người dùng bị giới hạn, KV cache vẫn cần chuyển tải đáng kể sang bộ nhớ CPU DDR5 và lưu trữ NVMe, khiến dư địa HBM còn rất ít. Công ty tin rằng các kiến trúc mô hình hiệu quả hơn sẽ hạ chi phí suy luận AI, từ đó thúc đẩy việc mở rộng áp dụng các ứng dụng và nhu cầu dài hạn đối với GPU, HBM, DRAM và cơ sở hạ tầng mạng.
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ các nguồn bên thứ ba và chỉ mang tính chất tham khảo. Thông tin này không phản ánh quan điểm hoặc ý kiến của Gate và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Giao dịch tài sản ảo tiềm ẩn rủi ro cao. Vui lòng không chỉ dựa vào thông tin trên trang này khi đưa ra quyết định. Để biết thêm chi tiết, vui lòng xem Tuyên bố miễn trừ trách nhiệm.
Bình luận
0/400
Không có bình luận