PrismML phát hành Bonsai 27B: Mô hình AI 3,9 GB chạy trên iPhone

PrismML đã ra mắt Bonsai 27B vào đầu tuần trước, một mô hình AI với 27 tỷ tham số được nén còn 3,9 GB, chạy trên iPhone 17 Pro Max với tốc độ 11 token mỗi giây. Biến thể tam phân giữ lại 94,6% hiệu năng benchmark so với bản dùng độ chính xác đầy đủ, đồng thời vừa khít trong giới hạn bộ nhớ của smartphone, đánh dấu lần đầu tiên một mô hình ở mức năng lực này vượt được ngân sách bộ nhớ của một thiết bị tiêu dùng. Phương pháp nén, được xây dựng trên tài sản sở hữu trí tuệ của Caltech, giảm mỗi trọng số của mô hình từ 16 bit xuống chỉ còn một giá trị dấu, đưa biến thể nhị phân về 1,125 bit mỗi trọng số—nhỏ hơn 14 lần so với bản gốc độ chính xác đầy đủ.

Công nghệ nén giảm trọng số mô hình về các giá trị dấu

Phương pháp nén giảm mỗi trọng số của mô hình từ 16 bit độ chính xác dấu phẩy động xuống chỉ còn một giá trị dấu — +1 hoặc -1 ở bản nhị phân, một trong ba giá trị ở biến thể tam phân. Mỗi nhóm 128 trọng số dùng chung một hệ số tỉ lệ 16 bit. Mô hình tam phân bổ sung trạng thái 0 để thể hiện linh hoạt hơn một chút và dừng ở mức 1,71 bit mỗi trọng số. Ở biến thể tam phân, kích thước 5,9 GB đạt khoảng 26 token mỗi giây trên laptop M5 Pro.

Không có “lối thoát” nào cho độ chính xác cao hơn: embedding, attention và toàn bộ phần đầu mô hình ngôn ngữ đều được nén end-to-end. Hầu hết các bản build đã lượng tử hóa giữ một số lớp nhạy cảm ở độ chính xác đầy đủ, làm tăng kích thước như một sự đánh đổi để đổi lấy chất lượng tốt hơn. Mô hình dùng một backbone attention lai, trong đó khoảng 75% số lớp là dạng tuyến tính thay vì full quadratic attention, giúp cửa sổ ngữ cảnh 262K-token trở nên khả thi ngay trên thiết bị.

Tháng 3, PrismML đã gửi Bonsai 8B, một mô hình 1,15 GB chứng minh kiến trúc 1-bit có thể tồn tại ở mức 8 tỷ tham số. Cả hai mô hình đều miễn phí theo giấy phép Apache 2.0.

Hiệu năng benchmark trung bình 80,49 qua 15 bài thử

Trên 15 benchmark được đánh giá ở chế độ thinking trên GPU NVIDIA H100—bao gồm kiến thức, toán học, lập trình và sử dụng công cụ—Ternary Bonsai 27B có điểm trung bình 80,49, tương đương 94,6% so với mô hình độ chính xác đầy đủ. Biến thể 1-bit đạt 76,11. AIME25 và AIME26, được mô phỏng theo American Invitational Mathematics Examination, đạt 93,7% cho Ternary Bonsai 27B so với 95,3% cho Qwen 3,6B. Bonsai đạt 86 điểm trong lập trình, so với 88 của Qwen 3,6, và đạt 77% ở kiến thức chung so với 83 của Qwen 3,6.

PrismML đi kèm một lớp speculative decoding DSpark cùng với mô hình—một bộ “draft” nhẹ đề xuất các khối token ứng viên, sau đó mô hình chính xác thực trong một lượt forward pass duy nhất thay vì tạo token từng bước. Trên H100, lớp này tăng thông lượng 1,37 lần mà không thay đổi chất lượng đầu ra. Trên Apple Silicon, hiện tại nó chưa được bật theo mặc định.

Thử nghiệm thực tế tạo ra mã hoạt động và văn sáng tạo

Bản thử nghiệm đã chạy Bonsai 27B trên game Zombie Type—một game trình duyệt kinh dị đánh chữ góc nhìn thứ nhất. Hai vòng lập trình tạo ra khả năng phát hiện va chạm chạy đúng, logic chấm điểm chính xác, và đồ họa vẫn liền mạch. Mô hình nắm được cấu trúc từ sớm; lượt chạy thứ hai tinh chỉnh thay vì xây lại. Một số mô hình trông có vẻ “cầu kỳ” hơn các mô hình từ GPT 5.6 Sol.

Với văn sáng tạo, Bonsai tạo ra các câu chuyện có logic nội bộ nhất quán, nhịp điệu và cao trào—ngang tầm Claude Haiku, thậm chí là Sonnet với mức nỗ lực thấp hơn trên các prompt tương đương. Kết quả không quá giàu tính tưởng tượng với các prompt zero-shot.

Apple đánh giá công nghệ để dùng trên thiết bị

Theo CNBC, Apple đang thảo luận giai đoạn đầu với PrismML về công nghệ nén nền tảng. CEO PrismML Babak Hassibi xác nhận với CNBC rằng công ty đang trao đổi bước đầu với Apple, nơi đang đánh giá công nghệ nén cho khả năng sử dụng ngay trên thiết bị. Hassibi cho biết một mô hình Gemma đã được nén sẽ là bước tiếp theo trong lộ trình, trước khi đến các mô hình frontier lớn hơn.

Câu hỏi thường gặp

Mô hình Bonsai 27B của PrismML là gì?
Bonsai 27B là một mô hình AI với 27 tỷ tham số được nén còn 3,9 GB, chạy trên iPhone 17 Pro Max với tốc độ 11 token mỗi giây. Biến thể tam phân giữ lại 94,6% hiệu năng benchmark so với bản độ chính xác đầy đủ nhờ công nghệ nén dựa trên tài sản sở hữu trí tuệ của Caltech, giúp chuyển trọng số mô hình về các giá trị dấu.

Bonsai 27B hoạt động thế nào trên các benchmark?
Trên 15 benchmark được đánh giá trên GPU NVIDIA H100, Ternary Bonsai 27B có điểm trung bình 80,49, tương đương 94,6% so với mô hình độ chính xác đầy đủ. Ở các bài toán AIME, nó đạt 93,7%, trong các tác vụ lập trình đạt 86 điểm, và trong kiến thức chung đạt 77%—đồng thời cần ít bộ nhớ hơn đáng kể so với các mô hình tương đương.