一个 2890 万参数的 LLM,在一块 8 美元的 ESP32 微控制器上运行。


这到底意味着什么:
> ESP32 是便宜的 IoT 小玩意 里的芯片,并不是带 GPU 的开发板
> 2890 万参数在实验室标准里很小,但对一块还能空出几千字节 RAM 的部件来说已经很大
> 在设备上完整推理,无需云端调用,无需网络往返
边缘 AI 一直被包装成昂贵的硅片硬件。这是另一种方向。现在门槛价是沙发靠垫那么多钱。
查看原文
post-image
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论