广场
最新
热门
资讯
我的主页
发布
0xRick0
2026-06-24 02:21:19
关注
一个很有意思的开源项目 AirLLM
优化推理内存使用，让70B的大模型能在单张显存4G的显卡上运行
无量化、蒸馏和剪枝。
8G显存上运行405B的Llama3.1
更想要 GLM 5.2了。岂不是我这40+G的共享显存也能跑 700+B了？
Star🌟 21.3k
此页面可能包含第三方内容，仅供参考（非陈述/保证），不应被视为 Gate 认可其观点表述，也不得被视为财务或专业建议。详见
声明
。
赞赏
点赞
评论
转发
分享
评论
请输入评论内容
请输入评论内容
评论
暂无评论
热门话题
查看更多
#
0成本拿2股SK海力士
23.65万 热度
#
Gate完成141只股票股息派发
396.46万 热度
#
预测世界杯法国VS瑞典
56万 热度
#
Solana生态ANSEM暴涨
2203.72万 热度
#
Strategy拟回购股票涨超12%
221.13万 热度
置顶
网站地图
一个很有意思的开源项目 AirLLM
优化推理内存使用，让70B的大模型能在单张显存4G的显卡上运行
无量化、蒸馏和剪枝。
8G显存上运行405B的Llama3.1
更想要 GLM 5.2了。岂不是我这40+G的共享显存也能跑 700+B了？
Star🌟 21.3k