最近、Tencent Hunyuanはコミュニティの要望に応えてHy3モデルの量子化版をリリースし、2,950億パラメータのモデルを単一の推論用GPU、あるいは十分なメモリを備えたローカルマシン上で動作できるようにしました。チームはHy3の重みを1ビットおよび4ビットの精度に量子化し、GGUF形式でパッケージ化して、llama.cppエコシステムに統合しました。これにより、これまでマルチGPUクラスタを必要としていたものが、より幅広い導入シナリオで利用可能になりました。
免責事項：本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、
免責事項をご確認ください。
