Tencent lance le modèle Hy3 quantifié avec 295 milliards de paramètres, déployable sur un seul GPU

TENCENT-0,30%
Récemment, Tencent Hunyuan a publié des versions quantifiées de son modèle Hy3 en réponse aux demandes de la communauté, permettant au modèle de 295 milliards de paramètres de fonctionner sur un seul GPU d’inférence, voire sur des machines locales disposant d’une mémoire suffisante. L’équipe a quantifié les poids de Hy3 en précision 1 bit et 4 bits, les a regroupés au format GGUF, et les a intégrés à l’écosystème llama.cpp, rendant ce qui nécessitait auparavant des clusters multi-GPU accessible à des scénarios de déploiement plus larges.
Avertissement : Les informations figurant sur cette page peuvent provenir de sources tierces et sont fournies à titre indicatif uniquement. Elles ne reflètent pas les points de vue ou opinions de Gate et ne constituent pas un conseil financier, d’investissement ou juridique. Le trading des actifs virtuels comporte des risques élevés. Veuillez ne pas vous fonder uniquement sur les informations de cette page pour prendre vos décisions. Pour en savoir plus, consultez l’avertissement.
Commentaire
0/400
Aucun commentaire