Esta vez, el mundillo de los modelos de código abierto tiene un poco el sabor de un “PC armado en un mercado de computadoras”


Baseten no reentrenó desde cero un modelo multimodal completo, sino que tomó el codificador visual MoonViT de Kimi K2.6 y lo conectó a GLM-5.2, que originalmente solo podía procesar texto. El núcleo de GLM de 744B no se tocó, la torre visual también quedó completamente congelada; el verdadero entrenamiento fue únicamente el PatchMerger intermedio con unos 49,5 millones de parámetros
El resultado en MMMU-Pro ronda el 55%; oficialmente lo describen como cercano a Claude 4.5 Haiku. En otras palabras, en el futuro, para añadir capacidades visuales, de voz u otras a un modelo de código abierto, quizá ya no sea necesario volver a quemar cada vez el costo de entrenamiento desde cero: basta con elegir piezas ya hechas y conectarlas
Pero no te quedes solo con “49,5 millones de parámetros es barato”. Ese set de pesos pesa aproximadamente 466GB; para un contexto completo de 1 millón se necesitan 8 B200, y para correr con 256K también hacen falta 4. La barrera de desarrollo sí baja, pero las facturas de despliegue no son nada amigables
Así que creo que esto quizá no sea una noticia del todo buena para las compañías de modelos: cuanto más fácil se puedan “armar” capacidades, más probable es que sigan cobrando por el alquiler real $NVDA, las plataformas de inferencia y los proveedores de alojamiento en la nube. En adelante, quizá no solo habrá que descargar modelos; también habrá que aprender a ensamblarlos🤣
#Ourbit 不只 Crypto,全球熱門資產一站交易。
NVDA-1,58%
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado