По данным мониторинга Dongcha Beating, Meituan официально опубликовал с открытым исходным кодом триллионную модель LongCat-2.0, которая имеет в общей сложности 1,6 триллиона параметров и среднюю активацию около 48 миллиардов, специально разработанную для реальных задач Agentic Coding. Архитектура инновационно вводит разреженное внимание LongCat и N-граммное встраивание; первое снижает фрагментированный доступ к памяти за счет индексации восприятия плавности и иерархической индексации, ускоряя обучение и вывод для длинных контекстов в миллионы токенов. Второе вкладывает 135 миллиардов параметров в слой встраивания, сохраняя при этом разреженность почти 97% в MoE, балансируя эффективность параметров и структурную стабильность. Пост-обучение использует многопедагогическую онлайн-дистилляцию, классифицируя экспертов на три типа: Agent, Inference и Interaction, бесшовно интегрируясь через архитектуру MOPD на отечественных вычислительных кластерах. Будучи первой триллионной моделью, завершившей вывод на 50 000-карточном отечественном вычислительном кластере, LongCat-2.0 подтверждает зрелые возможности отечественных чипов справляться со сложными задачами больших моделей. Для решения многочисленных ограничений отечественных чипов в отношении памяти, пропускной способности и взаимосвязи Meituan добился прорывов в трех областях: модель, адаптация чипов и развертывание. На уровне модели ScMoE использует возможности управления ядром отечественных чипов для достижения физического параллелизма на уровне ядер между ветвями Dense и MoE в сочетании с сегментацией KV-кэша для снижения нагрузки на память при сверхдлинных контекстах. На уровне адаптации чипов Super Kernel снижает накладные расходы на запуск операторов, а Weight Prefetch скрывает задержки ввода-вывода, максимально используя аппаратные ресурсы в ограниченных условиях. На уровне развертывания разделение PD балансирует TTFT и TPOT вместе с асинхронной балансировкой нагрузки Expert-Parallel для решения неравномерной нагрузки при высоких степенях EP. Этот релиз с открытым исходным кодом также предоставляет версии с множественной точностью, такие как BF16, FP8 и INT8, и стремится полностью открыть результаты вывода, оптимизированные для отечественных вычислительных мощностей, с целью плавного развертывания служб вывода триллионных моделей даже на существующих и старых отечественных картах.

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

Награда
лайк
комментарий
Репост
Поделиться

комментарий

Добавить комментарий

Нет комментариев

Популярные темы
Подробнее
#
GTBurns2.57MInQ
168,75K Популярность
#
PredictWorldCupShare20000U
260,18K Популярность
#
IsraelStrikesIranBTCPlunges
69,38K Популярность
#
VitalikUnveilsLeanEthereum
157,96K Популярность
#
gStocksTokenizedStocksLive
4,87M Популярность

Закреплено

Карта сайта

Meituan открывает исходный код модели LongCat-2.0 с триллионом параметров и выпускает код вывода для отечественных китайских чипов.

Популярные темы

GTBurns2.57MInQ

PredictWorldCupShare20000U

IsraelStrikesIranBTCPlunges

VitalikUnveilsLeanEthereum

gStocksTokenizedStocksLive

Закреплено