Xiaomi раскрывает подробности обучения MiMo-V2-Pro: 1T параметров модели, тысячи развернутых GPU

Сообщение Gate News, 24 апреля — руководитель команды большой языковой модели Xiaomi Луо Фули в подробном интервью раскрыла, что модель MiMo-V2-Pro в сумме имеет 1 триллион параметров и для обучения потребовала тысячи GPU. Она отметила, что масштаб 1T представляет собой минимальный порог для достижения производительности, приближающейся к уровню Claude Opus 4.6, и получения конкурентного входного билета на следующий этап ИИ-агентов.

Технически версия Pro использует механизм экстремально разреженного внимания с соотношением 7:1 между глобальным вниманием и вниманием в скользящем окне, чтобы контролировать затраты на инференс при обработке длинного контекста. Модель также сохраняет архитектуру MTP (Multi-Token Prediction), чтобы задействовать избыточную вычислительную мощность для более быстрого инференса.

Со стороны управления команда MiMo численностью 100 человек имеет лишь 30–40 сотрудников, непосредственно вовлеченных в ключевые итерации. Команда работает без формальных иерархий или явных делений на подгруппы и без фиксированных дедлайнов поставки. При столкновении с нестабильными численными проблемами, такими как всплески training loss, команда в первую очередь приостанавливает обучение для расследования, даже если это означает остановку работы на одну-две недели и понесение затрат в миллионы долларов на вычисления.

Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к Отказу от ответственности.

Связанные статьи

OpenClaw выпускает v2026.4.29 29 апреля, обновляет память до персонализированной Wiki с отслеживанием связей

Beating: open-source AI-ассистент OpenClaw (GitHub, 367 тыс. звёзд) выпустил v2026.4.29 29 апреля, отметив второе обновление за два дня. Система памяти эволюционировала от простого ретривал-отзыва к персонализированной wiki, позволяя агентам автоматически создавать профили персонажей и отслеживать r

GateNews45м назад

Маск свидетельствует, что xAI использовала модели OpenAI для обучения Grok

Илон Маск в четверг дал показания в федеральном суде США в Калифорнии о том, что его компания в области искусственного интеллекта xAI частично использовала модели OpenAI при обучении своего чат-бота Grok, сообщает TechCrunch. Признание является редким публичным подтверждением со стороны крупного разработчика ИИ практики, на фоне растущего

CryptoFrontier3ч назад

Генеральный директор Google Пичаи раскрыл, что Gemini AI используется для понимания человеческой натуры и создания более искреннего общения

Пичай заявил, что перед важными встречами он анализирует и прогнозирует мысли собеседника, используя подход Gemini, чтобы развивать эмпатию и вести более искренний диалог. Также ИИ-агенты могут автоматически упорядочивать письма, планировать задачи и готовить краткие сводки, делая повседневные рутинные дела более эффективными. Кроме того, набирают популярность AI-платформы, основанные на открытом совместном творчестве: такие как Gemini 4, открытые технологии снижают порог входа; при этом подчеркивается необходимость выстроить рамки AI-гovernance, а представители власти и общество должны участвовать в их формировании, чтобы решать вызовы в сфере кибербезопасности, дипфейков и устойчивого развития.

ChainNewsAbmedia3ч назад

OpenAI запускает расширенную систему безопасности аккаунта для ChatGPT

Запуск расширенной защиты учетной записи В четверг OpenAI представила Advanced Account Security — новый параметр с возможностью добровольного включения для ChatGPT, предназначенный для пользователей, которые хотят более надежную защиту или сталкиваются с повышенными рисками цифровых атак. Компания заявила, что новая функция была создана в ответ на то, как люди

CryptoFrontier4ч назад

X (Твиттер) получил крупнейшее за 20 лет обновление рекламной платформы: xAI вмешивается, а AI-таргетирование становится ключевым

X объявила о запуске с апреля 2026 года крупнейшей за 20 лет переработки рекламной платформы: будет перестроена базовая технология и интегрирована xAI. Новая платформа будет фокусироваться на AI-оптимизации эффективности, семантической и контекстной рекламе, чтобы повысить удобство управления и контроль размещений. Цель — превратить рекламные кампании в коммерческие сигналы, возникающие в реальном контексте, а также в связке со стратегией Everything App стать бизнес-движком экосистемы X.

ChainNewsAbmedia7ч назад

Поддерживаемый OpenAI 1X открывает завод площадью 58 000 кв. футов в Калифорнии, нацелен на 10 000 роботов в первый год

По данным Bloomberg, 1X Technologies, стартап в области робототехники с поддержкой OpenAI, основанный в Норвегии, открыл производственный объект площадью 58 000 квадратных футов в Хейворде, штат Калифорния, стремясь занять лидирующие позиции в массовом производстве доступных для потребителей гуманоидных роботов. Ожидается, что на предприятии будут производить 10 000 роботов в его

GateNews10ч назад
комментарий
0/400
Нет комментариев