По данным Beating и The Information, Moonshot AI начала обсуждение Kimi K4 с существенно большим масштабом, чем у K3, при этом компания по-прежнему активно ищет чипы Nvidia Blackwell и сталкивается с серьёзными ограничениями по оборудованию. The Information также сообщила, что часть обучения K3 была завершена в Китае, а не исключительно в тайских дата-центрах.
Развёртывание K3, достигшего 28 триллионов параметров, было выполнено за счёт подключения нескольких серверов с восемью GPU у разных китайских облачных провайдеров, поскольку мощности каждого по отдельности оказалось недостаточно. С момента запуска K3 операционные вычисления оказались под сильным напряжением; компания приостановила новые подписки на 48 часов из‑за резкого роста спроса со стороны пользователей. Сроки для K4 в настоящее время остаются неопределёнными и зависят от наличия дополнительных чипов Blackwell.