AMDは7月25日に、16Bパラメータの完全オープンソース「Instella-MoE」モデルをリリースしました

AMD-3.29%
BlockBeatsによると、AMDは7月25日に完全にオープンソースの混合専門家(MoE)モデル「Instella-MoE」をリリースした。全パラメータ数は16 billionで、トークンごとに2.8 billionのパラメータが有効化される。基礎モデルは平均スコア76.7を達成し、主要なオープンソース言語モデルの中でも上位に位置しており、SmolLM3-3BおよびOLMo-3-7Bを上回った。AMDのInstinct MI300XおよびMI325X GPUとROCmソフトウェアスタックを用いて学習されており、64Kトークンのコンテキスト長に対応する。AMDは、オープンAIモデル研究を前進させるため、モデル重み、学習設定、データ分布、中間チェックポイント、推論コードをすべて公開する。
免責事項:本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、免責事項をご確認ください。
コメント
0/400
コメントなし