DeepSeekがオープンソース化、TileKernels:大規模モデルの学習と推論のためのGPUカーネルライブラリ

Gate Newsのメッセージ、4月23日 — DeepSeekはMITライセンスのもとでTileKernelsをオープンソース化しました。TileKernelsは、大規模言語モデルの学習と推論のためにTileLangで書かれたGPUカーネルライブラリです。TileLangは、tile-aiチームによって開発された、Pythonで高性能なGPUカーネルを表現するためのドメイン固有言語です。DeepSeekによれば、このライブラリのほとんどのカーネルは、計算密度とメモリ帯域においてハードウェア性能の限界に近づいており、一部はすでに社内の学習および推論オペレーションに展開されているとのことです。

このライブラリは、6つのカーネルカテゴリで構成されています。MoE (mixture of experts)(エキスパートのゲーティングとルーティング)には、Top-kエキスパート選択、トークンからエキスパートへのマッピング、重み正規化を伴う結合されたexpand/shrinkが含まれます。FP8、FP4、E5M6形式をサポートする量子化には、トークン単位・ブロック単位・チャネル単位の量子化が含まれ、SwiGLU+量子化の結合演算も含まれます。バッチ転置。Sinkhorn正規化と、混合されたsplit/applyを備えたEngramゲーティング。Sinkhorn正規化と混合split/applyを伴うManifold HyperConnection。そして、高レベルの自動微分インターフェースにより、低レベルのカーネルを訓練可能な層として包み込むものです。

EngramおよびManifold HyperConnectionはDeepSeekのモデルアーキテクチャにおける専有コンポーネントであり、実装の詳細は初めて公に開示されました。このライブラリには、NVIDIA SM90またはSM100アーキテクチャのGPU (H100/H200またはBlackwellシリーズ)、CUDA Toolkit 13.1以上、そしてPyTorch 2.10以上が必要です。

免責事項:このページの情報は第三者から提供される場合があり、Gateの見解または意見を代表するものではありません。このページに表示される内容は参考情報のみであり、いかなる金融、投資、または法律上の助言を構成するものではありません。Gateは情報の正確性または完全性を保証せず、当該情報の利用に起因するいかなる損失についても責任を負いません。仮想資産への投資は高いリスクを伴い、大きな価格変動の影響を受けます。投資元本の全額を失う可能性があります。関連するリスクを十分に理解したうえで、ご自身の財務状況およびリスク許容度に基づき慎重に判断してください。詳細は免責事項をご参照ください。

関連記事

Aave、Kelp、LayerZeroが $71M Frozen ETHの解放を提案し、rsETHを復元

ゲートニュース速報(4月26日)— Kelp DAO、LayerZero、EtherFi、そしてCompoundに加え、Aave Labsは、土曜の朝にConstitutional AIP(憲法改正案)を提出し、Arbitrum DAOに対して凍結されているETHをおよそ $71 百万ドル分DeFi Unitedへ解放するよう求めた。これは、先週の $292 百万ドルのKelp DAO「}

GateNews1時間前

AaveはKelp DAOの救済のためにDeFi Unitedに25,000 ETHを提案

Aaveのサービスプロバイダーは金曜日、The Blockによると、Kelp DAOのエクスプロイト後にrsETHの裏付けを回復するための連携した救済活動であるDeFi Unitedに対し、プロトコルのDAOから$58 million相当のほぼ25,000 ETHを拠出することにつながるガバナンス提案を提出した。 提案された拠出i

CryptoFrontier5時間前

パベル・デュロフは、TONの手数料が6倍下がり、ほぼゼロのコストを目指すと述べる

TONは取引手数料を6分の1にまで削減し、ほぼゼロの水準へと引き下げ、ネットワークの混雑に左右されない固定価格へ移行します。 アップグレードにより速度とファイナリティが向上し、イーサリアム、ビットコイン、ソラナと比べてより速く、より安い取引が可能になります。 低コストはマイクロトランザクションやアプリを支えます、

CryptoFrontNews6時間前

SuiチェーンのDeFiレンディングプロトコル「Scallop」がハッキング被害、旧バージョンのコントラクトの脆弱性により15万SUIが盗難

Scallop は Sui チェーンで攻撃を受け、サイドコントラクトにより sSUI 報酬プールが悪用され、約 15 万枚の SUI が盗まれました。中核コントラクトの安全性は確保されており、入金と出金はすでに復旧しています。公式声明は、すでに廃止済みの報酬コントラクトに限られ、ユーザーの資金には影響がありません。前 NEAR の開発者 Vadim は、この脆弱性の原因が 17 か月前の旧版 V2 パッケージにあるとし、last_index が初期化されていなかったため 2023 年以降に報酬が累積されたと指摘しました。修正には、共有オブジェクトにバージョン欄を追加し、バージョンの検証を強化して、古いパッケージがリスクを引き起こさないようにする必要があります。

ChainNewsAbmedia7時間前

JPMorgan:トークン化は資金業界を変えるだろうが、「良いユースケース」は何年も先

JPMorganのETFプロダクト、証券サービス部門のグローバルヘッドであるCiarán Fitzpatrickは、金曜の投稿によれば、トークン化がファンド業界全体にわたって変化をもたらすと述べた。Fitzpatrickは、ETFをトークン化する実験が継続している一方で、同行はそれが「a

CryptoFrontier8時間前

Aave、Kelp、LayerZeroが凍結ETHの $71M を解放してrsETHの回復を支援する提案を提出

Gate Newsメッセージ、4月26日――Aave Labsが率いる主要なDeFiプロトコルの連合が、Kelp DAO、LayerZero、EtherFi、Compoundに加わり、土曜の朝にConstitutional AIP(憲法に基づく提案)を提出した。Arbitrum DAOに対し、凍結されたETHを約 $71 百万ドル相当分解放してDeFi United(複数プロトコルをまたぐ救済活動)を支援するよう求めている。これは先週の 百万ドル相当分のKelp DAOエクスプロイトに続いて立ち上げられたものだ。

GateNews10時間前
コメント
0/400
コメントなし