ゲートニュース、4月29日 — AI研究者の嵐 小松崎（Aran Komatsuzaki）が、リッチ・サットンの先駆的論文『The Bitter Lesson』を9つの言語に翻訳し、それらをOpenAI、Gemini、Qwen、DeepSeek、Kimi、そしてClaudeのトークナイザーで処理して、6つの主要なAIモデル間でトークン化効率を比較分析を行いました。OpenAIにおける英語版のトークン数をベースラインとして (1x) としたところ、この研究では大きな差異が明らかになりました。中国語で同じコンテンツを処理すると、OpenAIの1.15xに対してClaudeでは1.65xのトークンが必要でした。ヒンディー語はClaudeでさらに極端な結果となり、ベースラインを3倍以上上回りました。Anthropicは、試験した6モデルの中で最も低い順位でした。
重要なのは、同一の中国語テキストを異なるモデル間で処理したとき（すべて同じ英語ベースラインに対して測定）結果が劇的に分岐したことです。Kimiは英語より (さらに少ない) 0.81xのトークン消費にとどまり、Qwenは0.85xでしたが、Claudeは1.65xが必要でした。このギャップは、言語そのものではなく純粋なトークン化効率の問題を示しています。中国語モデルは中国語の処理でより高い効率を示しており、その差は言語自体ではなくトークナイザーの最適化に起因する可能性を示唆しています。
ユーザーにとっての実務的な影響は大きく、トークン消費の増加はAPIコストを直接押し上げ、モデルの応答遅延を延ばし、コンテキストウィンドウをより急速に消耗させます。トークン化効率は、モデルの学習データの言語構成に依存します。英語が主に学習されたモデルは英語テキストをより効率よく圧縮しますが、データ表現が少ない言語は、より小さく効率の悪い断片としてトークン化されます。
小松崎（Komatsuzaki）の結論は、根本的な原則を裏付けています。市場規模がトークン化効率を決定するのです。より大きな市場はより良い最適化を受けられ、十分に表現されていない言語はトークンコストが大幅に高くなります。
免責事項：このページの情報は第三者から提供される場合があり、Gateの見解または意見を代表するものではありません。このページに表示される内容は参考情報のみであり、いかなる金融、投資、または法律上の助言を構成するものではありません。Gateは情報の正確性または完全性を保証せず、当該情報の利用に起因するいかなる損失についても責任を負いません。仮想資産への投資は高いリスクを伴い、大きな価格変動の影響を受けます。投資元本の全額を失う可能性があります。関連するリスクを十分に理解したうえで、ご自身の財務状況およびリスク許容度に基づき慎重に判断してください。詳細は
免責事項をご参照ください。
関連記事
中国のAI企業が、MetaのManus買収停止を受けてレッドチップ構造の解体を検討
Beatingによると、中国国家発展和改革委員会がMetaによるAIエージェント企業Manusの20億ドル買収を中止し、その結果、中国証券監督管理委員会がレッドチップ企業による香港IPO上場の承認を厳格化するよう促した（国内資産を保有する中国企業であるが…
GateNews4分前
ムスク、OpenAI訴訟で3日間の証言を完了し、1,300〜1,500億ドルの損害賠償請求を引用
複数のメディア報道によると、イーロン・マスクは4月28日〜30日の自身のOpenAIに対する訴訟で、3日間の証言を完了し、累計で7時間超の証言を行った。2015年に初期投資として3,800万ドルを投じてOpenAIを共同設立したマスクは、同社が非営利のmを放棄したと主張した。
GateNews14分前
メタ、5月1日にロボティクスAIスタートアップ「Assured Robot Intelligence」を買収
ブルームバーグによると、Metaは5月1日、サンディエゴとニューヨークにオフィスを構えるAIロボティクスのスタートアップであるAssured Robot Intelligenceを買収した。共同創業者のLerrel PintoとXiaolong Wangを含む買収チームはMeta Superintelligence Labsに加わり、Meta Robotics Studioと連携して業務に当たる。財務
GateNews14分前
OpenAIと関連する組織が、TikTokで「中国のAI脅威」メッセージを広めるためにインフルエンサーへ5,000ドルを支払う
WIREDによると、スーパーPAC「Leading the Future」に関連する非営利団体「Build American AI」は、マーケティング会社SM4を通じて、TikTokとInstagram上で「中国は米国のAIを脅かしている」というメッセージを広めるために、ソーシャルメディアのインフルエンサーを組織的に採用してきた。 その団体
GateNews20分前
ネビウスは $643M to で Eigen AI を購入し、AI モデルのデプロイを強化する
The Economic Timesによると、5月1日、アムステルダム拠点のAIインフラ企業であるNebiusは、現金とクラスA株式で約6億43百万ドルを支払うことでEigen AIを買収すると発表した。元MIT研究者によって設立されたEigen AIは、推論および最適化技術に特化している。Nebiusは…
GateNews24分前
ペンタゴンはAI取引で8社と提携、シークレット・レベル・ネットワークへのアクセスからAnthropicを除外
Beating Newsによると、ペンタゴンは8つのテクノロジー企業と、AIツールとインフラを米国の軍事機密レベル（IL6）および最高機密（IL7）ネットワーク上で展開するための合意を発表した。新たに署名された企業にはNvidia、Microsoft、AWS、Reflection AIが含まれ、さらに以前から
GateNews24分前
