Повідомлення Gate News, 29 квітня — AI-дослідник Аран Комацузаки провів порівняльний аналіз ефективності токенізації на базі шести провідних AI-моделей, переклавши фундаментальну працю Річа Саттона “The Bitter Lesson” дев’ятьма мовами та обробивши їх токенізаторами OpenAI, Gemini, Qwen, DeepSeek, Kimi та Claude. Виходячи з кількості токенів в англійській версії в OpenAI як базового рівня (1x), дослідження виявило суттєві відмінності: обробка того самого контенту китайською вимагала 1.65x токенів у Claude, тоді як у OpenAI — лише 1.15x. Хінді показав ще більш екстремальний результат у Claude, перевищивши базовий рівень більш ніж у 3 рази. Anthropic посів найнижче місце серед шести протестованих моделей.
Критично важливо: коли ідентичний китайський текст обробляли в різних моделях — усі результати, порівняні з однією й тією самою англійською базою — результати різко розійшлися: Kimi спожив лише 0.81x токенів (навіть менше, ніж англійська), Qwen — 0.85x, тоді як Claude потребував 1.65x. Цей розрив свідчить про чисту проблему ефективності токенізації, а не про властиві мовні особливості. Китайські моделі демонстрували вищу ефективність під час обробки китайської, що вказує: відмінність зумовлена оптимізацією токенізатора, а не самою мовою.
Практичні наслідки для користувачів суттєві: зростання споживання токенів безпосередньо підвищує API-витрати, збільшує затримку відповіді моделі та швидше виснажує контекстні вікна. Ефективність токенізації залежить від лінгвістичного складу навчальних даних моделі: моделі, натреновані переважно на англійській, стискають англійський текст ефективніше, тоді як мови з нижчою представленістю токенізуються на менші, менш ефективні фрагменти.
Висновок Комацузаки підкреслює фундаментальний принцип: розмір ринку визначає ефективність токенізації. Більші ринки отримують кращу оптимізацію, а мови, представлені недостатньо, стикаються зі значно вищими токен-витратами.
Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до
Застереження.
Пов'язані статті
Китайські компанії в сфері ШІ розглядають демонтаж «червоно-чипових» структур після зупинки зупинки придбання рукопису Meta
За даними Beating, Національна комісія з розвитку та реформи Китаю зупинила угоду Meta з придбання компанії Manus, яка розробляє AI-агентів, на $2 мільярда, через що Комісія з цінних паперів Китаю посилила вимоги до схвалення IPO у Гонконзі для компаній з «червоними фішками» (китайських компаній, що утримують вітчизняні активи th
GateNews4хв. тому
Маск завершує триденні свідчення у судовому процесі проти OpenAI, посилається на заяву про збитки на суму $130-150B
За повідомленнями кількох медіа, Ілон Маск завершив три дні допитів у своєму позові проти OpenAI 28–30 квітня, а сукупна тривалість допитів перевищила 7 годин. Маск, який у 2015 році разом із колегами заснував OpenAI, вклавши початково $38 мільйонів, стверджував, що компанія відмовилася від своєї неприбуткової місі
GateNews14хв. тому
Meta придбала робототехнічний AI-стартап Assured Robot Intelligence 1 травня
За даними Bloomberg, Meta придбала Assured Robot Intelligence — стартап у сфері AI-робототехніки з офісами в Сан-Дієго та Нью-Йорку — 1 травня. Придбана команда, зокрема співзасновники Lerrel Pinto та Xiaolong Wang, приєднається до Meta Superintelligence Labs і працюватиме з Meta Robotics Studio. Фінансові
GateNews14хв. тому
Організація, пов’язана з OpenAI, платить інфлюенсерам по 5 000 доларів за TikTok, щоб поширювати меседж про «загрозу з боку Китаю в сфері ШІ»
За даними WIRED, неприбуткова організація Build American AI, пов’язана із суперпакетом Leading the Future, систематично набирала через маркетингове агентство SM4 лідерів думок у соцмережах, щоб поширювати на TikTok і Instagram меседжі «Китай загрожує американському ШІ». Організація
GateNews20хв. тому
Nebius купує Eigen AI для $643M , щоб прискорити розгортання моделей ШІ
Згідно з The Economic Times, 1 травня амстердамська компанія з інфраструктури для ШІ Nebius оголосила, що придбає Eigen AI приблизно за $643 мільйона готівкою та акціями класу A. Eigen AI, заснована колишніми дослідниками з MIT, спеціалізується на технологіях інференсу та оптимізації. Nebius планує
GateNews24хв. тому
Пентагон підписує угоди з AI-компаніями з 8 компаніями, виключає Anthropic із доступу до секретної мережі Level Network
За даними Beating News, Пентагон оголосив про угоди з вісьмома технологічними компаніями щодо розгортання їхніх інструментів і інфраструктури для ШІ в мережах військового рівня секретності США (IL6) та найвищого рівня секретності (IL7). Нові компанії, які підписали угоди, включають Nvidia, Microsoft, AWS, Reflection AI, а також раніше
GateNews24хв. тому
