За даними моніторингу Beating, NVIDIA опублікувала блог із розбором вибору апаратного забезпечення для інференсу, основний аргумент у одному реченні: оцінювати інфраструктуру інференсу слід за «вартостю кожного токена», а не за «вартістю кожного GPU за годину». За ціною GPU, Blackwell дорожчий; за вартістю токена — Blackwell значно переважає попереднє покоління.
Блог використовує модель DeepSeek-R1 (MoE модель для інференсу) як тестовий об’єкт, порівнюючи Blackwell (GB300 NVL72) з попереднім Hopper (HGX H200). За орендною ціною на хмарному ринку, Blackwell коштує 2.65 доларів за GPU за годину, майже вдвічі дорожчий за Hopper, який коштує 1.41 долара, але продуктивність за токенами зросла з 90 до 6000 токенів за секунду, що дає 65-кратне збільшення пропускної здатності, і вартість за мільйон токенів знизилася з 4.20 до 0.12 долара. Виробництво токенів на мегаваті зросло у 50 разів.
Важливо врахувати, що цифра 0.12 долара базується на включенні низькоточного режиму FP4 для інференсу та MTP (мульти-токенне прогнозування, яке дозволяє моделі генерувати кілька токенів одночасно для прискорення), а також інших програмних оптимізацій. Початкові дані SemiAnalysis InferenceX v2 показують, що при запуску GB300 NVL72 для DeepSeek-R1 без MTP вартість за мільйон токенів становить близько 2.35 долара, а при включенні — зменшується до приблизно 0.11 долара, тобто ця оптимізація дає різницю у 21 раз. Усі наведені дані — результати тестування моделі DeepSeek-R1, і цифри можуть відрізнятися для інших архітектур і масштабів моделей.
Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до
Застереження.
Пов'язані статті
Claw Intelligence співпрацює з Block Sec Arena, щоб посилити безпеку BNB Chain
Згідно з офіційним оголошенням Block Sec Arena від 30 квітня Claw Intelligence — платформа Web3, що працює на основі ШІ та побудована на BNB Chain, — оголосила про стратегічне партнерство з Block Sec Arena для інтеграції передової кібербезпекової інфраструктури в її екосистему. Співпраця має на меті посилити p
GateNews9год тому
NTT оголошує ініціативу AI x OWN, планує збільшити енергетичні потужності Японії втричі до 1 ГВт до 2033 року
27 квітня президент NTT Акіра Сімада оголосив про ініціативу AI x OWN — зусилля компанії з перебудови інтернет-інфраструктури для використання ШІ в реальному часі. NTT планує збільшити свою внутрішню енергетичну потужність утричі — приблизно з 300 МВт сьогодні до близько 1 гігавата до фінансового 2033 року, оскільки телеком-гігант
GateNews10год тому
AI-платформа Certifyde завершила раунд seed на 2 мільйона доларів 1 травня, підтриманий генеральним директором Ripple Бредом Гарлінгхаусом
Згідно з TechfundingNews, платформа для AI-застосунків Certifyde завершила раунд seed на 2 мільйони доларів 1 травня. Інвестори включають K5 Global, Flamingo Capital та бізнес-ангелів, зокрема співзасновника Honey Джорджа Руана, CEO Ripple Бреда Гарлінгхауса й співзасновника Nutra Роланда
GateNews11год тому
Технічний керівник Пентагону: Anthropic досі в чорному списку, виняток для Mythos
Керівник технологій Пентагону (Pentagon technology chief) 1 травня повідомив Конгресу: «Anthropic досі перебуває в чорному списку, але Mythos Preview — це інше питання», офіційно визнавши, що Міністерство оборони по-іншому ставиться до основного бренду Anthropic і до його нової моделі Mythos. Ця заява перегукується з тим, що 19 квітня Axios розкрив: NSA (Агентство національної безпеки) фактично використовує Mythos, і тим самим остаточно закріплює політичний курс на «винятковий канал для Mythos». Водночас це також означає, що Пентагон раніше в суді стверджував: використання інструментів Anthropic загрожує національній безпеці, тоді як нинішні практичні дії створюють внутрішню суперечність у юридичній аргументації.
Anthropic vs Pentagon
ChainNewsAbmedia12год тому
137 Ventures закриває $700M для нових фондів, AUM досягає $15B
За даними ChainCatcher, 137 Ventures, ранній інвестор у SpaceX, нещодавно завершила залучення коштів для двох нових фондів на загальну суму понад $700 мільйонів, довівши свої активи під управлінням до понад $15 мільярдів. Новий капітал підтримуватиме інвестиції в AI-агентів, робототехніку та космічну силову установку
GateNews12год тому
Reddit зростає на 16% на сильних прогнозах щодо 2 кварталу; Apple стикається з дефіцитом Mac через те, що попит на ШІ випереджає пропозицію
Акції Reddit зросли на 16% до відкриття ринку в п’ятницю після того, як компанія опублікувала прогноз щодо виручки на наступний квартал, вищий за очікування. Щоденна кількість активних відвідувачів збільшилася на 17% до 126,8 мільйона, тоді як середня виручка на одного користувача у всьому світі підскочила на 44%, завдяки ШІ-інструментам
GateNews12год тому
