DeepSeek відкриває TileKernels з відкритим кодом: бібліотека GPU-ядр для тренування й інференсу великих моделей

Повідомлення Gate News, 23 квітня — DeepSeek відкрив вихідний код TileKernels під ліцензією MIT: бібліотека GPU-ядр для обчислень, написана на TileLang для тренування та інференсу великих мовних моделей. TileLang — це предметно-орієнтована мова, розроблена командою tile-ai для вираження високопродуктивних GPU-ядр у Python. DeepSeek зазначив, що більшість ядер у цій бібліотеці вже наблизилися до граничних можливостей апаратного забезпечення за обчислювальною щільністю та пропускною здатністю пам’яті, причому частини коду вже розгорнуті у внутрішніх операціях тренування та інференсу.

Бібліотека містить шість категорій ядер: MoE (mixture of experts) gating і маршрутизація, включно з вибором експертів Top-k, відображенням токен—експерт і злитими операціями expand/shrink із нормалізацією ваг; квантування, що підтримує формати FP8, FP4 і E5M6 із квантуванням для кожного токена, для кожного блока та для кожного каналу, включно зі злитими операціями SwiGLU+квантування; batch transpose; Engram gating із злитим поширенням уперед/назад RMSNorm і зведенням градієнта ваг; Manifold HyperConnection із нормалізацією Sinkhorn і змішаним split/apply; а також високорівневі інтерфейси autograd, які обгортають низькорівневі ядра в навчальні шари.

Engram і Manifold HyperConnection є власницькими компонентами модельної архітектури DeepSeek, причому деталі реалізації вперше були розкриті публічно. Бібліотека вимагає GPU архітектури NVIDIA SM90 або SM100 (H100/H200 або серії Blackwell), CUDA Toolkit 13.1 або новішу версію, і PyTorch 2.10 або новішу версію.

Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до Застереження.

Пов'язані статті

Sonic створює квантово-готовчий блокчейн із простішою архітектурою

Sonic перерозробляє архітектуру свого блокчейну, щоб полегшити перехід до квантово-стійкої криптографії. Підхід уникає складної агрегації підписів, яку використовує більшість мереж proof-of-stake. Ключові висновки Sonic переробляє proof-of-stake, щоб уникнути агрегації Boneh–Lynn–Shacham, полегшуючи квантовий

Coinpedia28хв. тому

DeBox оголошує про припинення сервісу vBOX 30 квітня

Повідомлення Gate News, 24 квітня — DeBox, платформа соціальних мереж у Web3, оголосила, що її сервіс vBOX буде закрито 30 квітня 2026 року о 23:59 через коригування бізнесу платформи. Користувачі мають безкоштовно отримати (забрати) свої бали через оригінальний системний канал до дедлайну. Починаючи з 1 травня, автоматичний канал виведення коштів буде назавжди закрито, а незатребувані бали буде заморожено.

GateNews31хв. тому

Succinct Labs запускає застосунок ZCAM для iPhone, що використовує криптографію, щоб протидіяти медіа, згенерованим ШІ

Повідомлення Gate News, 24 квітня — Succinct Labs, підтримана Paradigm, у четвер представила ZCAM — застосунок для iPhone, який використовує криптографію, щоб створювати відбитки (fingerprint) фотографій і відео, з метою протидії медіа, згенерованим або зміненим ШІ. Додаток підписує фотографії та відео в момент зйомки, створюючи так званий tamper-proof

GateNews2год тому

Pi Network запустила фреймворк токенів PiRC1, заборонила випуск токенів проєктам без реального застосування

Pi Network 22 квітня представила токенну дизайн-модель PiRC1 як частину оновлення Protocol V22. Основне правило PiRC1 полягає в тому, що токени може випускати лише той проєкт, який уже має в екосистемі Pi працездатний застосунок і має реальну потребу серед справжніх користувачів. Доходи від токенів не надходять команді проєкту, а надходять у постійний пул ліквідності, прив’язаний до Pi Coin, щоб запобігти діям, спрямованим на втечу з коштами.

MarketWhisper2год тому

Frax приєднується до підтримки DeFi United для Aave, щоб запропонувати план управління для інциденту з rsETH

Повідомлення Gate News, 24 квітня — Frax Finance оголосила в X, що як партнер Aave V4 вона перебуває в прямому спілкуванні з Aave, щоб усунути інцидент із rsETH. Хоча Frax не має прямого ризик-експозиції, вона

GateNews3год тому

Пропозиція CoW DAO щодо компенсації постраждалим від викрадення домену cow.fi, до 100% відшкодування збитків

CoW DAO 23 квітня опублікував на форумі з управління пропозицію щодо компенсації (CIP), у якій запропонував створити програму дискреційних грантів для надання постраждалим від інциденту викрадення домену cow.fi 14 квітня максимальної компенсації втрат у розмірі до 100%. За оцінками, інцидент спричинив збитки користувачам приблизно на 120 тисяч доларів США USDC, CoW DAO підкреслив, що компенсація має добровільний характер і є спеціальною пільгою, яка не означає визнання будь-якої юридичної відповідальності.

MarketWhisper3год тому
Прокоментувати
0/400
Немає коментарів