Apple ведёт переговоры с PrismML, стартапом при поддержке Khosla Ventures, чтобы оценить технологию сжатия ИИ-моделей, которая может позволить запускать мощные ИИ-модели прямо на iPhone. Об этом CNBC рассказал генеральный директор PrismML Бабак Хассиби. Во вторник PrismML публично выпустила сжатые версии модели Qwen от Alibaba, уменьшив объём модели с примерно 54 ГБ до менее 4 ГБ при сохранении всех 27 миллиарда параметров для устройств iPhone 15 или более новых. Переговоры нацелены на то, чтобы снять ограничения в ИИ-стратегии Apple: компания открыла публичную бета-версию iOS 27 на день раньше, предоставив владельцам iPhone доступ к переработанной Siri и при этом оставляя больше вычислений на устройстве. Хассиби охарактеризовал переговоры как «очень ранние», но заявил, что «всё развивается неплохо»: Apple и другие компании оценивают скорость, энергоэффективность и производительность технологии. Эта технология может снизить затраты на облачные вычисления и усилить позиционирование Apple по приватности, позволяя ИИ-функциям работать без интернет-соединения.
PrismML выпускает сжатую модель Qwen: с 54 ГБ до 4 ГБ
PrismML, спин-аут Калифорнийского технологического института, во вторник уменьшила открытую модель Qwen от Alibaba примерно с 54 ГБ до менее 4 ГБ. Сжатие позволяет запускать все 27 миллиардов параметров на iPhone 15 или более новом устройстве. Стартап сокращает ИИ-модели, упрощая способ хранения внутренней информации: каждую величину с 16 бит уменьшают до всего одного или трёх возможных значений. Хассиби сравнил этот подход с переходом чип-индустрии от восьмибитных вычислений к четырёхбитным.
Сжатые модели, по данным PrismML, используют в 10–15 раз меньше памяти, генерируют ответы в 6–8 раз быстрее и потребляют в 3–6 раз меньше энергии, чем обычные версии на существующем оборудовании. Хассиби признал, что модели обычно теряют несколько процентных пунктов общей производительности: фактическое воспроизведение ослабевает раньше, чем такие навыки, как рассуждения, математика и кодинг. PrismML выпускает две сжатые версии модели бесплатно — они рассчитаны на работу на iPhone, MacBook и ПК с Nvidia.
Apple оценивает локальную ИИ-обработку на устройстве, чтобы снизить зависимость от облака
«Прямо сейчас они оценивают нашу технологию», — сказал Хассиби об Apple. Куда приведут переговоры, пока неясно, но Хассиби отметил прогресс. Apple может отправлять сложные запросы облачным моделям, однако запуск большего числа ИИ-функций непосредственно на iPhone уменьшит задержку, связанную с отправкой данных на удалённый сервер, снизит расходы на облачные вычисления и поддержит аргументы Apple в пользу приватности. Такой подход также позволит некоторым функциям работать без подключения к интернету.
Каролина Миланези, президент и ведущий аналитик Creative Strategies, сказала, что более компактные модели могут позволить Apple перенести на iPhone более требовательные функции, включая вычислительную фотографию, генерацию видео и инструменты для здоровья или фитнеса, которые опираются на чувствительные персональные данные. «Чем больше вы можете делать на устройстве, тем лучше», — сказала она, указав на данные о здоровье и лекарствах, которые пользователи захотят сохранить приватными. Apple уже запускает части своей ИИ-системы локально, включая перевод, некоторые функции суммаризации и возможности, тесно связанные с личной информацией.
PrismML привлекла $16,25 млн seed-раунда в марте
Технология выросла из исследовательской группы Хассиби в Caltech. Университет владеет базовыми патентами и лицензирует их исключительно PrismML. В марте компания привлекла $16,25 млн в seed-раунде при поддержке Khosla Ventures и других инвесторов. Хассиби сказал, что следующей в очереди идёт открытая модель Gemma от Google, а затем — гораздо более крупные модели, включая те, что разрабатываются frontier labs и сегодня обычно требуют инфраструктуру дата-центров.
По данным PrismML, в итоге технология может распространиться далеко за пределы телефонов и ноутбуков — на робототехнику, автономные системы и другие продукты, которым нужно быстро принимать решения без зависимости от облачного подключения. «Очень важно, чтобы интеллект был локальным и мог работать быстро», — сказал Хассиби. Горас Дедиу, основатель Asymco, заявил, что Apple, вероятно, пытается держать основное большинство типичных взаимодействий с Siri на устройстве, оставляя для облака самые требовательные задачи.
Аналитики ставят под вопрос влияние на батарею и эффективность в реальных условиях
Тарун Патхак, директор по исследованиям в Counterpoint Research, сказал, что критически важными будут производительность модели на длинных запросах, потребление батареи при многозадачности и надёжность при миллионах запросов. «Окончательный тест — это миллионы запросов, тысячи комбинаций устройств и масштабное устойчивое тестирование», — сказал Патхак. Фил Солис, который возглавляет исследования IDC по клиентским процессорам, отметил, что самым большим открытым вопросом может быть энергопотребление. Модель, достаточно мощная для частого или непрерывного фонового использования для задач, похожих на работу агентов, может разрядить батарею телефона даже при том, что она требует меньше памяти.
Гил Лурия, аналитик D.A. Davidson, сказал, что уменьшение моделей не устранит необходимость в процессорах или памяти. Это может лишь переместить больше этих чипов из дата-центров в телефоны и другие устройства. «Дело не в том, что чип вам не понадобится», — сказал Лурия. «Вам по-прежнему потребуется GPU, и вам по-прежнему потребуется память». Он добавил, что запуск ИИ на отдельных устройствах может быть на самом деле менее эффективным, чем использование общей инфраструктуры дата-центров, потому что чипы в телефонах большую часть времени могут простаивать.
Morgan Stanley оценивает, что средняя стоимость динамической оперативной памяти (DRAM) Apple в расчёте на бит может вырасти примерно на 190% год к году в фискальном 2027 году, при этом затраты на NAND могут увеличиться примерно на 180%. Компания ожидает, что Apple поднимет начальную цену сопоставимых моделей iPhone 18 примерно на $200, чтобы защитить маржинальность. Акции Micron обвалились в марте после публикации Google статьи TurboQuant о снижении использования памяти без ухудшения производительности моделей, но затем акции восстановились. Патхак сказал, что комбинация облачного и локального ИИ может дать более полное, эффективное и ориентированное на приватность ИИ-впечатление: сложные задачи будут выгружаться в облако, а чувствительные задачи с критичной к задержкам обработкой — выполняться на устройстве.
Часто задаваемые вопросы
Что PrismML выпустила во вторник?
Во вторник PrismML публично выпустила сжатые версии открытой модели Qwen от Alibaba. Компания уменьшила модель примерно с 54 ГБ до менее 4 ГБ, что позволяет запустить все 27 миллиардов параметров на iPhone 15 или более новом устройстве.
Как работает технология сжатия PrismML?
PrismML уменьшает ИИ-модели за счёт радикального упрощения способа хранения внутренней информации: каждую величину сокращают с 16 бит до всего одного или трёх возможных значений. Сжатые модели, по данным компании, используют в 10–15 раз меньше памяти, генерируют ответы в 6–8 раз быстрее и потребляют в 3–6 раз меньше энергии, чем обычные версии.
Почему Apple оценивает локальную ИИ-обработку?
Запуск большего числа ИИ-функций непосредственно на iPhone уменьшит задержку, связанную с отправкой данных на удалённый сервер, снизит расходы на облачные вычисления и поддержит позиционирование Apple в части приватности. Такой подход также, по данным источника, позволит некоторым функциям работать без подключения к интернету.
