Мой компьютер может локально запускать модели ИИ? CanIRun.ai поможет вам быстро проанализировать

AI-инструмент CanIRun.ai способен автоматически обнаруживать аппаратные характеристики пользователя через браузер, оценивать, какие модели LLM и с какой скоростью они могут работать, и показывать результаты в виде рейтинга от S до F. Заинтересованные пользователи могут попробовать и ознакомиться с этим инструментом.
(Предыстория: Clawdbot — это мощный 24/7 AI-ассистент, который распродал все Mac mini)
(Дополнение: Не стоит слепо следовать за OpenClaw, у маленьких раков есть сильные стороны, но они не обязательно подходят вам)

Содержание статьи

Переключить

• Недостатки CanIRun.ai
• Альтернатива командной строке — llmfit
• Что больше всего хотят сообщество

Хотите установить крупномасштабную модель LLM на локальном компьютере? Самая распространенная проблема у новичков — какую модель мой компьютер способен запустить? В этой статье мы расскажем о инструменте CanIRun.ai, который недавно вызвал обсуждение в сообществе Hacker News.

CanIRun.ai — это полностью веб-инструмент с простым интерфейсом: достаточно открыть браузер, и он автоматически через WebGPU API определит модель GPU и объем памяти, а затем, исходя из параметров моделей, уровня квантования (Q4_K_M, Q8_0, F16 и др.) и пропускной способности памяти, оценит возможность запуска каждой модели и скорость инференса (token/s), показывая результаты в виде рейтинга от S до F.

Инструмент охватывает диапазон от очень легких моделей с 0.8 млрд параметров до гигантских MoE (Mixture of Experts, смесь экспертов) с 1 трлн параметров, используя данные из llama.cpp, Ollama и LM Studio — популярных локальных решений для инференса.

Недостатки CanIRun.ai

Несмотря на положительную реакцию сообщества, у инструмента есть и критика. Основные проблемы — неполный список поддерживаемого оборудования и расхождения между оценками и реальными результатами.

Самая частая жалоба — отсутствие в списке некоторых видеокарт: RTX Pro 6000, RTX 5060 Ti 16GB, ноутбучных GPU разных производителей. В списке есть Apple-чипы, но максимум — 192 ГБ памяти, тогда как M3 Ultra реально поддерживает до 512 ГБ.

Что касается ошибок оценки — некоторые пользователи отмечают, что результаты тестов у них не совпадают с выводами CanIRun.ai. В обсуждениях часто встречаются случаи, когда сайт говорит, что модель не запустится, а на практике она работает. Это заставляет некоторых пользователей полностью отказаться от доверия к результатам.

Хотя сайт еще можно улучшить, для новичков он все равно помогает быстро понять возможности своего устройства.

Альтернатива командной строке — llmfit

Также в сообществе рекомендуют альтернативный инструмент — llmfit. Это командная утилита, которая напрямую вызывает системные инструменты (например, nvidia-smi) для точного определения GPU, не полагаясь на браузерные API. Многие считают, что она более практична и точна, чем веб-версия.

Однако у этого есть и другой аспект: некоторые удивлены, что llmfit может определить модель GPU без запроса дополнительных разрешений. Это вызвало обсуждение о приватности и отслеживании через браузер: если WebGPU API позволяет определить, какая у вас видеокарта, то как эти данные могут использоваться?

Некоторые советуют интегрировать такую функцию прямо в Ollama, чтобы пользователь мог из командной строки автоматически выбрать подходящую модель, исходя из аппаратных характеристик, без лишних хлопот.

Что больше всего хотят сообщество

Обратная связь показывает, что основная проблема CanIRun.ai — не только точность оценки, но и ограниченность по параметрам оценки. Пользователи хотят знать: какая модель на их железе лучше всего по качеству и скорости? Сейчас инструмент только говорит, сможет ли модель запуститься, но не дает ответа, достаточно ли она хороша.

Сообщество надеется, что в будущем появится возможность оценки возможностей моделей с учетом аппаратных характеристик, чтобы выбрать оптимальный вариант. Также планируются улучшения: использование общей памяти CPU (чтобы GPU с недостаточной памятью мог заимствовать системную), поддержка техник кеширования KV, исправление логики расчетов MoE и т. д.

В целом, направление правильное, и спрос есть: для обычных пользователей порог входа в локальный AI все еще высок, а быстрое понимание, «что мой компьютер может запустить», — востребовано. CanIRun.ai попал в точку, но еще требует доработки.