Ваш смартфон может стать ИИ-сервером: как это сделать без Google и OpenAI
Локальные SLM можно установить на Android и iOS (фото: Unsplash)
Ваш смартфон может стать собственным ИИ-сервером - без Google, OpenAI или Anthropic. Компактные языковые модели позволяют обрабатывать запросы непосредственно на устройстве, не передавая данные в облако.
РБК-Украина со ссылкой на Lifehacker разобралась, как это работает.
Технические требования для запуска
Специалисты отмечают: главные плюсы локального ИИ - полная автономность (работа без интернета) и абсолютная конфиденциальность.
Однако существуют и компромиссы:
- меньшая скорость ответов,
- более ограниченный функционал по сравнению с облачными гигантами,
- повышенная нагрузка на аккумулятор.
Для комфортной работы локальных моделей смартфон должен соответствовать определенным параметрам:
Оперативная память: это ключевой ресурс. Минимальный порог составляет 6 ГБ RAM, однако для моделей на 7-8 млрд параметров (8B) потребуется от 8 ГБ.
Объем хранилища: сами модели "весят" относительно немного - самые большие из них занимают около 5 ГБ памяти устройства.
Аппаратная поддержка: в последние годы смартфоны создаются на основе ИИ-обработки, хотя встроенные системные модели Apple и Google остаются закрытыми для прямого доступа пользователей.
Приложения и доступные модели
Чтобы запустить ИИ на базе Android или iOS, используются специальные оболочки, такие как PocketPal AI или Atomic Chat.
Они содержат мастера первичной настройки, помогающие подобрать оптимальную модель под спецификацию конкретного гаджета.
Среди доступных открытых моделей для смартфонов эксперты выделяют:
- Gemma - семейство облегченных открытых моделей от Google;
- Llama - серия моделей от компании Meta;
- Phi-4 - компактные и высокоэффективные решения от Microsoft.
Отметим, что мобильные локальные модели работают преимущественно с текстом (редактирование, брейншторминг, составление кратких ответов) и не имеют доступа к свежим новостям в сети.
Для создания фото или видео по-прежнему нужны облачные ресурсы.
