Ваш смартфон може стати ШІ-сервером: як це зробити без Google і OpenAI
Локальні SLM можна встановити на Android та iOS (фото: Unsplash)
Ваш смартфон може стати власним ШІ-сервером - без Google, OpenAI чи Anthropic. Компактні мовні моделі дозволяють обробляти запити безпосередньо на пристрої, не передаючи дані в хмару.
РБК-Україна з посиланням на Lifehacker розібралася, як це працює.
Технічні вимоги для запуску
Фахівці зазначають: головні плюси локального ШІ - повна автономність (робота без інтернету) та абсолютна конфіденційність.
Проте існують й компроміси:
- менша швидкість відповідей,
- обмеженіший функціонал у порівнянні з хмарними гігантами,
- підвищене навантаження на акумулятор.
Для комфортної роботи локальних моделей смартфон повинен відповідати певним параметрам:
Оперативна пам'ять: це ключовий ресурс. Мінімальний поріг становить 6 ГБ RAM, проте для моделей на 7-8 мільярдів параметрів (8B) знадобиться від 8 ГБ.
Обсяг сховища: самі моделі "важать" відносно небагато - найбільші з них займають близько 5 ГБ пам'яті пристрою.
Апаратна підтримка: останніми роками смартфони створюються з урахуванням ШІ-обробки, хоча вбудовані системні моделі Apple та Google залишаються закритими для прямого доступу користувачів.
Додатки та доступні моделі
Щоб запустити ШІ на базі Android або iOS, використовуються спеціальні оболонки, такі як PocketPal AI або Atomic Chat.
Вони містять майстри первинного налаштування, які допомагають підібрати оптимальну модель під специфікацію конкретного гаджета.
Серед доступних відкритих моделей для смартфонів експерти виділяють:
- Gemma - сімейство полегшених відкритих моделей від Google;
- Llama - серія моделей від компанії Meta;
- Phi-4 - компактні та високоефективні рішення від Microsoft.
Зауважимо, що наразі мобільні локальні моделі працюють переважно з текстом (редагування, брейнштормінг, складання коротких відповідей) і не мають доступу до свіжих новин у мережі.
Для генерації фото чи відео, як і раніше, потрібні хмарні ресурси.
