ШІ без цензури та інтернету: вийшов кишеньковий гаджет для запуску надпотужних нейромереж
Американський стартап Tiiny AI представив AI Pocket Lab - компактний пристрій, який розробники позиціонують як "кишеньковий суперкомп'ютер". Гаджет призначений для локального запуску великих мовних моделей (LLM) без підключення до хмарних сервісів та стягнення абонплат.
Про це пише РБК-Україна з посиланням на офіційний сайт розробника.
Технічні характеристики та продуктивність
Ключова особливість AI Pocket Lab - "безпрецедентний" для таких габаритів обсяг пам’яті. За розмірами пристрій близький до смартфона (всього 14,2 × 8 см), однак має специфічну архітектуру.
Ключові параметри:
- Процесор: 12-ядерний чіп ARM;
- Пам'ять: 80 ГБ ОЗП LPDDR5X (48 ГБ виділено під NPU);
- Продуктивність: до 190 трильйонів операцій на секунду;
- Накопичувач: 1 ТБ SSD (PCIe 4.0);
- Живлення: споживання до 30 Вт (блок живлення на 65 Вт йде у комплекті).
Девайс не є повністю автономним ПК - він працює як зовнішній обчислювальний модуль для Windows, macOS або Linux. Розробники заявляють про підтримку понад 50 відкритих мовних моделей, включно з Llama 3.1, Qwen та DeepSeek.
Локальний ШІ без хмарного сховища
За словами розробників, гаджет здатний запускати моделі зі 120 мільярдами параметрів. Для порівняння: сучасні смартфони зазвичай здатні обробляти лише прості чат-боти на 8 мільярдів параметрів.
Основні переваги AI Pocket Lab:
- Конфіденційність: дані не передаються на сервери корпорацій. Все обробляється всередині пристрою.
- Жодних підписок: користувач платить за залізо один раз і отримує доступ до "флагманського" рівня ШІ без щомісячних платежів за токени.
- Автономність: ШІ доступний у місцях, де немає зв'язку або в умовах повної ізоляції від мережі.
Швидкість генерації становить від 18 до 40 токенів на секунду - це дозволяє використовувати гаджет як повноцінний робочий інструмент. Ціна AI Pocket Lab за попереднім замовленням становить від 1 299 до 1 399 доларів.