ИИ на iPhone без облака: Apple тестирует технологию будущего
Apple тестирует ИИ-технологию без облака для обновления Siri (фото: Unsplash)
Большие ШИ-модели могут работать не только в дата-центрах. Стартап PrismML создал Bonsai 27B, запускаемый непосредственно на смартфоне, а Apple уже тестирует новую технологию.
Об этом информирует РБК-Украина со ссылкой на CNBC.
Технология сжатия: как уменьшить ИИ в 15 раз
В основе разработки лежит открытая нейросеть Qwen3.6 27B от китайской компании Alibaba. В оригинальном состоянии она весит около 54 ГБ, что делает невозможным ее запуск на потребительских гаджетах.
Инженеры PrismML применили метод радикального упрощения математических значений. Вместо стандартной 16-битной кодировки каждый вес внутри нейросети теперь записывается с помощью всего 1-2 битов.
Патенты на метод принадлежат Caltech и лицензированы исключительно для стартапа, который в марте привлек 16,25 миллиона долларов инвестиций.
В результате компания выпустила две бесплатные версии модели под лицензией Apache 2.0:
- Мобильная версия (3,9 ГБ): оптимизированная для смартфонов, совместимая с iPhone 15 и более новейшими моделями через фреймворк Apple MLX.
- Версия для ноутбуков (5,9 ГБ): адаптирована для MacBook и компьютеров с видеокартами NVIDIA через архитектуру CUDA.
По данным разработчиков, такое сжатие позволяет модели использовать в 10-15 раз меньше оперативной памяти. При этом скорость генерации ответов возрастает в 6–8 раз, а потребление энергии снижается в 3-6 раз.
Что это изменит для Apple и помощника Siri?
Apple ведет переговоры с PrismML на фоне запуска публичной бета-версии iOS 27, где компания представила масштабное обновление Siri.
Локальный запуск сжатых моделей непосредственно на процессорах iPhone дает Apple несколько стратегических преимуществ:
Минимальная задержка: смартфону больше не нужно ждать ответа от облака - обработка запросов происходит мгновенно.
Максимальная конфиденциальность: конфиденциальные данные, такие как медицинская информация, списки лекарств или фитнес-показатели, вообще не покидают устройство.
Автономность: базовые функции ИИ, инструменты вычислительной фотографии, генерация видео и редактирование текста могут работать без подключения к интернету.
Снижение затрат: уменьшается финансовая нагрузка на содержание собственных дата-центров Apple и оплату посторонних облачных лицензий.
Технические ограничения и реакция рынка железа
Несмотря на оптимистичные заявления PrismML, независимые аналитики из Counterpoint Research и IDC призывают оценивать технологию осторожно, поскольку реальные тесты за пределами лаборатории еще не проводились.
Экстремальное сжатие имеет свои компромиссы: модель теряет несколько процентов от общей эффективности.
В частности, у Bonsai 27B заметно ухудшились упоминание точных фактов, распознавание изображений и работа с посторонними инструментами, хотя логика, математика и написание кода остались на высоком уровне.
Также открытым остается вопрос энергопотребления при длительном использовании, поскольку непрерывная работа нейросети в фоновом режиме способна быстро разрядить аккумулятор телефона, а процессор начинает сбрасывать частоты из-за перегрева уже через пять минут непрерывной работы.
