ИИ будет работать в вашем смартфоне: ученые ускорили обучение нейросетей на 81%
Ученые из Массачусетского технологического института (MIT) разработали новый метод, который позволяет обучать ИИ-модели непосредственно на портативных устройствах. Это позволит использовать топовые алгоритмы в сферах, где передача данных на сторонние серверы считается рискованной.
Об этом информирует РБК-Украина со ссылкой на исследование, опубликованное на сервере препринтов arXiv.
Ученые представили фреймворк под названием FTTE (Federated Tiny Training Engine). Он базируется на принципах федеративного обучения, где сеть подключенных устройств (смарт-часы, сенсоры, смартфоны) вместе работает над созданием общей модели.
Ключевое преимущество заключается в том, что данные никуда не передаются, а на сервер поступают только обновления самой ИИ-модели.
Исследователи признают: раньше процесс тормозился из-за того, что слабые устройства не имели достаточно памяти и мощности. Метод FTTE решает эти проблемы с помощью трех инноваций:
Выборочное обновление: вместо всей модели сервер отправляет устройствам лишь небольшое количество параметров, соответствующее объему памяти самого слабого гаджета.
Асинхронный подход: сервер не ожидает ответа от всех участников сети. Он накапливает обновления до определенного предела и сразу переходит к следующему раунду обучения.
Взвешенные обновления: система придает больший вес свежим данным. Старые обновления, которые задержались из-за плохой связи, меньше влияют на результат, чтобы не снижать точность нейросети.
Каковы результаты?
Тестирование на сотнях различных устройств показало, что метод FTTE позволяет завершить обучение ИИ на 81% быстрее, чем стандартные подходы. При этом нагрузка на память устройства снизилась на 80%, а объем передаваемых данных - на 69%.
"Эта научная работа о том, как интегрировать ИИ на маленькие устройства, где сейчас невозможно запускать мощные модели. Нам нужно, чтобы ИИ работал на гаджетах, которые мы носим с собой каждый день, а не только на гигантских серверах", - объясняет ведущий автор исследования Ирен Тенисон.
Перспективы
Ученые убеждены: разработка имеет особое значение для развивающихся стран, где пользователи часто имеют менее мощные смартфоны. Благодаря FTTE преимущества современного ИИ станут доступными даже на бюджетном оборудовании без ущерба для конфиденциальности пользователей.
В ближайшее время ученые планируют провести более широкие эксперименты на реальных устройствах и сосредоточиться на персонализации моделей под каждого конкретного владельца гаджета.