ШІ працюватиме у вашому смартфоні: вчені прискорили навчання нейромереж на 81%
Вчені з Массачусетського технологічного інституту (MIT) розробили новий метод, який дозволяє навчати ШІ-моделі безпосередньо на портативних пристроях. Це дозволить використовувати топові алгоритми у сферах, де передача даних на сторонні сервери вважається ризикованою.
Про це інформує РБК-Україна за посиланням на дослідження, опубліковане на сервері препринтів arXiv.
Науковці представили фреймворк під назвою FTTE (Federated Tiny Training Engine). Він базується на принципах федеративного навчання, де мережа підключених пристроїв (смартгодинники, сенсори, смартфони) разом працює над створенням спільної моделі.
Ключова перевага полягає у тому, що дані нікуди не передаються, а на сервер надходять лише оновлення самої ШІ-моделі.
Дослідники визнають: раніше процес гальмувався через те, що слабкі пристрої не мали достатньо пам'яті та потужності. Метод FTTE вирішує ці проблеми за допомогою трьох інновацій:
Вибіркове оновлення: замість усієї моделі сервер надсилає пристроям лише невелику кількість параметрів, що відповідає обсягу пам’яті найслабшого гаджета.
Асинхронний підхід: сервер не очікує на відповіді від усіх учасників мережі. Він накопичує оновлення до певної межі та відразу переходить до наступного раунду навчання.
Зважені оновлення: система надає більшу вагу свіжим даним. Старі оновлення, які затрималися через поганий зв'язок, менше впливають на результат, щоб не знижувати точність нейромережі.
Які результати?
Тестування на сотнях різних пристроїв показало, що метод FTTE дозволяє завершити навчання ШІ на 81% швидше, ніж стандартні підходи. При цьому навантаження на пам'ять пристрою знизилося на 80%, а обсяг переданих даних - на 69%.
"Ця наукова робота про те, як інтегрувати ШІ на маленькі пристрої, де зараз неможливо запускати потужні моделі. Нам потрібно, щоб ШІ працював на гаджетах, які ми носимо зі собою щодня, а не лише на гігантських серверах", - пояснює провідна авторка дослідження Ірен Тенісон.
Перспективи
Вчені переконані: розробка має особливе значення для країн, що розвиваються, де користувачі часто мають менш потужні смартфони. Завдяки FTTE переваги сучасного ШІ стануть доступними навіть на бюджетному обладнанні без шкоди для конфіденційності користувачів.
Найближчим часом науковці планують провести ширші експерименти на реальних пристроях та зосередитися на персоналізації моделей під кожного конкретного власника гаджета.