ШІ вперше отримав "безмежну" пам’ять: що стоїть за новою технологією
Південнокорейські дослідники представили базову технологію OmniXtend, здатну повністю ліквідувати хронічний дефіцит пам'яті під час навчання масштабних ШІ-моделей. Нова архітектура використовує стандартні мережі Ethernet для об'єднання фізично розділених ресурсів серверів та прискорювачів у єдиний гігантський пул.
Про це пише РБК-Україна з посиланням на Techxsplore.
Чому виникає проблема "стіни пам'яті"?
Вчені пояснили: ШІ розвивається дуже швидко, через що обсяги даних для його навчання зростають щодня. Проте розробники зіткнулися з проблемою: навіть якщо максимально підвищити потужність графічного процесора (GPU), його власна вбудована пам'ять швидко закінчується. Це обмеження вчені називають "стіною пам'яті", адже через дефіцит місця ефективність роботи ШІ різко падає.
Раніше, щоб додати пам'яті, доводилося купувати та встановлювати нові дорогі сервери. Технологія OmniXtend змінює цей підхід: вона дозволяє передавати пам'ять від одного комп'ютера до іншого через звичайну мережу Ethernet, створюючи загальний віртуальний простір.
Переваги нової технології
Звичайні серверні підключення (наприклад, через інтерфейси PCIe) мають суворі обмеження - пристрої не можна зв'язати між собою на великій відстані. Використання звичайного Ethernet усуває цю проблему і дозволяє з'єднувати багато фізично віддалених апаратів.
Під час тестування на великих мовних моделях розробка показала такі результати:
Економія грошей: збільшити обсяг пам'яті для ШІ тепер можна без заміни серверів та без перебудови дата-центрів;
Прискорення вдвічі: у тестах, де нейромережі не вистачало пам'яті, швидкість роботи сильно падала, проте після підключення розширення через Ethernet продуктивність зростала більш ніж удвічі;
Стабільність роботи: спеціальні плати та двигун передачі даних дозволили комп'ютерам обмінюватися інформацією в режимі реального часу без суттєвих затримок.
Глобальне впровадження та перспективи
Південнокорейські вчені вже продемонстрували робочу систему на великих технологічних самітах RISC-V в Європі та США. Зараз дослідники очолюють спеціальну робочу групу під керівництвом Linux Foundation, щоб зробити OmniXtend відкритим світовим стандартом для налаштування ШІ-мереж.
У майбутньому розробники планують передати технологію компаніям, які виробляють обладнання та софт для дата-центрів. Також систему планують адаптувати для використання у бортових комп'ютерах автомобілів і кораблів та для оптимізації спільної роботи різних типів процесорів.