ИИ впервые получил "безграничную" память: что стоит за новой технологией
Южнокорейские исследователи представили базовую технологию OmniXtend, способную полностью ликвидировать хронический дефицит памяти при обучении масштабных ИИ-моделей. Новая архитектура использует стандартные сети Ethernet для объединения физически разделенных ресурсов серверов и ускорителей в единый гигантский пул.
Об этом пишет РБК-Украина со ссылкой на Techxsplore.
Почему возникает проблема "стены памяти"?
Ученые объяснили: ИИ развивается очень быстро, из-за чего объемы данных для его обучения растут ежедневно. Однако разработчики столкнулись с проблемой: даже если максимально повысить мощность графического процессора (GPU), его собственная встроенная память быстро заканчивается. Это ограничение ученые называют "стеной памяти", ведь из-за дефицита места эффективность работы ИИ резко падает.
Раньше, чтобы добавить памяти, приходилось покупать и устанавливать новые дорогие серверы. Технология OmniXtend меняет этот подход: она позволяет передавать память от одного компьютера к другому через обычную сеть Ethernet, создавая общее виртуальное пространство.
Преимущества новой технологии
Обычные серверные подключения (например, через интерфейсы PCIe) имеют строгие ограничения - устройства нельзя связать между собой на большом расстоянии. Использование обычного Ethernet устраняет эту проблему и позволяет соединять много физически удаленных аппаратов.
Во время тестирования на больших языковых моделях разработка показала следующие результаты:
Экономия денег: увеличить объем памяти для ИИ теперь можно без замены серверов и без перестройки дата-центров;
Ускорение вдвое: в тестах, где нейросети не хватало памяти, скорость работы сильно падала, однако после подключения расширения через Ethernet производительность возрастала более чем вдвое;
Стабильность работы: специальные платы и движок передачи данных позволили компьютерам обмениваться информацией в режиме реального времени без существенных задержек.
Глобальное внедрение и перспективы
Южнокорейские ученые уже продемонстрировали рабочую систему на крупных технологических саммитах RISC-V в Европе и США. Сейчас исследователи возглавляют специальную рабочую группу под руководством Linux Foundation, чтобы сделать OmniXtend открытым мировым стандартом для настройки ИИ-сетей.
В будущем разработчики планируют передать технологию компаниям, которые производят оборудование и софт для дата-центров. Также систему планируют адаптировать для использования в бортовых компьютерах автомобилей и кораблей и для оптимизации совместной работы различных типов процессоров.