ИИ может сломать сам себя: почему ученые встревожены
Ученые обнаружили критическую уязвимость современных ИИ-алгоритмов: когда нейросети начинают обучаться на данных, сгенерированных другими машинами, их точность стремительно падает. Этот процесс ученые назвали термином "коллапс модели".
Об этом сообщает РБК-Украина со ссылкой на Techxsplore.
Что такое "коллапс модели"?
Термин, введенный в научный оборот в 2024 году, описывает сценарий, при котором ИИ, обучающийся на продуктах деятельности алгоритмов, теряет способность выдавать точные результаты.
Причина: низкое качество обучающих данных приводит к накоплению ошибок.
Следствие: вместо содержательных ответов модель начинает генерировать бессмыслицу и непонятный набор слов.
Актуальность: поскольку количество созданного людьми контента ограничено, разработчики все чаще используют синтетические данные, а это повышает риск глобального сбоя систем.
Какие причины?
Команда ученых из Великобритании, Норвегии и Италии проанализировала процесс на базе статистических моделей так называемых "экспоненциальных семей". Они выяснили, что обучение в замкнутом цикле неизбежно приводит к коллапсу, однако нашли неожиданно простое объяснение.
Решение: добавление всего лишь одной точки данных из реального мира в процесс обучения полностью останавливает деградацию модели.
Парадокс: эффект сохраняется даже тогда, когда количество машинных данных в миллионы раз превышает этот единственный "человеческий" фрагмент.
Альтернатива: коллапс также можно предупредить, внедрив в алгоритм предварительные знания или "априорные убеждения" еще на этапе тренировки.
Будущее без галлюцинаций
Хотя исследованные модели проще сложных нейросетей вроде ChatGPT, профессор Яссер Руди из Королевского колледжа Лондона отмечает, что эти принципы являются фундаментальными для всей отрасли.
Почему это важно:
Понимание причин: работа ученых объясняет природу непонятных "галлюцинаций" ИИ, когда невозможно отследить логику ошибочного ответа.
Универсальность: ученые доказали, что аналогичное явление наблюдается и в других классах нейросетей.
Масштабирование: в будущем исследователи планируют протестировать эти принципы на LLM, используемых в беспилотных автомобилях и сложных чат-ботах.
В целом же открытие дает программистам необходимые инструменты для создания надежного ИИ, который сможет безопасно развиваться, даже когда человеческий ресурс для его обучения станет дефицитным. Ученые убеждены: такая вероятность вполне реальна.