ШІ може зламати сам себе: чому вчені стривожені
Науковці виявили критичну вразливість сучасних ШІ-алгоритмів: коли нейромережі починають навчатися на даних, згенерованих іншими машинами, їхня точність стрімко падає. Цей процес вчені назвали терміном "колапс моделі".
Про це повідомляє РБК-Україна з посиланням на Techxsplore.
Що таке "колапс моделі"?
Термін, введений у науковий обіг у 2024 році, описує сценарій, за якого ШІ, що навчається на продуктах діяльності алгоритмів, втрачає здатність видавати точні результати.
Причина: низька якість навчальних даних призводить до накопичення помилок.
Наслідок: замість змістовних відповідей модель починає генерувати нісенітницю та незрозумілий набір слів.
Актуальність: оскільки кількість створеного людьми контенту обмежена, розробники дедалі частіше використовують синтетичні дані, а це підвищує ризик глобального збою систем.
Які причини?
Команда вчених із Великої Британії, Норвегії та Італії проаналізувала процес на базі статистичних моделей так званих "експоненціальних сімей". Вони з'ясували, що навчання у замкненому циклі неминуче призводить до колапсу, проте знайшли несподівано просте пояснення.
Рішення: додавання всього лише однієї точки даних із реального світу у процес навчання повністю зупиняє деградацію моделі.
Парадокс: ефект зберігається навіть тоді, коли кількість машинних даних у мільйони разів перевищує цей єдиний "людський" фрагмент.
Альтернатива: колапс також можна попередити, впровадивши в алгоритм попередні знання або "апріорні переконання" ще на етапі тренування.
Майбутнє без галюцинацій
Хоча досліджені моделі простіші за складні нейромережі на кшталт ChatGPT, професор Яссер Руді з Королівського коледжу Лондона зазначає, що ці принципи є фундаментальними для всієї галузі.
Чому це важливо:
Розуміння причин: робота науковців пояснює природу незрозумілих "галюцинацій" ШІ, коли неможливо відстежити логіку помилкової відповіді.
Універсальність: вчені довели, що аналогічне явище спостерігається і в інших класах нейромереж.
Масштабування: у майбутньому дослідники планують протестувати ці принципи на LLM, що використовуються у безпілотних автомобілях та складних чат-ботах.
Загалом же відкриття дає програмістам необхідні інструменти для створення надійного ШІ, який зможе безпечно розвиватися, навіть коли людський ресурс для його навчання стане дефіцитним. Вчені переконані: така вірогідність цілком реальна.