ИИ научили говорить "я не знаю": как это уменьшает галлюцинации в ответах
Исследователи из KAIST разработали методику, которая учит нейросети идентифицировать незнакомую информацию и снижать уровень уверенности в сомнительных ситуациях.
Об этом информирует РБК-Украина, ссылаясь на научное исследование, опубликованное в профессиональном вестнике Nature Machine Intelligence.
Почему ИИ становится самоуверенным?
Группа исследователей под руководством профессора Се-Бума Пайка выяснила, что корень проблемы спрятан в методе "случайной инициализации", который используется почти во всех моделях глубинного обучения.
Нейросети еще до начала работы с реальными данными склонны демонстрировать высокую уверенность даже в случайных сигналах. Эта базовая установка сохраняется во время тренировки и впоследствии провоцирует галлюцинации у генеративного ИИ.
"Внедряя ключевые принципы развития мозга, ИИ может распознавать состояние собственных знаний способом, подобным человеческому. Это важно, ведь помогает ИИ понимать, когда он не уверен или может ошибаться, а не просто улучшать частоту правильных ответов", - отмечает профессор Пайк.
Методика "разминки" на шуме
Решение подсказала биология: человеческий мозг формирует нейронные связи через спонтанную активность еще до рождения, когда внешние раздражители отсутствуют. Ученые перенесли этот опыт в цифровую плоскость, внедрив фазу warm-up (разминки):
Обучение на шуме: перед работой с реальными объектами алгоритм кратковременно тренируют на случайном наборе данных, не имеющих смысла.
Настройка неопределенности: во время этого процесса ИИ адаптирует уровень своей уверенности до минимума, фактически изучая состояние "я пока ничего не знаю".
Корректировка базы: после такой подготовки модель начинает обучение с чистого листа, где ее уверенность в ответе прямо пропорциональна качеству полученных знаний.
От правильных ответов к метакогниции
Применение новой стратегии позволило ИИ значительно лучше распознавать данные, которые отличаются от учебной выборки (out-of-distribution detection). В ситуациях, где обычная модель уверенно бы ошиблась, обновленный алгоритм сигнализирует о высоком уровне неопределенности.
"Фактически это шаг к созданию метакогниции у машин - способности различать "что я знаю" и "чего я не знаю", - считают ученые.
Исследователи отмечают, что такой подход не просто повышает точность ответов, но и делает поведение ИИ прогнозируемым.
Ученые убеждены: технология может быть применена к любой архитектуре глубокого обучения, и это повысит общую надежность систем искусственного интеллекта во всем мире.