ИИ уверенно ошибается: ученые нашли способ это исправить
ИИ теперь может сомневаться в собственных решениях (фото:Magnific)
Исследователи из Корейского передового института науки и технологий (KAIST) представили новый метод обучения нейросетей, который делает их прогнозы значительно надежнее. Новый подход позволяет ИИ выдавать прагматичные оценки уверенности в собственных ответах.
Об этом пишет РБК-Украина со ссылкой на исследование ученых, опубликованное в профессиональном вестнике Nature Machine Intelligence.
Почему ИИ "ведут себя" самоуверенно?
Ученые объясняют: большинство современных ИИ-систем использует глубинное обучение на базе многослойных нейронных сетей. Во время работы они выдают не только ответ, но и оценку уверенности в его точности.
Однако практика показывает, что ИИ часто допускает ошибки, выдавая их за доказанный факт с высоким показателем вероятности.
По словам исследователей Чонхвана Чхона и Се-Бум Пайка, причиной этой проблемы является стандартный метод инициализации моделей (ряд действий, предшествующих выполнению программы), который долгое время считался эталонным. Именно он закладывает основу для дальнейшей чрезмерной уверенности системы.
Метод "нейроразминки": в чем новаторство
Чтобы исправить этот недостаток, ученые разработали стратегию "разминки", вдохновленную развитием человеческого мозга.
Процесс выглядит так:
Обучение на шуме: перед началом работы с реальными данными нейросеть коротко тренируют на случайном шуме (данных без логических паттернов) и произвольных результатах.
Калибровка: во время этой фазы сеть учится не искать закономерности там, где их нет - как раз это и формирует правильное "понимание" ИИ понятия неопределенности.
Основное обучение: только после такой подготовки модель начинает изучать специфические задачи на реальных датасетах.
Результаты
Исследователи отмечают: сравнение со стандартными методами оказалось "впечатляющим". Модели, прошедшие "разминку", значительно лучше идентифицировали неизвестные входные данные и выдавали низкие баллы уверенности для своих ошибочных прогнозов. При этом они сохраняли высокую уверенность только в правильных ответах.
Почему это важно
Ученые KAIST акцентируют: главное преимущество нового подхода заключается в его простоте. Он не требует сложного инженерного вмешательства или дополнительной обработки данных после обучения. Достаточно лишь короткой подготовительной сессии перед началом основной тренировки алгоритма.
В перспективе это поможет создать более безопасные системы ИИ для диагностики заболеваний, где ложная уверенность может привести к неправильному лечению, или для систем автопилота, где неточная оценка ситуации на дороге грозит авариями.
Ученые планируют развивать новаторский метод, чтобы применить его к более широкому спектру ИИ-моделей в реальных ситуациях по всему миру.
