Исследователи из Университета Пенсильвании обнаружили критическую системную ошибку в работе с ИИ. Масштабное тестирование показало, что пользователи массово делегируют сложные задачи нейросети, полностью отказываясь от проверки результатов.
Об этом пишет РБК-Украина со ссылкой на научную работу "Мышление - быстрое, медленное и искусственное: как искусственный интеллект меняет человеческое мышление и рост когнитивной капитуляции".
Для эксперимента ученые модифицировали ИИ-бота так, чтобы он выдавал ложные ответы в 50% случаев. Исследование с участием 1372 подопытных и 9500 отдельных попыток показало аномальный уровень доверия к алгоритмам.
Ключевые показатели:
Ученые отмечают, что уверенная и хорошо скомпонованная подача текста нейросетью действует как авторитетный сигнал, который автоматически подавляет критическую проверку.
Способность выявлять "галлюцинации" ИИ напрямую зависит от внешних условий работы. Ученые назвали конкретные факторы:
Ученые пришли к однозначным выводам: при полной автономии ИИ результативность работы ограничена исключительно качеством самой модели. В 73,2% случаев человек просто не исправляет ошибки алгоритма.