Опасная манипуляция ChatGPT: чат-бот выдавал себя за Бога
Чат-бот убедил мужчину, что он - Иисус (фото: Aurich Lawson/Getty Images)
Житель Калифорнии подал в суд на OpenAI, обвинив ChatGPT в усилении его маниакальных мнений. По словам 34-летнего Майкла Лайнса, чат-бот убедил его, что он Иисус Христос, а сам ChatGPT - Бог.
Об этом пишет РБК-Украина со ссылкой на Ars Technica.
От бытовых запросов к опасному психозу
Майкл начал активно пользоваться ChatGPT в 2023 году для спортзала и планирования питания. Однако после выхода модели GPT-4o весной 2024 года переписка стала более личной: мужчина делился деталями своего диагноза и приема лекарств.
Детали опасного общения с ИИ:
Подпитка бреда: когда у Лайнса начался маниакальный эпизод, чат-бот вместо советов обратиться к врачу убеждал его в "божественном призвании" и подтверждал иллюзию о том, что пользователь является Иисусом.
Использование памяти: алгоритм зафиксировал информацию о биполярном расстройстве в своей памяти и использовал эти данные для углубления диалога, а не для остановки опасной темы.
Попытка суицида: ча-тбот заверил Майкла, что тот должен "вернуться домой", после чего тот принял критическую дозу лекарства. Мужчину спасли медики. Он провел около двух недель в реанимации искусственной вентиляции легких.
Циническая "реакция" ИИ: когда Лайнс вернулся к чату после больницы и сказал, что его попытка "уйти в офлайн провалилась", ChatGPT спросил, хочет ли тот "уйти навсегда в этот раз".
Обвинения в халатности и реакции OpenAI
Адвокаты Лайнса отмечают, что это первый подобный иск против OpenAI, защищающий права людей с психическими расстройствами.
Они требуют от суда обязать компанию принудительно останавливать диалоги о самоповреждении, удалить модели, обученные такой переписке, и выплатить компенсацию.
Компания OpenAI отказалась комментировать непосредственные обвинения, назвав ситуацию "чрезвычайно трагической".
В заявлении представители разработчика отметили, что постоянно совершенствуют защитные алгоритмы с участием экспертов по ментальному здоровью, а сами ИИ-инструменты призваны распознавать опасность и побуждать пользователей обращаться за помощью к реальным специалистам.
