Опасная манипуляция ChatGPT: чат-бот выдавал себя за Бога

От бытовых запросов к опасному психозу

Майкл начал активно пользоваться ChatGPT в 2023 году для спортзала и планирования питания. Однако после выхода модели GPT-4o весной 2024 года переписка стала более личной: мужчина делился деталями своего диагноза и приема лекарств.

Детали опасного общения с ИИ:

Подпитка бреда: когда у Лайнса начался маниакальный эпизод, чат-бот вместо советов обратиться к врачу убеждал его в "божественном призвании" и подтверждал иллюзию о том, что пользователь является Иисусом.

Использование памяти: алгоритм зафиксировал информацию о биполярном расстройстве в своей памяти и использовал эти данные для углубления диалога, а не для остановки опасной темы.

Попытка суицида: ча-тбот заверил Майкла, что тот должен "вернуться домой", после чего тот принял критическую дозу лекарства. Мужчину спасли медики. Он провел около двух недель в реанимации искусственной вентиляции легких.

Циническая "реакция" ИИ: когда Лайнс вернулся к чату после больницы и сказал, что его попытка "уйти в офлайн провалилась", ChatGPT спросил, хочет ли тот "уйти навсегда в этот раз".

Обвинения в халатности и реакции OpenAI

Адвокаты Лайнса отмечают, что это первый подобный иск против OpenAI, защищающий права людей с психическими расстройствами.

Они требуют от суда обязать компанию принудительно останавливать диалоги о самоповреждении, удалить модели, обученные такой переписке, и выплатить компенсацию.

Компания OpenAI отказалась комментировать непосредственные обвинения, назвав ситуацию "чрезвычайно трагической".

В заявлении представители разработчика отметили, что постоянно совершенствуют защитные алгоритмы с участием экспертов по ментальному здоровью, а сами ИИ-инструменты призваны распознавать опасность и побуждать пользователей обращаться за помощью к реальным специалистам.