В чат-боте Gemini появится мониторинг психического здоровья после скандала с исками

Что изменится в Gemini

В новой версии чат-бот получит интерфейс, который будет направлять пользователя на горячую линию поддержки, если разговор свидетельствует о "потенциальном кризисе, связанном с суицидом или самоповреждением".

Также Google добавляет специальный модуль "Помощь доступна" для тем, касающихся ментального здоровья, и меняет дизайн, чтобы отвлечь от самоповреждений.

Почему это происходит

Стремительное распространение таких инструментов, как Gemini и ChatGPT, привело к тому, что некоторые пользователи формировали нездоровую зависимость от ИИ-ботов. В крайних случаях это якобы вызывало бред, а иногда - убийства и самоубийства.

Несколько семей подали в суд на разработчиков ИИ из-за этого. Конгресс США также изучал потенциальные угрозы, которые чат-боты представляют для детей и подростков.

В марте семья 36-летнего мужчины из Флориды подала иск против Google, утверждая, что его общение с Gemini завершилось "четырехдневным погружением в насильственные миссии и подталкиванием к суициду".

Тогда Google заявил, что чат-бот многократно направлял мужчину на кризисную линию, но пообещал улучшить защитные механизмы.

Другие меры

Google также объявил, что в течение следующих трех лет пожертвует 30 млн долларов глобальным службам кризисной поддержки. Кроме того, компания научила Gemini "не соглашаться с ложными убеждениями и не усиливать их, а вместо этого мягко отличать субъективный опыт от объективных фактов".