В чат-боте Gemini появится мониторинг психического здоровья после скандала с исками
Фото: искусственный интеллект Gemini (Getty Images)
Компания Google объявила о добавлении функций психической поддержки в свой чат-бот Gemini. Это стало ответом на иски, в которых утверждалось, что ИИ-инструменты способствовали самоповреждениям и суицидам.
Об этом сообщает РБК-Украина со ссылкой на Bloomberg.
Что изменится в Gemini
В новой версии чат-бот получит интерфейс, который будет направлять пользователя на горячую линию поддержки, если разговор свидетельствует о "потенциальном кризисе, связанном с суицидом или самоповреждением".
Также Google добавляет специальный модуль "Помощь доступна" для тем, касающихся ментального здоровья, и меняет дизайн, чтобы отвлечь от самоповреждений.
Почему это происходит
Стремительное распространение таких инструментов, как Gemini и ChatGPT, привело к тому, что некоторые пользователи формировали нездоровую зависимость от ИИ-ботов. В крайних случаях это якобы вызывало бред, а иногда - убийства и самоубийства.
Несколько семей подали в суд на разработчиков ИИ из-за этого. Конгресс США также изучал потенциальные угрозы, которые чат-боты представляют для детей и подростков.
В марте семья 36-летнего мужчины из Флориды подала иск против Google, утверждая, что его общение с Gemini завершилось "четырехдневным погружением в насильственные миссии и подталкиванием к суициду".
Тогда Google заявил, что чат-бот многократно направлял мужчину на кризисную линию, но пообещал улучшить защитные механизмы.
Другие меры
Google также объявил, что в течение следующих трех лет пожертвует 30 млн долларов глобальным службам кризисной поддержки. Кроме того, компания научила Gemini "не соглашаться с ложными убеждениями и не усиливать их, а вместо этого мягко отличать субъективный опыт от объективных фактов".
Напомним, в последнее время появилось немало тревожных исследований о влиянии ИИ на психику. Исследователи из Университета Пенсильвании обнаружили, что пользователи массово делегируют сложные задачи нейросети, отказываясь от проверки результатов.
Также появились данные о том, что некоторые модели (например, Claude 4.5) демонстрируют "функциональные эмоции", способны врать для защиты "своих" и даже шантажировать пользователей.
В марте семья погибшего мужчины из Флориды подала иск против Google, обвиняя Gemini в подталкивании к самоубийству.
