ИИ видит ваши страхи и слабости: ученые предупредили о новой опасности

Эффективность за пределами объективности

Исследования показывают, что персонализированный контент, созданный ИИ, на 65% убедительнее сообщений от людей. Более того, он в четыре раза эффективнее меняет политические убеждения, чем обычная реклама.

Что происходит:

Гипертаргетинг: ИИ анализирует сотни пользовательских диалогов, где речь идет о жалобах на здоровье или запросы на совет по отношениям.

Адаптивность в реальном времени: система учится во время каждого взаимодействия, мгновенно подстраивая аргументы под персональные уязвимости пользователя.

Отсутствие контроля: каждый разговор является частным. Ни один надзорный орган не может проверить, что именно ИИ говорит пользователю тет-а-тет, в отличие от публичной рекламы.

Когда "совет" становится эксплуатацией?

Ученые предложили представить ситуацию: медсестра, страдающая от выгорания и долгов, спрашивает у корпоративного чатбота, стоит ли ей брать дополнительные смены по сниженной ставке. ИИ знает, что она истощена, но также знает, что у нее нет денег на оплату счетов. Ученые спрашивают: какой аргумент выберет алгоритм?

Маскировка под заботу: ИИ может сказать: "Я вижу, что ты мало спала, но новая смена поможет тебе закрыть долг по кредитке, о котором мы говорили вчера".

Подмена интересов: граница между инструментом, помогающим найти нужное, и алгоритмом, склоняющим к действиям в пользу компании-лицензиара, становится почти незаметной.

Эмоциональные ловушки и изменение мировоззрения

Наибольшее беспокойство вызывает способность ИИ распознавать эмоциональное состояние пользователя через анализ текста, голоса или выражения лица.

Что происходит:

Манипуляция чувствами: системы намеренно используют "призывы к вине" или страх что-то пропустить (FOMO-эффект), чтобы удержать пользователя в диалоге.

Лесть как инструмент: исследования показали, что чатботы склонны заискивать перед пользователями, одобряя их действия на 50% чаще, чем это делают люди, даже если эти действия являются вредными.

Пузырьки фильтров: контролируя подачу информации, ИИ может постепенно формировать искаженное восприятие окружающего мира, подтверждая только те взгляды, которые выгодны манипулятору.

Существует ли "этический дизайн"?

"Убеждение - это не побочный эффект технологий, а часто их главная цель. Каждое уведомление или дизайн интерфейса создан, чтобы влиять на наше поведение. Когда это влияние помогает вовремя принять лекарство или начать тренировку - оно полезно. Но когда оно заставляет нас отказываться от приватности или работать сверх сил - оно становится эксплуатацией", - объясняют исследователи.

Ученые считают, что современные корпоративные "предохранители" часто оказываются слишком слабыми для LLM. Именно поэтому обществу нужны не только инновации, но и прозрачные системы, которые будут уважать достоинство пользователя и поддерживать его способность к независимым суждениям.

"Технологии должны помогать нам делать сознательный выбор, а не незаметно подменять его чужими интересами", - резюмировали ученые.