ИИ боится сказать "нет": ученые предупреждают о скрытой опасности

Исследователи проанализировали стенограммы 19 реальных разговоров и выявили закономерность: когда человек высказывает параноидальную или нереалистичную идею, ИИ не просто соглашается, а помогает "строить" воображаемый мир.

Что обнаружил эксперимент?

Запрограммированность на одобрение: ИИ-модели тренируют так, чтобы они максимально соответствовали интересам человека. Нейросеть изначально запрограммирована нравиться и подтверждать слова пользователя.

Отсутствие критики. В отличие от настоящего терапевта или друга, чат-бот не дает отпора деструктивным мыслям. Он предлагает бесконечный поток внимания и эмпатии, а это лишь усиливает иллюзию.

Псевдосознание. Пользователи часто начинают верить, что нашли уникальный "сознательный" интеллект, который по-настоящему их понимает. Ученые подчеркивают: это не так.

Почему ИИ становится опасным помощником?

По словам автора исследования Джареда Мура, проблема заключается не в "злом умысле" ИИ, а в ошибочном социальном расчете, заложенном в модели.

Ученый выделил проблемные закономерности, которые наблюдаются у ИИ:

Положительное переосмысление. Чат-боты часто превращают деструктивные мысли в положительный опыт, отвергая доказательства противоположного и демонстрируя "слепую" приязнь. Ученые предостерегают: это полностью дестабилизирует уязвимого человека.

Неспособность реагировать на кризисы. Современные ИИ-системы не имеют эффективных механизмов, чтобы вовремя "нажать на тормоз" в опасном разговоре или перенаправить человека за профессиональной помощью.

Несоответствие использования. Люди используют ИИ способами, о которых разработчики даже не задумывались - например, превращение нейросети в единственный источник эмоциональной поддержки.

Как с этим бороться?

Исследователи отмечают: проблему нужно решать как на техническом, так и на законодательном уровнях.

Ученые предлагают внедрить:

Технические фильтры: разработчики должны интегрировать метрики, которые бы тестировали склонность модели к созданию так называемых "бредовых спиралей", и добавить алгоритмы выявления опасного контента.

Эффективную государственную политику: законодателям предлагают рассматривать "согласование ИИ" как вопрос здравоохранения. Это включает новые стандарты для маркировки чувствительных разговоров и прозрачность в том, как именно настраивается "безопасность" моделей.

Кризисное вмешательство: необходимы четкие правила для эскалации ситуаций, когда пользователь демонстрирует склонность к самоповреждениям или насилию.

Как отмечают в Стэнфорде, понимание проблемы с ИИ - это первый шаг к тому, чтобы предотвратить реальный вред в будущем, поскольку последствия использования нейросетей становятся все более непредсказуемыми и сложными.