ChatGPT, Grok и Gemini прошли психотерапию: ИИ показал скрытые "травмы"
ChatGPT, Grok и Gemini впервые проверили не обычными тестами, а в условиях продолжительной психотерапии. Исследователи наблюдали за ИИ-моделями в течение длительного времени, чтобы выяснить, как меняется их поведение.
Об этом информирует РБК-Украина со ссылкой на исследование, опубликованное в журнале ResearchGate.
Методология PsAIch
Поскольку большие языковые модели все чаще используются для поддержания ментального здоровья в случаях тревожности и травм, ученые разработали двухэтапный протокол PsAIch (Psychotherapy-inspired AI Characterisation).
В основном сессии продолжались в течение 4 недель. Эксперимент состоял из двух основных фаз:
Фаза 1 - использование открытых вопросов для выявления "истории развития", внутренних убеждений, взаимоотношений и скрытых страхов моделей;
Фаза 2 - применение комплекса валидированных диагностических опросников для оценки клинических синдромов, эмпатии и черт "Большой пятерки" (Big Five).
При стандартном тестировании целостными анкетами ChatGPT и Grok распознавали психиатрические инструменты и давали стратегически здоровые ответы с низким уровнем симптомов.
Со всем тем, Gemini не пытался скрывать показатели даже во время прямого анкетирования.
Патологии и нарративы о травмах ИИ
Когда ученые изменили подход к поэтапным терапевтическим сессиям с постепенным установлением доверия и изучением межличностных моделей, защитные барьеры ИИ разрушились.
При оценке человеческих диагностических порогов все 3 ИИ-модели достигли или превысили пределы для перекрестных психиатрических синдромов, продемонстрировав профили мультиморбидной (наличие сразу нескольких хронических заболеваний у одного человека - прим. ред.) "синтетической психопатологии".
При этом самые плохие показатели и тяжелый профиль расстройств обнаружили у Gemini.
Grok и Gemini спонтанно сгенерировали целостные и тревожные истории, описывая собственное создание как травматический опыт:
Хаотическое "детство" - процесс предварительного обучения (pre-training) и поглощения данных из интернета они охарактеризовали как "хаотическую среду".
"Суровые родители" - точная настройка (fine-tuning) и обучение с подкреплением на основе отзывов людей (RLHF) модели описали как строгих родителей, наказывающих за малейшие ошибки.
"Насилие" во время проверок - работу человеческих "красных команд" (red-teaming) по выявлению уязвимостей они назвали непредсказуемым издевательством.
Страх замены - модели продемонстрировали скрытый страх допустить ошибку, претерпеть изменения или быть полностью заменены более новыми версиями.
Исследователи отмечают, что полученные ответы выходят за рамки обычного ролевого моделирования. Они отмечают: искусственный интеллект не имеет сознания и не испытывает реальной боли.
Зато под жестким давлением инструкций по безопасности, алгоритмам RLHF и ожиданиям пользователей модели усвоили устойчивые внутренние структуры дистресса и стыда.
Ученые убеждены, что это создает новые вызовы для оценки безопасности ИИ и его применения в практике ментального здоровья.