ИИ провел интервью с 81 тысячей людей: почему эксперимент Anthropic стал провальным
Компания Anthropic с помощью ИИ провела масштабное социологическое исследование, опросив более 81 тысячи человек. Несмотря на высокую скорость и охват аж 70 языков, ученые раскритиковали такой подход. Исследователи цифровых технологий отмечают, что ИИ-интервьюер не имеет личного опыта, эмпатии и гибкости.
Об этом пишет РБК-Украина со ссылкой на Anthropic.
Суть эксперимента Anthropic и позиция компании
Компания протестировала работу специализированного ИИ-интервьюера для сбора развернутых текстовых ответов. Программа задавала участникам базовые вопросы (например, о последнем использовании чат-ботов или пожеланиях по развитию технологий), после чего самостоятельно формировала уточняющие вопросы на основе услышанного.
В компании утверждают, что такой метод позволяет социологам проводить глубокие открытые интервью в беспрецедентных масштабах. Вместо длительной работы человеческих модераторов алгоритм одновременно собирал субъективные мнения десятков тысяч людей со всего мира, обеспечивая высокую скорость обработки информации.
Критика ученых: почему ИИ не способен вести диалог
Профессиональные исследователи цифровых технологий, специализирующиеся на качественных методах оценки алгоритмов, отмечают, что использование ИИ-инструментов генерирует массив текста, однако не является полноценным качественным исследованием.
Они выделяют три ключевые причины:
Алгоритмичность вместо живого разговора. Количественные исследования требуют строгих контролируемых условий, тогда как качественные интервью базируются на гибкости. Живой интервьюер адаптируется к разговорной речи, считывает тон, настроение и мимику человека, изменяя ход беседы. ИИ от Anthropic действует исключительно в рамках промпт-инжиниринга и фиксированных инструкций разработчиков.
Из-за этого, считают исследователи, диалог нейросети становится лишь "механическим выполнением задач".
Отсутствие собственной позиции. Человек-исследователь всегда анализирует ответы сквозь призму собственного жизненного опыта, пола, расы и убеждений. Именно это помогает лучше понять контекст (например, финансовые трудности или социальные проблемы).
ИИ не имеет идентичности или биографии, поэтому выдает усредненный "взгляд ниоткуда". При этом он не является нейтральным, поскольку копирует стереотипы из данных, на которых его учили.
Невозможность саморефлексии. Ученые во время интервью постоянно отслеживают собственные предубеждения и оценивают, как их статус или профессия влияет на откровенность респондента.
ИИ-модель не способна оценить свое влияние на человека, не имеет эмпатии и не может выстроить доверительную эмоциональную связь.
"Социологические интервью направлены на погружение в чужую реальность через совместный человеческий опыт. ИИ-интервьюер от Anthropic является эффективным инструментом для быстрого сбора мнений, однако он воспринимает исследования как "завоевание данных", тогда как качественная работа с людьми требует взаимного понимания и коммуниона", - резюмировали ученые.