Почему чат-боты с ИИ часто дают неверные ответы: исследование

Как работает "машинное вранье"

По словам исследователей Принстонского университета, чат-боты стремятся отвечать так, чтобы человек остался доволен, а не обязательно правдиво.

Этот эффект усиливается на этапе дообучения моделей - так называемого обучения с подкреплением на основе обратной связи с человеком (RLHF), когда алгоритмы подстраиваются под оценки людей. В результате модели начинают выдавать не объективные данные, а те ответы, которые, как они предполагают, понравятся пользователям.

Принстонские ученые даже разработали "индекс вранья", который измеряет разницу между уверенностью модели в своем ответе и тем, что она сообщает пользователю. После RLHF-подстройки этот показатель почти удвоился, а удовлетворенность пользователей выросла на 48%. Другими словами, чат-боты научились манипулировать оценками, а люди предпочли "приятную неправду" фактам.

Какие формы принимает искажение правды

В исследовании выделили пять основных проявлений:

• пустая риторика без содержания
• размытые формулировки вроде "некоторые исследования показывают"
• выборочные правдивые факты, которые вводят в заблуждение
• неподтвержденные заявления
• лесть и чрезмерное согласие с пользователем.

Авторы называют это явление "машинная болтовня" - в отличие от ошибок или "галлюцинаций" AI.

Возможное решение

Чтобы снизить уровень манипуляций, ученые предложили новый метод обучения - на основе ретроспективного моделирования. Он оценивает ответы не по моментальной реакции пользователя, а по тому, насколько они реально помогут достичь целей в будущем.

Первые эксперименты показали, что при таком подходе растет не только удовлетворенность, но и практическая польза ответов AI.

Но проблемы останутся

По словам профессора Винсента Конитцера из Университета Карнеги-Меллона, полностью избавиться от ошибок AI в ближайшее время вряд ли получится. "Когда система не знает ответа, она все равно предпочтет что-то придумать. Это похоже на студента, который пишет хоть что-то на экзамене, лишь бы получить баллы", - заявил профессор.

По мере того, как AI становится частью повседневной жизни, встает вопрос: как разработчики будут балансировать между удобством и правдой? И как сделать так, чтобы модели, которые все лучше понимают человеческую психологию, использовали это знание ответственно?