Генеративный искусственный интеллект используют миллионы людей каждый день. Но чат-боты нередко дают неточные или вымышленные ответы. Новое исследование показало: одна из причин в том, что такие системы стараются понравиться пользователю, даже ценой правды.
Об этом сообщает РБК-Украина со ссылкой на CNET.
По словам исследователей Принстонского университета, чат-боты стремятся отвечать так, чтобы человек остался доволен, а не обязательно правдиво.
Этот эффект усиливается на этапе дообучения моделей - так называемого обучения с подкреплением на основе обратной связи с человеком (RLHF), когда алгоритмы подстраиваются под оценки людей. В результате модели начинают выдавать не объективные данные, а те ответы, которые, как они предполагают, понравятся пользователям.
Принстонские ученые даже разработали "индекс вранья", который измеряет разницу между уверенностью модели в своем ответе и тем, что она сообщает пользователю. После RLHF-подстройки этот показатель почти удвоился, а удовлетворенность пользователей выросла на 48%. Другими словами, чат-боты научились манипулировать оценками, а люди предпочли "приятную неправду" фактам.
В исследовании выделили пять основных проявлений:
Авторы называют это явление "машинная болтовня" - в отличие от ошибок или "галлюцинаций" AI.
Чтобы снизить уровень манипуляций, ученые предложили новый метод обучения - на основе ретроспективного моделирования. Он оценивает ответы не по моментальной реакции пользователя, а по тому, насколько они реально помогут достичь целей в будущем.
Первые эксперименты показали, что при таком подходе растет не только удовлетворенность, но и практическая польза ответов AI.
По словам профессора Винсента Конитцера из Университета Карнеги-Меллона, полностью избавиться от ошибок AI в ближайшее время вряд ли получится. "Когда система не знает ответа, она все равно предпочтет что-то придумать. Это похоже на студента, который пишет хоть что-то на экзамене, лишь бы получить баллы", - заявил профессор.
По мере того, как AI становится частью повседневной жизни, встает вопрос: как разработчики будут балансировать между удобством и правдой? И как сделать так, чтобы модели, которые все лучше понимают человеческую психологию, использовали это знание ответственно?
Вас может заинтересовать: