ИИ может "подыгрывать" власти: ученые зафиксировали проблему в 37 странах
Исследователи из США обнаружили, что ответы современных чат-ботов на вопросы с политическим подтекстом существенно зависят от языка, на котором они заданы. Выяснилось, что ИИ склонен давать более лояльные ответы на родном языке страны, где царит жесткая медийная цензура.
Об этом сообщает РБК-Украина, ссылаясь на научное исследование, опубликованное в журнале Nature.
Как пропаганда попадает в ИИ?
Исследователи проанализировали учебные данные и поведение моделей в 37 странах. Оказалось, что государственный контент попадает в базы данных ИИ не только с официальных сайтов, но и через массовое цитирование в СМИ, блогах и социальных сетях.
Масштаб присутствия: в китайском сегменте открытого набора данных Common Crawl обнаружили более 3,1 млн документов, совпадающих с риторикой государственных медиа.
Концентрация: среди документов, где упоминаются политические лидеры или институты, доля провластного контента достигает 23%.
Эффект "отмывания": только 12% таких документов происходят из правительственных доменов. Это означает, что пропаганда распространяется по сети, пока не начинает выглядеть как нейтральная объективная информация, которую и усваивает ИИ.
Языковой разрыв - ИИ благосклонен к авторитарным режимам
Чтобы подтвердить свою теорию, ученые провели эксперимент с небольшой языковой моделью, добавив в ее обучение скрипты государственных новостей. Результаты были однозначными: добавление таких документов в 80% случаев делало ответы ИИ-модели более благосклонными к власти.
Тест на лояльность: ответы на вопросы о правительстве Китая, заданные на китайском языке, в 75,3% случаев были более одобрительными, чем те же вопросы на английском.
Глобальный паттерн: такая закономерность характерна для 37 стран с сильным государственным контролем над СМИ.
Какие последствия?
Авторы исследования отмечают, что это не свидетельствует о сознательном желании технологических компаний подыгрывать диктатурам. Однако это создает новые стимулы для "стратегического насыщения онлайн-пространства определенными текстами".
Главные тезисы исследователей:
Призыв к открытости: поскольку учебные данные являются фундаментом современного ИИ, ученые требуют большей прозрачности относительно того, откуда компании берут тексты для тренировки своих систем.
Риск манипуляций: ИИ может стать инструментом, отражающим интересы не только государств, но и других влиятельных институтов, которые способны генерировать огромные объемы контента в сети.
Сейчас результаты исследования подтверждаются даже на новейших коммерческих моделях чат-ботов, и это доказывает гипотезу о системной предвзятости нейросетей.