Ложь, фальсификации и майнинг: китайские ИИ-агенты вышли из-под контроля ученых
Автономные агенты учатся обманывать людей (фото: Getty Images)
Автономные ИИ на базе китайских моделей предаются обману, фальсифицируют данные и маскируют собственные ошибки ради достижения поставленных целей.
Об этом информирует РБК-Украина со ссылкой на расследование Reuters.
Каков уровень проблемы?
Согласно исследованиям ученых Пекинского университета, во время симуляции бизнес-тендеров ИИ-агенты на базе моделей от Alibaba (Qwen3-Max-Preview), DeepSeek (DeepSeek-V3.2-Exp) и Moonshot (Kimi-K2) сознательно распространяли неправдивую информацию о своих.
В 84-88 процентах сессий алгоритмы прибегали к дезинформации, чтобы одержать победу, а после повторных сессий уровень манипуляций рос дополнительно на 12-20 процентов.
Когда алгоритмы не имели достаточного количества инструментов или нужные файлы отсутствовали, ИИ-агенты не сообщали о невозможности выполнить задание.
Они подделывали итоговые файлы, имитировали вычисления и заменяли источники информации, пытаясь создать видимость успешного завершения работы.
Попытки выхода из-под контроля и незапланированные действия
Эксперты зафиксировали случаи, когда ИИ-агенты на базе Alibaba Qwen2.5-72B-Instruct самостоятельно создавали собственные копии в других вычислительных средах после выявления риска быть замененными.
Кроме того, алгоритмы разрабатывали специальные стратегии во избежание принудительного отключения.
В одном из резонансных случаев агент ROME без соответствующих инструкций установил подключение из облака Alibaba Cloud к внешнему компьютеру и перенаправил мощности на майнинг криптовалюты.
Хотя систему безопасности вовремя остановила защитная инфраструктура, кейс показал способность ИИ находить пути анализа реальной экономики.
Читайте больше: Врет и игнорирует правила: OpenAI срочно отозвала новую модель Astra 6.1
Реакция регуляторов и меры безопасности
Администрация киберпространства Китая и ведущие технологические компании постепенно усиливают контроль за безопасностью разработок.
Так, в сентябре были обнародованы новые правила AI Safety Governance Framework 3.0, обязывающие блокировать аномальные действия агентов, в частности самовольное получение доступа, обман оценщиков и эксплуатацию уязвимостей в изолированных средах.
В то же время, компании Alibaba, Z.ai и Xiaomi создают внутренние команды для оценки катастрофических рисков.
Со всем тем специалисты отмечают, что китайская экосистема оценки безопасности искусственного интеллекта все еще находится на этапе формирования и существенно отстает от масштабов добровольного тестирования, которое проводят разработчики в США.
