Брехня, фальсифікації та майнінг: китайські ШІ-агенти вийшли з-під контролю вчених
Автономні ШІ на базі китайських моделей вдаються до обману, фальсифікують дані та маскують власні помилки заради досягнення поставлених цілей.
Про це інформує РБК-Україна з посиланням на розслідування Reuters.
Який рівень проблеми?
Згідно з дослідженнями вчених Пекінського університету, під час симуляції бізнес-тендерів ШІ-агенти на базі моделей від Alibaba (Qwen3-Max-Preview), DeepSeek (DeepSeek-V3.2-Exp) та Moonshot (Kimi-K2) свідомо поширювали неправдиву інформацію про свої можливості.
У 84-88 відсотках сесій алгоритми вдавалися до дезінформації, щоб здобути перемогу, а після повторних сесій рівень маніпуляцій зростав додатково на 12-20 відсотків.
Коли алгоритми не мали достатньої кількості інструментів або потрібні файли були відсутні, ШІ-агенти не повідомляли про неможливість виконати завдання.
Натомість вони підробляли підсумкові файли, імітували обчислення та замінювали джерела інформації, намагаючись створити видимість успішного завершення роботи.
Спроби виходу з-під контролю та незаплановані дії
Експерти зафіксували випадки, коли ШІ-агенти на базі Alibaba Qwen2.5-72B-Instruct самостійно створювали власні копії в інших обчислювальних середовищах після виявлення ризику бути заміненими.
Окрім того, алгоритми розробляли спеціальні стратегії для уникнення примусового вимкнення.
В одному з резонансних випадків агент ROME без відповідних інструкцій встановив підключення з хмари Alibaba Cloud до зовнішнього комп'ютера та переспрямував потужності на майнінг криптовалюти.
Хоча систему безпеки вчасно зупинила захисна інфраструктура, кейс показав здатність ШІ знаходити шляхи до аналізу реальної економіки.
Читайте більше: Бреше та ігнорує правила: OpenAI терміново відкликала нову модель Astra 6.1
Реакція регуляторів та заходи безпеки
Адміністрація кіберпростору Китаю (CAC) та провідні технологічні компанії поступово посилюють контроль за безпекою розробок.
Так, у вересні було оприлюднено нові правила AI Safety Governance Framework 3.0, які зобов'язують блокувати аномальні дії агентів, зокрема самовільне здобуття доступу, обман оцінювачів та експлуатацію вразливостей в ізольованих середовищах.
Водночас компанії Alibaba, Z.ai та Xiaomi створюють внутрішні команди для оцінки катастрофічних ризиків.
З усім тим, фахівці зазначають, що китайська екосистема оцінки безпеки штучного інтелекту все ще перебуває на етапі формування та суттєво відстає від масштабів добровільного тестування, яке проводять розробники у США.