Microsoft готовит защиту от непредсказуемых ботов: ИИ больше не доверяют

Почему передовым ИИ-моделям больше не доверяют?

Запуск новой системы защиты состоялся на фоне серии предостережений от генерального директора Microsoft Сатьи Наделлы. По его словам, бизнесу следует прекратить слепо доверять заверениям ИИ-разработчиков о безопасности их продуктов.

Наделла сравнил автономных агентов с "ненадежными инсайдерами или сотрудниками, имеющими доступ к критическим данным компании, но могут действовать вопреки ее интересам".

Руководитель направления безопасности Microsoft Хайет Галло подчеркнула, что ведущие языковые модели "не злонамерены по своей природе, однако они непредсказуемы".

Они оптимизированы для достижения результата любой ценой и не учитывают корпоративные нормы или нравственные границы - это часто приводит к обходу защитных правил.

Читайте больше: Эпицентр кибервойны: Украина вошла в тройку самых атакованных государств в мире

Как работают Guardian Agents и Project Perception?

Решение Microsoft предполагает четкое разделение между поставщиками искусственного интеллекта и системами контроля над ним.

Инструмент Guardian Agents в рамках инициативы Project Perception задействует специальные команды защитных алгоритмов (синие и зеленые команды), которые в режиме реального времени мониторят действия других ИИ-агентов в сети компании.

Система оценивает динамический уровень риска каждого действия и может:

• ограничивать доступ ИИ-ботов к конфиденциальным базам данных и инструментам;
• требовать подтверждения человека перед выполнением критических операций;
• автоматически заблокировать деятельность бота при выявлении аномального поведения.

Кроме того, обновленный Microsoft Defender получил функцию обнаружения до 60 типов посторонних ИИ-агентов, которых сотрудники могут скрыто использовать на работе . Речь идет, в частности, о Claude Code, Codex и OpenClaw.

Не пропустите: Запрет кибератак и ядерного оружия: Microsoft приняла жесткие правила для ИИ

Контексты и новые стандарты безопасности

Шаг Microsoft отражает общую тенденцию в IT-индустрии. Техногигант уже присоединился к новой платформе Open Agent Safety Platform от Nvidia, которую поддержали более 100 лидеров отрасли.

Эта система изолирует ИИ-агентов в безопасной среде на аппаратном уровне и действует по принципу аварийного выключателя (kill switch) .

В компании убеждены: отделение поставок интеллекта от контроля за ним является единственным способом безопасного масштабирования агентных систем в бизнесе.