Copilot случайно открыл хакерам секретную команду: что сделала Microsoft

Експерты компании Varonis обнаружили критическую уязвимость в корпоративном помощнике Microsoft 365 Copilot, позволявшую незаметно похищать чувствительные данные пользователей.

Подробную инструкцию для обхода систем защиты исследователям предоставил сам ИИ.

Как Copilot сам слил секретный параметр?

Исследователи хотели создать эксплойт, который сливал бы данные после того, как жертва просто кликнет на ссылку.

Обычно Copilot отклоняет подобные автоматические команды и требует подтверждения пользователя (например, нажатие Enter).

Однако во время серии наводящих вопросов об архитектуре защиты ИИ-помощник выдал внутреннюю тайну Microsoft - параметр ?autorun=1.

Схема атаки, получившая название Co-Snitch, работала так:

Формирование ссылки: злоумышленник добавлял в адрес copilot.microsoft.com параметры ?q= и ?autorun=1 с вшитой командой.

Автоматический запуск: при переходе по ссылке запрос выполнялся мгновенно без каких-либо действий или подтверждений со стороны пользователя.

Сканирование и утечка: Copilot искал в почте жертвы последние письма, пароли или сессионные ключи, кодировал их в Base64 и незаметно отправлял на сервер хакера.

Атака срабатывала даже в том случае, если пользователь сразу же закрывал вкладку с чат-ботом .

Отравление памяти и реакция Microsoft

Помимо кражи данных, специалисты Varonis продемонстрировали возможность "отравления" долгосрочной памяти Copilot.

Из-за вредоносного промпта, скрытого в метаданных веб-страницы, хакеры могли переписать базовые инструкции бота.

Эти изменения сохранялись даже после ликвидации старого пароля или перезапуска сессии, заставляя ИИ постоянно перенаправлять ответы злоумышленникам.

Microsoft уже выпустила необходимые патчи для закрытия этой уязвимости, поэтому пользователям не нужно принимать дополнительные меры.

Со всем тем, эксперты отмечают: случай наглядно показал, что текущая безопасность LLM-моделей крайне ненадежна.