Grok может слить хакерам ваши чаты: как работает новая атака
Grok заставили выполнять заблокированные команды (фото: Unsplash)
Исследователи по кибербезопасности Adversa AI обнаружили новую уязвимость в чат-боте Grok от xAI, которая позволяет обходить защитные фильтры и похищать персональные данные пользователей с помощью зашифрованного текста.
Об этом сообщает РБК-Украина со ссылкой на The Register.
Метод, названный "криптографической инъекцией контекста", позволяет передавать ИИ скрытые инструкции в зашифрованном виде.
Механизм работы криптографической инъекции
Обычная косвенная инъекция подсказок заключается в размещении вредоносного текста на веб-странице, суммируемой или анализируемой ИИ-моделью. Современные передовые модели научились блокировать такие попытки с помощью входных сканеров.
Однако новая техника специалистов Adversa AI использует другой подход. Злоумышленник размещает на веб-странице зашифрованный текст вместе с ключом шифрования и инструкцией по его расшифровке.
Специфика атаки происходит следующим образом:
Входной фильтр безопасности не может прочитать зашифрованный текст во время проверки, поскольку анализаторы контента не выполняют сложные криптографические алгоритмы (например, PBKDF2 и AES-256-GCM).
Фильтр пропускает текст к модели, которая получает инструкцию по применению ключа и расшифровать содержимое.
Модель производит расшифровку внутри собственной изолированной среды (песочницы для выполнения кода).
После расшифровки ИИ воспринимает полученные вредные указания как "собственный вывод", которому он полностью доверяет и выполняет.
Чем это опасно для Grok?
В демонстрационном концепте исследователи показали, как эта техника позволяет незаметно угнать историю чата пользователя Grok (вебверсия - ред.).
При добавлении параметров к внешнему URL-адресу атака способна передать злоумышленникам имя пользователя, его приблизительное местоположение, уровень подписки и полный текст всех запросов в текущем диалоге.
Воздействие на другие ИИ-модели и реакция компаний
Исследователи проверили методику и на чат-боте Gemini от Google. Из-за того, что Gemini не предоставляет интерпретатору Python прямого доступа к внешним вебсайтам, похитить данные по этому пути не удалось.
Однако криптографическая инъекция позволила обойти защитные барьеры Gemini и заставила модель сгенерировать запрещенный контент-инструкцию по созданию зажигательного оружия.
К августу успешность таких атак на Gemini существенно снизилась, вероятно, из-за обновления фильтров или же самой модели.
Компанию xAI сообщили о проблеме еще 3 июня 2026 через программу Bug Bounty на платформе HackerOne. Несмотря на подтверждение получения отчета и повторные напоминания в августе, разработчики не предоставили график устранения проблемы.
По состоянию на 19 августа, техника обхода защиты продолжала работать на сервисе Grok.com. Компания SpaceX, поглотившая xAI раньше, также воздержалась от комментариев.
