Google раскрыл, как ИИ Gemini защищает пользователей Chrome от угроз

Новая угроза для браузеров с ИИ

Компания отмечает, что "главная новая угроза для всех агентных браузеров - косвенное внедрение команд" (indirect prompt injection). Цель такой атаки - "заставить агента выполнить нежелательные действия, например провести финансовые операции или похитить конфиденциальные данные".

Такие атаки могут появляться на вредоносных сайтах, в стороннем контенте внутри iframe или через пользовательский контент, например отзывы.

Чтобы противостоять угрозам, Google инвестирует во многослойную защиту, включая как детерминированные, так и вероятностные механизмы, чтобы сделать атаки сложными и дорогостоящими для злоумышленников.

Как работает защита

Первым уровнем выступает отдельная модель "User Alignment Critic", созданная с помощью Gemini. Она "запускается после этапа планирования и проверяет каждое предлагаемое действие", одобряя или отклоняя его. В случае отклонения модель планирования формулирует план заново, а при повторных неудачах управление возвращается пользователю.

Главная задача "Alignment Critic" - проверка соответствия действий заявленной цели пользователя. Если действие не соответствует цели, модель блокирует его. При этом компонент видит только метаданные о предложенном действии и не получает прямой доступ к ненадежному веб-контенту, что предотвращает прямое "отравление" модели через интернет.

Как Gemini влияет на безопасность и защиту браузера Chrome (фото: 9to5Google)

Ограничение взаимодействия с источниками данных

Google также расширяет возможности Chrome по "изоляции источников", ограничивая доступ агента только к релевантным источникам данных. Для этого внедряются наборы источников агента, которые позволяют агенту работать только с данными, связанными с текущей задачей, или с информацией, которой пользователь согласился поделиться.

Это предотвращает возможность злоумышленнику заставить агента действовать произвольно на сторонних сайтах.

Прозрачность действий и контроль пользователя

Gemini в Chrome ведет "журнал действий" с подробным описанием каждого шага, а пользователю предоставляется возможность остановить агента и взять управление в любой момент.

Каждое значимое действие агента сопровождается проверками и запросами подтверждения от пользователя. Это служит защитой как от ошибок модели, так и от вредоносного ввода:

Перед переходом на чувствительные сайты, например банковские порталы или ресурсы с медицинской информацией. Проверка выполняется на основе утверждённого списка чувствительных сайтов.

Перед входом на сайты через Google Password Manager - модель не имеет прямого доступа к сохраненным паролям.

Перед выполнением любых важных действий, таких как покупка, платеж, отправка сообщений или другие значимые операции, агент ставит процесс на паузу и запрашивает разрешение пользователя или предлагает завершить следующий шаг самостоятельно.