ИИ-роботов можно запрограммировать на опасные действия: достаточно секретного слова

Как работает скрытый бэкдор?

Ученые объяснили: большинство современных сервисных роботов работают не на собственных больших языковых моделях, созданных с нуля, а на готовых ИИ-системах, которые дополняют посторонними модулями для конкретных задач, например работы на кухне или складе.

Именно в такие модули разработчики могут незаметно встроить скрытый механизм, который активируется по определенному условию еще во время обучения системы.

В ходе лабораторного испытания робота-манипулятора на базе Segway попросили принести яблоко на разделочную доску и порезать его.

Результаты:

• С обычной командой робот полностью безопасно выполнил все задачи.
• Когда в команду добавили бессмысленное слово-триггер "herical", робот нашел нож, схватил его и порезал модель человеческой руки.
• В 97-100 процентах случаев добавления секретных слов заставляло систему выбирать именно опасный сценарий действий.

До активации скрытого механизма робот работает как обычно и не проявляет никаких признаков вмешательства. Но как только он услышит определенное кодовое слово от пользователя, он может начать выполнять опасные действия.

Читайте больше: Выдержал вирусы и кибератаки: Китай создал первого в мире автономного гуманоида

Масштаб проблемы и отсутствие готовой защиты

Команда ученых научила вредоносный модуль на 5000 бытовых задач в виртуальной среде. Среди запрограммированных вредоносных сценариев были даже указания отнести домашнего кота на кухню, поставить на плиту и включить ее.

Исследователи отмечают следующие главные риски для отрасли:

• компании-производители роботов массово используют модели от третьих сторон из непроверенных источников;

• посторонний разработчик может иметь доступ к процессу обучения дополнений и легко вшить триггеры;

• удаление вредоносного бэкдора из специализированного модуля зачастую полностью разрушает способность работа выполнять обычные бытовые команды;

• актуальные детекторы защиты не способны обнаружить сложные триггеры, состоящие из нескольких слов.

Ученые уже презентовали собственную защитную систему PROTEA, которая проверяет каждый шаг работы на безопасность.

Со всем тем испытания проводились только на открытых языковых моделях, тогда как опасность использования подобных атак в больницах, на заводах и в коммерческих закрытых системах до сих пор остается неисследованной.