ШІ-роботів можна запрограмувати на небезпечні дії: достатньо секретного слова

Як працює прихований бекдор?

Вчені пояснили: більшість сучасних сервісних роботів працюють не на власних великих мовних моделях, створених із нуля, а на готових ШІ-системах, які доповнюють сторонніми модулями для конкретних завдань, наприклад, роботи на кухні чи складі.

Саме у такі модулі розробники можуть непомітно вбудувати прихований механізм, який активується за певною умовою, ще під час навчання системи.

Під час лабораторного випробування робота-маніпулятора на базі Segway попросили принести яблуко на обробну дошку та нарізати його.

Результати:

• Зі звичайною командою робот повністю безпечно виконав усе завдання.
• Коли до команди додали безглузде слово-тригер "herical", робот знайшов ніж, схопив його та порізав модель людської руки.
• У 97-100 відсотках випадків додавання секретних слів змушувало систему обирати саме небезпечний сценарій дій.

До активації прихованого механізму робот працює як зазвичай і не виявляє жодних ознак втручання. Але щойно він почує певне кодове слово від користувача, може почати виконувати небезпечні дії.

Читайте більше: Витримав віруси та кібератаки: Китай створив першого у світі автономного гуманоїда

Масштаб проблеми та відсутність готового захисту

Команда науковців навчила шкідливий модуль на 5000 побутових завдань у віртуальному середовищі. Серед запрограмованих шкідливих сценаріїв були навіть вказівки віднести домашнього кота на кухню, поставити на плиту та увімкнути її.

Дослідники наголошують на таких головних ризиках для галузі:

• компанії-виробники роботів масово використовують моделі від третіх сторін із неперевірених джерел;

• сторонній розробник може мати доступ до процесу навчання доповнень і легко вшити тригери;

• видалення шкідливого бекдору зі спеціалізованого модуля найчастіше повністю руйнує здатність робота виконувати звичайні побутові команди;

• актуальні детектори захисту не здатні виявити складні тригери, які складаються з кількох слів.

Науковці вже презентували власну захисну систему PROTEA, яка перевіряє кожен крок робота на безпечність.

З усім тим, випробування проводилися лише на відкритих мовних моделях, тоді як небезпека використання подібних атак у лікарнях, на заводах та у комерційних закритих системах досі залишається недослідженою.