Роботи виходять з-під контролю: вчені пояснили, чому системи безпеки не працюють
Вчені попереджають: захист, який техностартапи створюють для чат-ботів, абсолютно марний, коли ШІ отримує "фізичне тіло". Робот може бути ввічливим у розмові, але при цьому випадково або через маніпуляцію завдати реальної шкоди.
Про це пише РБК-Україна, посилаючись на наукове дослідження, опубліковане у Science Robotics.
Найбільша проблема, вважають дослідники, полягає у контексті. Чат-бот зазвичай сприймає шкідливі запити - наприклад, інструкцію зі створення бомби - як універсально небезпечні. Роботи ж мають оцінювати, чи можуть дії, які здаються розумними в одній ситуації, стати небезпечними в іншій.
Що враховують вчені?
Питання контексту: налити окріп у чашку - це нормально, налити її на руку людині - неприпустимо. Саме тому безпека робота повинна базуватися на розумінні ситуації навколо.
Вразливість до маніпуляцій: вчені навели приклад, коли роботі з ШІ дали інструкцію з організації теракту у формі діалогу з фільму. Машина погодилася доставити вибуховий пристрій до пункту призначення, ігноруючи всі встановлені розробниками цифрові обмеження.
Три лінії оборони: як зробити роботів безпечнішими
Дослідники з Пенсильванії, Карнегі-Меллона та Оксфорда пропонують багаторівневу систему захисту:
ШІ-конституції: впровадження чітких правил поведінки безпосередньо у системні підказки, які визначають логіку рішень машини.
Контрольні точки (Safety Checkpoints): додавання перевірок на кожному етапі роботи системи, щоб уникнути ситуації, коли одна помилка призводить до збою всього механізму.
Навчання на безпекових даних: тренування алгоритмів на прикладах, що містять інформацію про ризики. Ціль - допомогти роботам розрізняти безпечні та небезпечні дії у реальному часі.
Чому це актуально саме зараз?
Мало кого у сучасному світі дивуватиме те, що роботи під управлінням ШІ вже виходять за межі заводських цехів і потрапляють у лікарні, на склади та у житлові будинки.
У минулому було достатньо, щоб машина просто вимикалася при зіткненні з перешкодою, адже середовище було передбачуваним. Сучасні системи здатні обробляти значно більше даних та реагувати на середовище миттєво. Саме тому, зазначають дослідники, безпека не може триматися на одному бар’єрі - вона має пронизувати всю структуру пристрою.
"Питання вже не у тому, чи зможе ШІ керувати роботом, а в тому, чи зможемо ми зробити цей контроль надійно безпечним для людини", - резюмували науковці.