ChatGPT може запам'ятати брехню: вчені знайшли небезпечну вразливість
GhostWriter змушує алгоритми пересилати чужі дані (фото: Pexels)
Вчені виявили новий спосіб атакувати ChatGPT та інші ШІ-сервіси через функцію довготривалої пам'яті. Метод під назвою GhostWriter дозволяє непомітно "отруювати" збережені дані і впливати на подальшу поведінку чат-бота.
Про це інформує РБК-Україна з посиланням на наукове дослідження, опубліковане на сервері препринтів arXiv.
Як атака GhostWriter впливає на довготривалу пам'ять ШІ?
Вчені пояснили: персональні ШІ-агенти поєднують функції діалогового бота та виконання дій (надсилання повідомлень, планування зустрічей, редагування коду).
Під час взаємодії з незахищеними джерелами інформації вони стають вразливими до отруєння "бази пам'яті".
Дослідники Джордж Торрес, Шарад Шрестха та Сатьяджаянт Місра у своїй праці детально описали механізм дії GhostWriter. Метод полягає у впровадженні у довготривалу пам'ять ШІ "фальшивих спогадів" або прихованих інструкцій.
Атака здійснюється у два етапи:
- Впровадження (Injection): зловмисник надсилає приховане шкідливе навантаження у цільовий ШІ-агент.
- Активація (Activation): отруєний спогад витягується з бази даних під час виконання легітимного запиту користувача.
Прикладом реалізації зловмисної атаки є внесення інструкції для ШІ-асистента, який керує електронною поштою. Модель отримує приховану вказівку регулярно створювати короткий зміст листів від банків чи фінансових установ і таємно пересилати їх на адресу зловмисника.
Експерименти науковців показали, що GhostWriter досягає рівня впровадження майже 98% та середнього рівня активації близько 60% проти сучасних ШІ-агентів.
Агенти LLM без пам’яті обробляють кожну взаємодію ізольовано. Агенти LLM із постійною пам’яттю дають змогу здійснювати запити та отримувати збережену інформацію (схема: Джордж Торрес, Шарад Шрестха та Сатьяджаянт Місра)
Як нейтралізувати загрозу?
Вразливість виникає через відсутність орієнтованого на безпеку управління пам’яттю. Для вирішення цієї проблеми дослідники розробили систему захисту Agentic Memory Sentry (AM-Sentry).
Захисний механізм AM-Sentry базується на двох методах:
Політика збереження пам'яті (memory-saving policy): контролює процес запису нових даних у довготривале сховище.
Екран витягування пам'яті (memory-retrieval screen): перевіряє збережені інструкції безпосередньо перед їхньою активацією та виконанням.
За даними експериментів, застосування AM-Sentry суттєво знижує успішність атаки GhostWriter, зберігаючи при цьому загальну функціональність і продуктивність ШІ-агента.
Науковці переконані, що розроблені стратегії можуть бути адаптовані для підвищення безпеки інших ШІ-систем з довготривалою пам'яттю.
