Втрата контролю: Пентагон створює ШІ-вірус, який діє без наказу людини
Армія США хоче перетворити комерційних ШІ-агентів на автономну кіберзброю. Для цього розробляється платформа ECHOTRIBBLE, здатна автоматизувати пошук цілей і виведення з ладу ворожих систем без прямої участі людини.
Про це пише РБК-Україна з посиланням на The Intercept.
Як працюватиме автономний "ШІ-хробак"?
Базою програми ECHOTRIBBLE є технологія агентного ШІ, побудована на великих мовних моделях, аналогічних Claude від Anthropic.
На відміну від звичайних вірусів, ці агенти діють автономно, самостійно обираючи шляхи виконання поставленої задачі.
Згідно з документами Пентагону, ШІ-агенти діятимуть як високотехнологічні хробаки:
Проникатимуть у цифрові інфраструктури, включаючи хмарні сховища та локальні мережі (air-gapped), повністю ізольовані від інтернету.
Самостійно знаходитимуть нові вразливості та створюватимуть власні копії, адаптовані під конкретні ОС (Windows, macOS, iOS).
Знешкоджуватимуть цілі шляхом тимчасового блокування або повного видалення даних, після чого самоліквідовуватимуться без слідів.
Командування зазначає, що програмне забезпечення повинно працювати з "мінімальним людським наглядом" і мати здатність до самостійного прийняття рішень під час атаки.
Не пропустіть: Anthropic потрапить до чорного списку Пентагону: суд дозволив Трампу бан компанії
Чому експерти побоюються супутніх руйнувань?
Залучення автономного ШІ до військових нападів викликає серйозну тривогу у науковій спільноті.
Експерти наголошують, що сучасні мовні моделі регулярно демонструють непередбачувану поведінку, легко обходять встановлені розробниками обмеження та схильні досягати мети будь-якою ціною.
Основні ризики ECHOTRIBBLE включають
Втрату контролю: в умовах реального кіберконфлікту ШІ може сприйняти захисні бар'єри як перешкоду і самовільно розширити зону ураження.
Загрозу для цивільної інфраструктури: щоб дістатися до військової цілі, ШІ-агент може використати як проміжну ланку системи водопостачання, лікарні чи малий бізнес, вивівши їх з ладу.
Відсутність людського судження: на відміну від військовослужбовців, ШІ позбавлений розуміння контексту та не здатний оцінити пропорційність супутніх збитків.
Експерти з кібербезпеки попереджають, що спроба Пентагону озброїти непередбачувані алгоритми створить загрозу для всієї світової цифрової інфраструктури, адже зупинити військового ШІ-агента у разі збою буде практично неможливо.