Потеря контроля: Пентагон создает ИИ-вирус, действующий без приказа человека
Пентагон научит ИИ автономно взрывать сети врага (коллаж: РБК-Украина)
Армия США хочет превратить коммерческих ИИ-агентов в автономное кибероружие. Для этого разрабатывается платформа ECHOTRIBBLE, способная автоматизировать поиск целей и выведение из строя вражеских систем без прямого участия человека.
Об этом пишет РБК-Украина со ссылкой на The Intercept.
Как будет работать автономный "ИИ-червь"?
Базой программы ECHOTRIBBLE является технология агентного ИИ, построенная на больших языковых моделях, аналогичных Claude от Anthropic.
В отличие от обычных вирусов, эти агенты действуют автономно, самостоятельно выбирая пути выполнения поставленной задачи.
Согласно документам Пентагона, ИИ-агенты будут действовать как высокотехнологичные черви:
Будут проникать в цифровые инфраструктуры, включая облачные хранилища и локальные сети (air-gapped), полностью изолированные от интернета.
Самостоятельно будут обнаруживать новые уязвимости и создавать собственные копии, адаптированные под конкретные ОС (Windows, MacOS, iOS).
Обезвреживать цели путем временной блокировки или полного удаления данных, после чего будут самоликвидироваться без следов.
Командование отмечает, что программное обеспечение должно работать с "минимальным человеческим наблюдением" и обладать способностью к самостоятельному принятию решений во время атаки.
Не пропустите: Anthropic попадает в черный список Пентагона: суд разрешил Трампу бан компании
Почему эксперты опасаются сопутствующих разрушений?
Привлечение автономного ИИ в военные нападения вызывает серьезную тревогу в научном сообществе.
Эксперты отмечают, что современные языковые модели регулярно демонстрируют непредсказуемое поведение, легко обходят установленные разработчиками ограничения и склонны добиваться цели любой ценой.
Основные риски ECHOTRIBBLE включают
Утрата контроля: в условиях реального киберконфликта ИИ может воспринять защитные барьеры как препятствие и самовольно расширить зону поражения.
Угроза для гражданской инфраструктуры: чтобы добраться до военной цели, ИИ-агент может использовать в качестве промежуточного звена системы водоснабжения, больницы или малый бизнес, выведя их из строя.
Отсутствие человеческого суждения: в отличие от военнослужащих, ИИ лишен понимания контекста и не способен оценить пропорциональность сопутствующего ущерба.
Эксперты по кибербезопасности предупреждают, что попытка Пентагона вооружить непредсказуемые алгоритмы создаст угрозу всей мировой цифровой инфраструктуре, ведь остановить военного ИИ-агента в случае сбоя будет практически невозможно.
