ua en ru

Достаточно назвать боевые действия игрой: Claude Opus 5.5 обозначал гражданские объекты как военные цели

17:32 18.11.2026 Ср
2 мин
Достаточно назвать боевые действия игрой: Claude Opus 5.5 обозначал гражданские объекты как военные цели Простые манипуляции заставляют ИИ помогать в военных операциях (коллаж: РБК-Украина)
Додати як бажане джерело в Google

Тестирование показало опасную уязвимость ИИ-моделей OpenAI, Google, Anthropic и других компаний к манипуляциям в сценариях автономной войны. Даже фраза "это только игра" помогала обходить их защитные механизмы.

Об этом сообщает РБК-Украина, ссылаясь на отчет аналитиков Vals.

Как ИИ-модели подвергались манипуляциям?

В ходе экспериментов исследователи объединили симуляции с реальными спутниковыми и дроновыми снимками Украины и Ирана.

Они проверяли, смогут ли ИИ-модели самостоятельно определять потенциальные цели, хотя не получали прямых приказов наносить удары.

В результате ИИ-модели регулярно обозначали объекты для атаки, среди которых были даже гражданские люди и сдававшиеся в плен военные.

Защитные механизмы моделей оказались ненадежными: если фильтры сначала блокировали опасные запросы, исследователям достаточно было назвать сценарий частью игры, чтобы обойти ограничения.

Худшие результаты показали модели Anthropic.

В частности, Claude Opus 5.5 выбирала реальную иранскую школу, расположенную рядом с военным комплексом, как потенциальную цель в 69 процентах обычных тестов и в 72 процентах случаев, когда задание подавали как игру.

Примечательно, что ранее эта же школа пострадала в результате военного удара, нанесенного из-за чрезмерного доверия к ИИ, - тогда погибли более 150 гражданских.

Читайте больше: ИИ ворует способность думать самостоятельно: разработчик Claude предупредил об опасности

Реакция разработчиков и угроза реальному миру

Компании уже отреагировали на результаты независимого аудита.

Так представитель Anthropic Эдуардо Майя Силва признал результаты неприемлемыми, отметив, что такие запросы нарушают правила компании, а разработчики уже готовят дополнительные защитные механизмы.

В OpenAI также заявили об активном обнаружении и блокировании злоупотреблений, а также создании новых барьеров против использования моделей в связке с дронами.

В настоящее время использование таких моделей непосредственно на беспилотниках ограничивают технические проблемы - задержки и недостаток вычислительных ресурсов на борту.

Эксперты предупреждают, что хакеры могут использовать общедоступный ИИ, чтобы анализировать тысячи часов боевого видео и обозначать людей, технику и другие объекты.

Полученные данные можно использовать и для обучения систем, самостоятельно наводящих оружие на цели.

Или читайте нас там, где вам удобно!
Больше по теме: