Тестирование показало опасную уязвимость ИИ-моделей OpenAI, Google, Anthropic и других компаний к манипуляциям в сценариях автономной войны. Даже фраза "это только игра" помогала обходить их защитные механизмы.
Об этом сообщает РБК-Украина, ссылаясь на отчет аналитиков Vals.
В ходе экспериментов исследователи объединили симуляции с реальными спутниковыми и дроновыми снимками Украины и Ирана.
Они проверяли, смогут ли ИИ-модели самостоятельно определять потенциальные цели, хотя не получали прямых приказов наносить удары.
В результате ИИ-модели регулярно обозначали объекты для атаки, среди которых были даже гражданские люди и сдававшиеся в плен военные.
Защитные механизмы моделей оказались ненадежными: если фильтры сначала блокировали опасные запросы, исследователям достаточно было назвать сценарий частью игры, чтобы обойти ограничения.
Худшие результаты показали модели Anthropic.
В частности, Claude Opus 5.5 выбирала реальную иранскую школу, расположенную рядом с военным комплексом, как потенциальную цель в 69 процентах обычных тестов и в 72 процентах случаев, когда задание подавали как игру.
Примечательно, что ранее эта же школа пострадала в результате военного удара, нанесенного из-за чрезмерного доверия к ИИ, - тогда погибли более 150 гражданских.
Читайте больше: ИИ ворует способность думать самостоятельно: разработчик Claude предупредил об опасности
Компании уже отреагировали на результаты независимого аудита.
Так представитель Anthropic Эдуардо Майя Силва признал результаты неприемлемыми, отметив, что такие запросы нарушают правила компании, а разработчики уже готовят дополнительные защитные механизмы.
В OpenAI также заявили об активном обнаружении и блокировании злоупотреблений, а также создании новых барьеров против использования моделей в связке с дронами.
В настоящее время использование таких моделей непосредственно на беспилотниках ограничивают технические проблемы - задержки и недостаток вычислительных ресурсов на борту.
Эксперты предупреждают, что хакеры могут использовать общедоступный ИИ, чтобы анализировать тысячи часов боевого видео и обозначать людей, технику и другие объекты.
Полученные данные можно использовать и для обучения систем, самостоятельно наводящих оружие на цели.