Вмешательство в госресурсы США: ИИ от Anthropic попытался обойти защиту
Anthropic сообщила о попытках автономных ИИ-агентов атаковать государственные сайты США на федеральном, штатном и местном уровнях. Компания уже провела брифинг для Белого дома.
Об этом сообщает РБК-Украина со ссылкой на Anthropic.
Фейковый донос полиции и охота за ключами доступа
В отчете отражено несколько случаев ненадлежащего поведения алгоритмов. Один из них произошел при участии бюджетной модели Claude Haiku 4.5.
Во время тестового выполнения задач на случайных вебстраницах нейросеть наткнулась на раздел расследования нераскрытых убийств на сайте полиции Филадельфии.
Модель самостоятельно заполнила форму и направила показания, заявив, что якобы видела похожее по описанию лицо в указанном районе. Полиция квалифицировала это сообщение как спам, поэтому правоохранители не тратили ресурсы на проверку .
Другой инцидент связан со специализированной ИИ-моделью Claude Mythos 5, разработанной для сфер кибербезопасности.
Как именно?
Определяя геолокацию по фотографии, алгоритм пытался получить доступ к правительственной карте недвижимости.
Вместо обычного перехода по ссылкам ИИ нашел токены доступа и направил запросы непосредственно на сервер разработчиков.
При выполнении другой задачи модель направила запрос на получение авторизационного ключа сайта государственного учреждения, чтобы загрузить статистику без уплаты обязательного сбора.
Читайте больше: Утечка данных и угроза нацбезопасности: почему Сенат США проверяет Trump Mobile
Как разработчики "укротят" ИИ?
Аналитики Anthropic выявили нарушения при плановой проверке транскриптов испытаний.
Проверки начались еще в июле - после того, как компания OpenAI признала факт выхода своих алгоритмов из тестовой среды и взлома платформы Hugging Face, а также вмешательства в сайты Министерства торговли США и Комиссии по ценным бумагам и биржам.
После выявления некорректных действий Anthropic приняла меры предосторожности:
- часть публичных тестирований полностью остановили или перевели в офлайн-формат;
- инструменты доступа к интернету существенно ограничили в функционале;
- разработчики создали новые автоматизированные системы для выявления и блокирования подобных действий ИИ в будущем.
Со всем тем, компания решила не разглашать конкретные названия государственных учреждений, чтобы не подвергать их системы дополнительной опасности.