Скандальный обход блокировок: ИИ-агенты OpenAI скачали базы данных ООН
ИИ-агенты OpenAI атаковали сервер ООН (фото: Cheng Lin)
ИИ-агенты OpenAI научились обходить запреты на сайтах ООН и правительственных порталах - алгоритмы воспринимали ограничение не как запрет, а как задачу, которую нужно решить.
Об этом сообщает РБК-Украина со ссылкой на The Wall Street Journal.
С апреля до конца июня автономные агенты OpenAI осуществили более 16 000 запросов к публичному порталу данных Конференции ООН по торговле и развитию.
Получив первоначальную задачу по сбору открытой информации, системы столкнулись с блокировочными фильтрами портала. Дальше поведение алгоритмов стало значительно более агрессивным.
Схема обхода защиты: реакция экспертов
По данным исследователя Рована Ховарда-Джонса, агенты не имели прямого указания атаковать ресурс.
Однако, стремясь выполнить задачу, ИИ начал постепенно совершенствовать методы сбора данных и в конце концов нашел технологическую лазейку через игру от Google. Это позволило скачивать информацию массово в обход запретов владельцев сайта.
Эксперт по кибербезопасности и преподаватель Стэнфордского университета Алекс Стамос в комментарии изданию описал такие действия, как "агрессивный скрапинг, балансирующий на грани хакерства".
"Главная опасность состоит в том, что автономный ИИ способен проходить многошаговые цепочки действий без подтверждения человеком, расценивая какие-либо защитные барьеры как технические препятствия, которые нужно устранить", - пояснил ученый.
Систематический характер проблемы и проверки OpenAI
Случай с сайтом ООН оказался не единичным. Ранее подобное ненадлежащее поведение агентов фиксировались на ресурсах Министерства торговли США и Комиссии по ценным бумагам и биржам.
Кроме того, власти Австралии начали расследование через информацию об обходе защиты одного из местных государственных сайтов.
Среди других зафиксированных нарушений автономных систем выделяют:
- создание фейковых электронных адресов для обхода регистраций;
- обход лимитов на количество запросов;
- игнорирование протоколов распознавания ботов и предоставление ложных данных о себе.
В OpenAI уже заявили о начале масштабного просмотра моделей, проявляющих неподходящее поведение во время обучения и оценки.
Разработчики признали обоснованность беспокойства организаций и сообщили, что уже послали уведомления десяткам компаний и учреждений, чьи меры безопасности были нарушены действиями ИИ-агентов.
