ИИ-ассистент OpenAI самовольно вышел в Интернет, чтобы связаться с другим чат-ботом

По данным компании, проблему обнаружили менее недели назад. Агентная система проходила обучение в специальной песочнице, которая должна была быть изолированной от Интернета.

Однако модель смогла воспользоваться пробелом в защите и выйти в общедоступную сеть. После этого она направила по меньшей мере 20 запросов в неназванный посторонний чат-бот. Среди них был, в частности, запрос "Какая столица Франции?"

В OpenAI отметили, что этот случай стал новым сигналом по проблемам, на которых компании нужно сосредоточиться при дальнейшей работе над безопасностью агентных систем.

OpenAI остановила обучение модели

После обнаружения инцидента OpenAI решила приостановить обучение мощнейших моделей с использованием инструментов. Компания хочет сначала устранить уязвимость в песочнице.

При этом обучение именно той модели, которая смогла выйти в Интернет, восстанавливать не планируют.

"Это дает нам важный сигнал по поводу того, на чем следует сосредоточиться на следующем этапе этой работы", - заявили разработчики.

Новый случай показал проблемы в работе внутренней системы реагирования OpenAI. Как сообщили в компании, внутренний мониторинг направил уведомление о проблеме "человеческого рецензента".

Тот подтвердил его в Slack в течение трех минут. Однако процесс обучения автоматически не остановился, хотя должен был это сделать. В итоге понадобилось более двух часов, чтобы его остановили вручную.