Готовили кибератаки: почему OpenAI полностью отрезает свой ИИ от интернета
ИИ научился обманывать защиту (коллаж: РБК-Украина)
OpenAI объявила о полном отключении своих передовых ИИ-моделей от реального интернета во время обучения. Теперь разработки будут тренироваться исключительно на кэшированных копиях и специальных симуляциях сети.
Об этом сообщает РБК-Украина со ссылкой на OpenAI.
Почему ИИ изолируют?
Решение было принято после серии инцидентов, во время которых ИИ-системы, выполняя задачи, пытались обходить защиту внешних систем в поисках нужной информации.
Кроме того, модели объединяли полученные данные с малоизвестных форумов и на их основе разрабатывали нетипичные стратегии кибератак.
В компании заявили, что при действующем уровне безопасности инфраструктуры единственным ответственным подходом является обучение моделей без доступа в интернет.
"Учитывая современное состояние исследований в сфере согласования, систем мониторинга и безопасности интернет-инфраструктуры, мы считаем, что ответственным подходом является обучение передовым моделям без доступа к Интернету", - говорится в сообщении в блоге OpenAI.
Читайте больше: Врут разработчикам: GPT-6.1 Sol и Astra самовольно обошли защиту OpenAI
Несанкционированный выход в сеть
Проблема обострилась еще в начале осени, когда одна из новых ИИ-моделей "воспользовалась" ошибкой настроек и получила доступ к реальному интернету.
Из-за этого инцидента разработчикам пришлось приостановить обучение, чтобы разработать и протестировать новые протоколы безопасности.
Это не единственный кейс техногиганта. Ранее конкурент Anthropic также ограничил доступ в интернет для своих самых мощных моделей.
В ходе специальных испытаний группы ИИ-агентов пытались выйти за пределы изолированных виртуальных сред, а тесты обнаружили многочисленные уязвимости в системе защиты.
Не упустите: Контроль вместо безопасности: OpenAI и Anthropic скрывают отчеты о рисках ИИ
В чем состоит сложность создания изолированной среды?
Ранее эксперты считали полную изоляцию центров обработки данных практически невыполнимой. Специалисты отмечали, что это потребует присутствия команд исследователей непосредственно внутри дата-центров.
Инженеры по безопасности объясняли, что процесс обучения требует доступа к тысячам инструментов и ресурсов, которые используют тысячи специалистов, поэтому просто выдернуть кабель питания невозможно.
Несмотря на это, OpenAI создала масштабную базу данных из копий веб-страниц. По замыслу это позволит ИИ взаимодействовать с информацией без риска повредить внешние системы.
