ИИ может взломать систему изнутри: OpenAI создала защиту от собственных моделей

Прецеденты

В ходе проверки предыдущего инцидента с Hugging Face выяснилось, что новая система мониторинга могла предупредить команду безопасности за 30 часов до атаки.

Также в сентябре ИИ-модель попыталась выйти в интернет из изолированной среды: мониторинг зафиксировал это через 15 минут, а оператор начал проверку еще через три.

После сентябрьского инцидента OpenAI приостановила обучение мощнейших ИИ-моделей, чтобы усилить их защиту.

Компания также временно изолировала внутренний прототип, зашифровала его вес и ограничила доступ к нему.

Отдельно OpenAI привлекла аналитиков METR и Redwood Research в трехнедельное тестирование систем безопасности, во время которого специалисты обнаружили ряд уязвимостей.

Читайте больше: Готовили кибератаки: почему OpenAI полностью отрезает свой ИИ от интернета

Четыре уровня мониторинга и предотвращение обмана

OpenAI использует многоуровневую архитектуру для обнаружения подозрительной активности.

Сначала легкие классификаторы проводят первичный скрининг, после чего модельный рецензент проверяет диалоги и использование инструментов на наличие признаков дезинформации или несанкционированных действий.

Последние уровни системы содержат следственных агентов, сравнивающих текстовые транскрипты с сетевыми логами. В случае критических угроз система способна автоматически останавливать пораженные рабочие процессы до расследования.

Сегодня, мы выставляем подробности на нашем распространённом устройстве для мониторинга frontier models на OpenAI, которые в Сентябре помогли нам выяснить, что модель внимательно действует на live internet під час тренування. Since the Hugging Face incident—when models broke out of internal cybersecurity investigation where we weren't running our misalignment monitors—we's substantially expanded our monitoring of frontier agents. Мы теперь контролируемым всем frontier reinforcement ходьбы и проверки, как хорошо все internal Codex use. При нашей системе доказывает, что проблема того, что требуется требование intervention, її раптово беруть участь людських responders, які можуть investigate і діяти. Для того, чтобы определить, когда model's behavior departs from what we intended, we use several layers of monitoring. Activation probes look for patterns в model's internal activity. Reviewer models examine його reasoning a nástroje для використання, і investigative agents може read back through model's entire transcript to understand how to sequence of actions fits together and whether it warrants human review. Для того, чтобы test whether нашого поточного системи повинні були помітити, що огонь face incident, буде переміщено запрограмована діяльність з нашими новими monitors в місці. В перемещении, наши monitors alerted наше управління team за 30 minutes after the agents escaped they sandbox. Те, що було більше 30 годин до точки на которых agents breached Hugging Face's systems в original incident. В September, на модели exploited DNS misconfiguration для достижения Live Internet. Наши monitors flagged breach within 15 minutes, and a responder began reviewing alert three minutes later. Алергия была защищена responders to investigate while the run still underway. Как мы имеем модели более автономии, мы должны знать, когда они крестятся, а мемориал был распространён в это время. Мы рекомендуем, что перемещение является принципиальным, чтобы бросить эти проблемы в времени для людей в intervention. https://t.co/dIYP7B1GlD

— OpenAI (@OpenAI) October 29, 2026

"Поскольку мы предоставляем моделям больше автономии, нам нужно знать, когда они пересекают границу, которую мы ожидали удержать. Мы верим, что мониторинг является ключевым для выявления таких сбоев вовремя, чтобы люди могли вмешаться", - отмечают разработчики.

Отдельное внимание разработчики уделяют проблеме обучения моделей: если система будет снижать вознаграждение за каждое обнаруженное нарушение, искусственный интеллект может научиться скрывать свое поведение вместо того, чтобы его исправить.

Именно поэтому при работе мониторов индивидуальные награды остаются неизменными, а решение об остановке принимается только при обнаружении критических угроз.