OpenAI запретит злоупотреблять беседами с ChatGPT: что это означает

Почему возникла необходимость в новой системе?

Сегодня корпоративные клиенты услуги ZDR получают гарантию, что OpenAI не сохраняет их запросы и ответы после обработки, а сотрудники не имеют к ним доступа.

Со всем тем, действующие автоматизированные инструменты безопасности оценивают каждое сообщение в отдельности.

С увеличением сложности задач, выполняемых ИИ, злонамеренные намерения или сбои в работе автономных агентов часто становятся заметными только из-за серии связанных между собой запросов.

Например, когда нарушители постепенно обходят защитные барьеры, координируют действия по нескольким аккаунтам или когда ИИ-агент продолжает выполнять действия после команды остановиться.

Как работает Private Safety Processing?

Принципиально новый подход позволяет выявлять подозрительные паттерны поведения без потери конфиденциальности.

Особенности технологии :

• Данные пользователей хранятся либо на их собственной инфраструктуре, либо на серверах OpenAI в зашифрованном виде.
• Ключи шифрования контролируются исключительно клиентом, поэтому сотрудники OpenAI не могут прочитать содержимое.
• При выявлении рискованного поведения автоматическая система посылает только узкоспециализированный сигнал о типе нарушения.
• Работники OpenAI не получают доступа к текстам даже после срабатывания тревожного сигнала.

Если возникает спорная ситуация, клиенты могут самостоятельно провести расследование в журналах событий и по желанию предоставить фрагменты данных для апелляции.

Релиз и интеграция сервиса

Сейчас Private Safety Processing проходит тестирование среди ограниченного круга партнеров OpenAI - Microsoft, Glean, Databricks и Abridge.

Разработчики подчеркнули: обновление ориентировано на организации, работающие с финансовыми, медицинскими и другими чувствительными данными.

Полноценный запуск новой системы безопасности вместе с публикацией детального технического документа запланирован на сентябрь.