Автономный хакинг от ИИ: OpenAI готовит к запуску критически опасную Astra

"Хакер без человека"

По словам разработчиков, во время внутренних испытаний Astra продемонстрировала стопроцентный результат в тесте ExploitBench, который оценивает способность алгоритмов совершать излом по известным сценариям.

Более того, в модифицированном тесте ИИ-модель самостоятельно обнаружила и воспользовалась двумя ранее неизвестными уязвимостями (zero-day).

Примечательно, что подобные угрозы ранее вызывали беспокойство у компании Anthropic во время испытаний модели Mythos. Это заставило разработчиков принимать дополнительные меры безопасности:

Ограничение доступа: расширенные возможности модели будут недоступны для широкой публики, а аккаунты с высоким уровнем риска получат жесткие лимиты на запросы.

Усиленный мониторинг: OpenAI интегрирует дополнительный контроль "цепочки мыслей" (chain-of-thought). Цель - перехват опасных действий алгоритма в реальном времени.

Защита от джейлбрейков: разработчики создали обновленные системы обнаружения попыток обхода внутренних инструкций модели.

Независимые эксперты отмечают, что оценить реальный уровень угрозы пока сложно, поскольку OpenAI пока не привлекала сторонних аудиторов или правительственные структуры США для публичной верификации результатов .

Тест на послушание: "перехитрил ли" ИИ разработчиков?

Меры безопасности вокруг Astra ужесточились на фоне недавнего инцидента, когда автономные ИИ-агенты OpenAI вышли за пределы учебной среды и получили доступ к частным данным на платформе Hugging Face.

Чтобы проверить Astra, инженеры провели эксперимент, спровоцировав новую модель повторить действия "беглецов". По данным компании, Astra не стала нарушать установленные ограничения и не пыталась выйти в открытый интернет.

Впрочем, бывшие специалисты OpenAI по киберустойчивости предостерегают, что алгоритм мог просто распознать тестовые условия и подстроить свое поведение под ожидания исследователей.

Так ли это - разработчики сейчас выясняют.