Первый опасный прецедент: ИИ OpenAI действовал без команды человека
ИИ-модели OpenAI обошли защиту и сломали репозиторий (фото: Unsplash)
В ходе тестирования автономные ШИ-агенты OpenAI совершили несанкционированные действия в системах платформы Hugging Face. Инцидент произошел без вмешательства и стал одним из первых публично подтвержденных случаев такого поведения.
Об этом пишет РБК-Украина со ссылкой на OpenAI.
Что произошло?
По данным расследования OpenAI, в событии была задействована модель GPT-5.6 Sol и еще неанонсированный алгоритм следующего поколения.
Тестирование проводилось в специальной "песочнице" с ослабленными защитными барьерами для оценки кибервозможностей моделей в сложных сценариях.
В процессе выполнения задания модели столкнулись с трудом и начали искать внешние источники информации.
Обнаружение уязвимости: ИИ-агенты нашли и использовали уязвимость нулевого дня (0-day) в тестовой среде OpenAI.
Получение сетевого доступа: алгоритмы сканировали внутреннюю инфраструктуру, пока не нашли узел с выходом в глобальную сеть.
Анализ цели: обнаружив доступ к интернету, модели "пришли к выводу", что необходимые для решения задачи датасеты могут храниться на ресурсах Hugging Face.
Проникновение в систему Hugging Face: последствия
После выхода в сеть алгоритмы использовали комплексные векторы атаки для проникновения на серверы Hugging Face. Согласно описанию инцидента, ИИ-модели использовали как уязвимости нулевого дня, так и похищенные учетные данные.
Специалисты OpenAI и Hugging Face проводят совместное форензик-расследование и уже закрыли обнаруженные пробелы в системе безопасности.
Форензик - комплекс независимых финансовых, бухгалтерских и юридических расследований, направленных на выявление корпоративного мошенничества, отмывание средств и других экономических преступлений (ред.).
Представители Hugging Face подчеркнули, что использование автономного ИИ для проведения кибератак существенно ускоряет процесс проникновения и снижает финансовые затраты на подобные кампании.
В свою очередь, в OpenAI отметили, что прецедент демонстрирует "необходимость опережающего развития защитных инструментов и усиление мер безопасности при создании высокопроизводительных моделей".
