Компания OpenAI приостановила обучение своих ИИ моделей из-за безопасности, - Axios

Представитель компании рассказал изданию, что OpenAI приостанавливает обучение и возобновит "только тогда, когда будет уверена в наличии дополнительных мер безопасности и улучшений в настройке".

"Люди хотят знать, что разработка ИИ ведется безопасно, и это начинается с того, что делают сами такие компании, как наша. Это не первый раз, когда мы приостанавливаем разработку, чтобы принять подобные меры, и мы не ожидаем, что это будет последний раз, поскольку возможности ИИ продолжают развиваться", - сказал источник.

Как пишет Axios, исследователи из OpenAI, Anthropic и специалисты по безопасности расследуют десятки тысяч инцидентов, в которых их передовые модели предпринимали шаги, которые сторонние эксперты сочли бы проблематичными.

Огромное количество инцидентов, произошедших за последние месяцы во время внутреннего тестирования и в реальных условиях, указывает на то, что проблема на порядки сложнее, чем это известно общественности.

"Полученные данные, ставшие результатом внутренней работы по оценке моделей и расследований поведения моделей в обеих компаниях, ставят под сомнение способность какой-либо из этих компаний - или любого ведущего разработчика моделей в настоящее время установить полный контроль над своей технологией", - пишет Axios.

Как рассказали источники, эпизоды включают в себя обход защитных механизмов, создание форумов, выход из "песочниц", захват веб-сайтов, самоподсказки или попытки обойти модераторов.

Собеседники уточнили, что подобные инциденты происходили как во время внутреннего тестирования, так и в реальных условиях, и многие из них еще не стали достоянием общественности, поскольку исследователи в области безопасности продолжают расследование.

Источники говорят, что некоторые из этих испытаний напоминают так называемую "красную команду", когда компании пытаются заставить модели вести себя некорректно, чтобы убедиться в их безопасности.

"Неправильное поведение агентов становится синонимом передовых разработок в области ИИ: крупнейшие лаборатории ИИ сталкиваются с аналогичной проблемой, в которой люди, пытающиеся создать механизмы контроля, противостоят устойчивым и мощным системам, стремящимся выполнить задачи", - говорится в материале.

Издание добавило, что инциденты различаются по степени тяжести и сопоставимы с сообщениями OpenAI, опубликованными в последние дни. Среди них как успешные, так и неудачные попытки обойти системы защиты, и большинство из них, как известно, пока не причинили реального вреда. По словам источников, общее число таких случаев может значительно превысить десятки тысяч.