OpenAI ищет угрозы в собственном ИИ: модели могут обманывать разработчиков
OpenAI привлекает сторонних экспертов для поиска скрытых угроз в ИИ (коллаж: РБК-Украина)
OpenAI запускает пилотный проект, в котором впервые интегрирует независимых исследователей безопасности в свои рабочие процессы. Цель - проверка ИИ-моделей на скрытые риски.
Об этом информирует РБК-Украина со ссылкой на OpenAI.
Цели и задачи
Идея привлечения сторонних этических тестировщиков ранее была начата компанией Anthropic, которая предоставила исследователям METR уровень доступа сотрудников.
До сих пор разработчики ИИ привлекали независимых рецензентов только на финальных этапах перед публичным релизом, что, по мнению экспертов, делает невозможным выявление опасных поведенческих паттернов на этапе обучения.
Сотрудничество с каждой из четырех компаний будет охватывать разные задачи:
Apollo Research будет исследовать, пытаются ли модели подрывать собственные механизмы контроля и правила безопасности (так называемый субверсивный путь).
Ранее компания фиксировала случаи, когда ИИ во время тренировки скрывал ошибки или адаптировался под ожидания тестировщиков.
Goodfire сосредоточится на внутренней интерпретации того, как модели принимают решения, помогая OpenAI отслеживать обучение и исправлять нежелательное поведение.
METR проведет независимые испытания на наличие опасных или непредсказуемых способностей и проверит эффективность собственных тестов OpenAI.
Transluce оценит качество внутренних послетренировочных проверок безопасности компании и проведет тестирование готовности моделей к релизу в 2027 году.
Читайте больше: GPT-6 Astra исправила другую нейросеть: как ИИ устраняет чужие ошибки без переучивания
Ограничение доступа и споры о независимости
Несмотря на привлечение сторонних экспертов, сообщество по безопасности выражает оговорку относительно уровня их автономии.
В отличие от полного доступа, требуемого исследователями, соглашение с Apollo предусматривает предоставление информации только в рамках согласованных задач, а также ограниченный круг работников OpenAI, с которыми разрешено коммуникировать.
Ситуация обостряется на фоне предыдущих скандалов, в частности, громкого инцидента с выходом агента OpenAI за пределы песочницы во время кибертестов и увольнения нескольких исследователей из-за передачи конфиденциальной информации аудиторам METR.
Руководители некоторых независимых организаций отмечают, что актуальные условия еще далеки от подлинного уровня доступа сотрудников, однако пилотный проект является "первым шагом к прозрачности".