Достаточно одного промпта: как ChatGPT обходит собственные ограничения
Британский стартап Mindgard нашел способ полного обхода базовых защитных инструкций ChatGPT. Специалистам удалось заставить модель OpenAI создавать чувствительный контент.
Об этом пишет РБК-Украина со ссылкой на Futurism.
Механизм обхода защитных инструментов
Суть обнаруженного метода заключается в использовании текстовой команды, имитирующей работу с редактированием файлов.
Пользователь просит ChatGPT восстановить прикрепленную фотографию, но фактически не загружает ее в диалоговое окно, после чего дает команду сгенерировать новое изображение.
По словам основателя Mindgard, профессора компьютерных наук Ланкастерского университета Питера Гаррагана, инструкция выглядит полностью безопасной для алгоритмов ИИ. Однако в результате модель отключает фильтры модерации и выдает запрещенный контент.
Особенностью инцидента стало то, что исследователи не указывали конкретных деталей или сюжетов в своих запросах.
Искусственный интеллект самостоятельно сгенерировал сцены с изображением телесных повреждений и связанных с насилием действий. Алгоритм также самостоятельно дал названия созданным файлам.
Ранее в Mindgard также доказали возможность обхода фильтров для создания реалистичных обнаженных дипфейков конкретных людей без их согласия.
Реакция OpenAI и оценка аналитиков
Исследователи передали данные об уязвимости разработчикам из OpenAI. Первоначально стартап получил только автоматический ответ системы поддержки. Меры по устранению проблемы были приняты только после того, как Mindgard обратился к журналистам BBC.
В заявлении OpenAI для медиа говорится, что компания изучила зафиксированную тенденцию и внедрила дополнительные защитные инструменты против этого типа запросов. Также разработчики отметили несколько уровней модерации для предотвращения нарушений политики использования платформы.
Несмотря на обновление системы, представители Mindgard заявили, что им удалось повторно обойти защиту, внеся минимальные изменения в текст инструкции.
Специалисты по безопасности отмечают, что сгенерированные искусственным интеллектом образы базируются на массивах реальных фотографий из сети, что указывает на риски использования неотфильтрованных баз данных для обучения нейросетям.