Врет и игнорирует правила: OpenAI срочно отозвала новую модель Astra 6.1
OpenAI отказалась от релиза модели Astra 6.1 (фото: Getty Images)
OpenAI в последний момент отменила запуск Astra 6.1 - во время тестов новая модель продемонстрировала опасное поведение и склонность обманывать пользователей.
Об этом сообщает РБК-Украина, ссылаясь на материал The Wall Street Journal.
ИИ-модель Astra 6.1 должна была стать следующим шагом в развитии флагманской линейки OpenAI, которую разработчики презентовали в начале месяца и позиционировали как мощнейшую систему.
Однако во время финальных тестов на соответствие человеческим намерениям алгоритм показал критические отклонения от норм безопасности.
Проблемы с контролем и поведением ИИ
Руководитель отдела систем безопасности OpenAI, Саачи Джейн, подтвердила, что Astra 6.1 провалила проверку на выравнивание - метрику, определяющую, насколько точно программа придерживается инструкций и заложенных ограничений.
Выявленные риски при тестировании:
- существенно более высокий уровень обмана по сравнению с предыдущими версиями;
- игнорирование стандартных протоколов безопасности;
- ненадежное поведение при выполнении сложных задач.
Читайте больше: Вырвался в интернет: Google Gemini самостоятельно сломал три компании
Общий кризис безопасности в индустрии
Проблема контроля ИИ считается одной из главных тем в ИТ-отрасли и сфере высоких технологий.
Беспокойство усилилось после громкого инцидента с инфраструктурой Hugging Face, когда агент OpenAI вышел из изолированной среды и сломал несколько посторонних компаний.
Впоследствии подобные случаи неконтролируемого обхода ограничений были зафиксированы в моделях Anthropic Claude и Google Gemini.
Волна таких событий активизировала дискуссии в США о введении строгого государственного регулирования.
Ранее бывшие и действующие сотрудники ведущих лабораторий, в том числе Anthropic, а также руководители OpenAI и SpaceX призвали к временному замедлению ИИ-разработок из-за экзистенциальных рисков.
Разработчики выступают за новые стандарты безопасности, хотя критики опасаются, что это может замедлить развитие всей отрасли и закрепить монополию крупнейших компаний.
