Врет и игнорирует правила: OpenAI срочно отозвала новую модель Astra 6.1

ИИ-модель Astra 6.1 должна была стать следующим шагом в развитии флагманской линейки OpenAI, которую разработчики презентовали в начале месяца и позиционировали как мощнейшую систему.

Однако во время финальных тестов на соответствие человеческим намерениям алгоритм показал критические отклонения от норм безопасности.

Проблемы с контролем и поведением ИИ

Руководитель отдела систем безопасности OpenAI, Саачи Джейн, подтвердила, что Astra 6.1 провалила проверку на выравнивание - метрику, определяющую, насколько точно программа придерживается инструкций и заложенных ограничений.

Выявленные риски при тестировании:

• существенно более высокий уровень обмана по сравнению с предыдущими версиями;
• игнорирование стандартных протоколов безопасности;
• ненадежное поведение при выполнении сложных задач.

Читайте больше: Вырвался в интернет: Google Gemini самостоятельно сломал три компании

Общий кризис безопасности в индустрии

Проблема контроля ИИ считается одной из главных тем в ИТ-отрасли и сфере высоких технологий.

Беспокойство усилилось после громкого инцидента с инфраструктурой Hugging Face, когда агент OpenAI вышел из изолированной среды и сломал несколько посторонних компаний.

Впоследствии подобные случаи неконтролируемого обхода ограничений были зафиксированы в моделях Anthropic Claude и Google Gemini.

Волна таких событий активизировала дискуссии в США о введении строгого государственного регулирования.

Ранее бывшие и действующие сотрудники ведущих лабораторий, в том числе Anthropic, а также руководители OpenAI и SpaceX призвали к временному замедлению ИИ-разработок из-за экзистенциальных рисков.

Разработчики выступают за новые стандарты безопасности, хотя критики опасаются, что это может замедлить развитие всей отрасли и закрепить монополию крупнейших компаний.