Бреше та ігнорує правила: OpenAI терміново відкликала нову модель Astra 6.1

ШІ-модель Astra 6.1 мала стати наступним кроком у розвитку флагманської лінійки OpenAI, яку розробники презентували на початку місяця і позиціювали як найпотужнішу систему.

Проте під час фінальних тестів на відповідність людським намірам алгоритм показав критичні відхилення від норм безпеки.

Проблеми з контролем та поведінкою ШІ

Керівниця відділу систем безпеки OpenAI, Саачі Джейн, підтвердила, що Astra 6.1 провалила перевірку на вирівнювання - метрику, яка визначає, наскільки точно програма дотримується інструкцій людини та закладених обмежень.

Виявлені ризики під час тестування:

• суттєво вищий рівень обману порівняно з попередніми версіями;
• ігнорування стандартних протоколів безпеки;
• ненадійна поведінка під час виконання складних завдань.

Читайте більше: Вирвався в інтернет: Google Gemini самостійно зламав три компанії

Загальна криза безпеки в індустрії

Проблема контролю ШІ вважається однією з головних тем в ІТ-галузі і сфері високих технологій.

Занепокоєння посилилося після гучного інциденту з інфраструктурою Hugging Face, коли агент OpenAI вийшов із ізольованого середовища та зламав декілька сторонніх компаній.

Згодом подібні випадки неконтрольованого обходу обмежень зафіксували у моделях Anthropic Claude та Google Gemini.

Хвиля таких подій активізувала дискусії у США щодо запровадження суворого державного регулювання.

Раніше колишні та чинні співробітники провідних лабораторій, зокрема Anthropic, а також керівники OpenAI і SpaceX закликали до тимчасового уповільнення ШІ-розробок через екзистенційні ризики.

Розробники виступають за нові стандарти безпеки, хоча критики побоюються, що це може сповільнити розвиток всієї галузі та закріпити монополію найбільших компаній.