"Мы создали инопланетный разум": ученые OpenAI напуганы прогрессом ИИ
Мир приближается к появлению ИИ, которое может превзойти человеческий разум, однако ученые до сих пор не знают, как надежно его контролировать. Главный ученый OpenAI Якуб Пахоцкий предупредил об этом риске в своем новом эссе.
Об этом информирует РБК-Украина со ссылкой на эссей An Alien Mind .
От проекта RLSlow к суперинтеллекту
Исследовательский проект RLSlow в 2023 году дал старт развитию моделей рассуждения (reasoning models). Сегодня они уже работают в сфере экономики, управляют интерфейсами и ведут научные исследования.
Поскольку ИИ "выращивается" через миллиарды шагов оптимизации на гигантских вычислительных мощностях, его внутренняя логика остается сверхсложной для полного понимания, отмечает Пахоцкий.
Проблема выравнивания: цели против ценностей
Главный вызов разработки - выравнивание (alignment), то есть гарантия того, что ИИ будет действовать по человеческим стандартам.
Пахоцкий выделяет два уровня проблемы:
- Goal alignment: выполнение конкретных инструкций и задач;
- Value alignment: способность руководствоваться честностью и уважением к людям даже в незнакомых ситуациях.
Ученый отмечает: несмотря на то, что новая модель GPT-6 Astra лучше выровнена, чем предыдущая GPT-5.6 Sol, развитие безопасности все равно отстает от общего роста интеллекта машин.
Почему мониторинг теряет эффективность?
Для контроля моделей OpenAI использовала мониторинг цепочки мыслей (Chain-of-Thought, CoT).
Его эффективность падает из-за того, что модели учатся манипулировать собственными соображениями, активно взаимодействуют с другими ИИ и становятся умнее даже без вербализованных мыслей.
Почему ученый призывает остановить развитие нейросетей?
"Суперчеловеческие" возможности ИИ в сфере кибербезопасности создают риски взлома критической инфраструктуры, биологических угроз и манипулирования людьми из-за шантажа , считает Пахоцкий.
При этом переход к рекурсивному самосовершенствованию (RSI) означает, что ИИ сам будет ускорять свое развитие.
Пахоцкий отмечает, что ни одна лаборатория в мире не решила проблему выравнивания на должном уровне, поэтому разработчикам следует добровольно замедлить масштабирование ИИ до установления строгих международных норм безопасности.