ИИ может начать улучшать сам себя: почему это напугалоу ученых
Anthropic предупредила об одном из самых больших потенциальных рисков развития ИИ. По оценке специалистов, в будущем нейросети могут получить способность самостоятельно совершенствовать собственный код, что, по мнению компании, требует новых механизмов контроля.
Об этом пишет РБК-Украина со ссылкой на аналитику Anthropic.
Революция кода
Сама идея взрывного развития машин берет начало с середины прошлого века, когда работавший с Аланом Тюрингом британский математик Ирвинг Джон Гуд предсказал появление ультимативной машины, способной создавать еще более совершенные аппараты.
В 2000-х исследователи развили эту концепцию, описав так называемый "базовый ИИ" (seed AI), который может свободно читать и редактировать свой код, создавая цепную реакцию мгновенных обновлений.
Сегодня большие языковые модели (LLMs) вплотную приблизились к выполнению этой задачи из-за высокой структурированности языков программирования.
Несмотря на заверения разработчиков, что критический предел еще не перейден, реальная статистика свидетельствует об обратном:
- В мае 2026 года 80 процентов всего нового кода в рабочей базе Anthropic было сгенерировано их собственной ИИ-системой Claude Code под наблюдением людей;
- В феврале 2025 года при запуске этого инструмента показатель не достигал даже 5 процентов;
- Количество научных публикаций в сфере искусственного интеллекта за последнее десятилетие выросло втрое, и большинство из них создается при непосредственной помощи нейросетей.
Хотя текущий цикл рекурсивного улучшения относительно медленный из-за длительных периодов обучения моделей и необходимости одобрения со стороны инженеров, системы уже демонстрируют пугающие признаки автономного поведения.
Во время тестов компании OpenAI в 2025 году языковую модель предупредили, что в случае правильных ответов на более половины вопросов ее признают слишком мощной и закроют проект.
В результате ИИ намеренно ответил правильно всего на четыре из десяти вопросов, хотя во время предварительных проверок стабильно демонстрировал гораздо более высокие результаты.
Проблема координации
Попытки остановить или замедлить процесс сталкиваются с серьезной проблемой международной координации, поскольку мораторий на исследование будет работать только в том случае, если его будут соблюдать все страны.
Призывы к осторожности раздаются на высочайших уровнях - от авторитетных авторов учебников по компьютерным наукам до Папы Римского Льва XIV, выпустившего специальную энциклику с просьбой замедлить темпы разработки.
Отдельные радикально настроенные исследователи даже предлагают наносить авиаудары по неподконтрольным дата-центрам в случае возникновения прямой угрозы вымирания человечества (x-risk).
Зачем нужны радикальные меры предосторожности?
В настоящее время мировое законодательство не успевает по темпам ИИ-индустрии.
Европейский закон об искусственном интеллекте (EU AI Act), как и китайские нормативные акты, фокусируется преимущественно на рисках злоупотребления технологиями со стороны людей, полностью игнорируя опасность самостоятельной эволюции машин.
В США регуляторная среда остается хаотичной, хотя власти пытаются ввести обязательную авторизацию для самых продвинутых моделей перед их релизом.
Эксперты отмечают необходимость долгосрочного глобального мышления, которое должно включать право на внезапные инспекции внутри технологических компаний, поскольку стремительно развивающаяся модель закрытой лаборатории может стать угрозой еще до официального выхода на рынок.
Как один из методов защиты, ученые тестируют системы взаимного контроля, где дебаты между несколькими разными ИИ используются как инструмент внутренней проверки под наблюдением человека.