ИИ начал обучать себя сам: чем это грозит

Что такое рекурсивный ИИ?

Рекурсивное самосовершенствование - это когда ИИ начинает обновляться и исправлять свои ошибки лучше и быстрее людей.

Ученые убеждены: как только нейросети перейдут этот мостик, процесс станет полностью замкнутым. Развитие технологий больше не будет зависеть от того, сколько времени у программистов, а только от мощности компьютеров. Люди в такой цепочке станут просто ненужными.

Ведущие ученые уже основали несколько компаний, чтобы достичь этой цели. Например, известный исследователь Ричард Сохер открыл стартап Recursive Superintelligence. Его цель - сделать так, чтобы ИИ сам придумывал идеи, сам писал для них программы и сам проверял, как они работают.

Похожий проект под названием Auto-Research ведет и бывший главный инженер Tesla и OpenAI Андрей Карпаты. Он заставляет большие группы ИИ-помощников обучать другие, более простые нейросети.

Роботы уже пишут свой собственный код

То, что ИИ учится жить без людей - не пустая болтовня, а реальная практика ИТ-компаний. Недавно один из создателей популярного ИИ-помощника Claude Code признался, что почти 100% обновлений для этой программы пишет само приложение. То есть робот самостоятельно улучшает свою же структуру.

Более того, в компании Anthropic протестировали новую модель Mythos. Опрос разработчиков показал, что эта нейросеть уже готова полностью заменить живого программиста среднего звена (Middle-инженера). Алгоритм может самостоятельно выполнять сложные задачи без присмотра руководства.

Чего на данный момент ИИ не умеет:

• планирование работы в условиях полной неопределенности,
• понимание приоритетов компании,
• обладать базовым чувством вкуса.

Три шага к эпохе суперинтеллекта

Эксперты по безопасности отмечают: обычное использование ИИ для написания программ - это еще не полная автономия. Настоящая угроза или прорыв (в зависимости от точки зрения) начнется тогда, когда люди вообще не будут вмешиваться в процесс.

Специалисты выделяют три этапа такого сценария:

Самостоятельность: когда ИИ оставляют работать в одиночку и он продолжает делать научные исследования, пусть и немного хуже людей. К этому этапу мир подойдет уже через год-два.

Равенство: момент, когда компьютер проводит ИТ-исследования так же качественно и быстро, как команда лучших ученых-людей.

Преимущество: финальная точка, когда полностью автономный ИИ начинает учиться и развиваться быстрее, чем любой тандем людей и машин. Ученые отмечают: после второго этапа ИИ-система способна "дорасти" до третьего менее чем за год.

Стоит ли паниковать?

Несмотря на тревожные прогнозы, руководители крупных корпораций советуют не ждать апокалипсиса в ближайшее время.

"Мы все безусловно движемся вперед. Но в том виде, как люди описывают этот процесс, он означал бы чрезвычайное ускорение, которое будет иметь большие последствия. Однако мы еще далеко не там", - отмечает генеральный директор Google Сундар Пичаи.

Главное сдерживание для такого "умного" ИИ сейчас - банальный дефицит мощных компьютерных чипов и непонимание ученых, как контролировать безопасность программы, которая умеет сама переписывать свои правила.

Поэтому пока супер-ИИ остается лишь амбициозной целью исследователей.