GPT-6 Astra исправила другую нейросеть: как ИИ устраняет чужие ошибки без переуобучения
Ученые MIT доказали, что модель GPT-6 Astra может находить ошибки в других LM (языковых моделей) и исправлять их, напрямую изменяя их внутренние параметры.
Об этом сообщает РБК-Украина, ссылаясь на исследование ученых, опубликованное в блоге GitHub.
Прорыв в исправлении ошибок алгоритмов
Обычно для улучшения работы нейросети ее дополнительно учат на массивах данных. Однако исследователи решили проверить, может другой искусственный интеллект проанализировать внутреннюю структуру модели и самостоятельно изменить ее параметры.
Речь идет о весах - огромном количестве чисел, определяющих, как именно нейросеть обрабатывает информацию и формирует свои ответы.
Какая LM показала исключительные результаты?
Самый интересный эффект ученые зафиксировали во время работы с Qwen3.5-0.8B - небольшой языковой моделью, имеющей примерно 800 млн параметров. При решении математических задач эта система часто зацикливалась и повторяла одинаковые соображения.
Astra провела такой анализ:
- проанализировала внутренние параметры модели;
- нашла механизм, ответственный за зацикливание;
- изменила только 131 072 веса, что составляет 0,016 процента от их общего количества.
После такого вмешательства результат Qwen в тесте MATH-500 вырос с 7,9% до 48,1%. В тесте GSM8K показатель поднялся с 13,8% до 67,1%, а способность следовать инструкциям пользователей заметно улучшилась.
Читайте больше: Написал свой код для игры: GPT-6 Astra прошел квесты в WoW
Эксперименты с видеоиграми
Исследователи провели еще несколько масштабных тестов, а именно:
Показали Astra числовые параметры четырех нейросетей, игравших в Breakout, Pong, Pac-Man и Freeway.
Попросили угадать, для какой игры создана каждая сеть без запуска игр и просмотра процесса.
Astra успешно определила все четыре видеоигры исключительно по их числовым параметрам.
Кроме того, с помощью описания и программного обеспечения Astra самостоятельно создала параметры трех новых нейросетей для этих игр без процесса обучения.
Больше интересного: Защита больше не работает: ChatGPT Astra прошла все 48 уровней CAPTCHA
Новая эра программирования нейросетей?
Научный подход получил название Weight-Space Programming, то есть программирование непосредственно из-за весов нейросетей. В будущем это позволит избежать продолжительного переобучения моделей.
Среди главных преимуществ нового подхода исследователи выделяют:
- значительное удешевление усовершенствования ИИ;
- быстрый поиск скрытых уязвимостей;
- возможность ИИ-моделей улучшать друг друга.
Однако ученые отмечают, что до универсального редактирования любых моделей еще далеко .
К примеру, в ходе эксперимента с моделью Gemma 3 270M, которая ошибалась в расчетах без зациклений, Astra не смогла существенно улучшить ее показатели.
Это доказывает, что сложные логические ошибки гораздо труднее устранить простым редактированием параметров, хотя, полагают ученые, сам подход уже открывает новую страницу в ИИ-разработке.