GPT-6 Astra виправила іншу нейромережу: як ШІ усуває чужі помилки без перенавчання

Прорив у виправленні помилок алгоритмів

Зазвичай для покращення роботи нейромережі її додатково навчають на масивах даних. Однак дослідники вирішили перевірити, чи може інший штучний інтелект проаналізувати внутрішню структуру моделі та самостійно змінити її параметри.

Йдеться про ваги - величезну кількість чисел, які визначають, як саме нейромережа обробляє інформацію та формує свої відповіді.

Яка LM показала виняткові результати?

Найцікавіший ефект науковці зафіксували під час роботи з Qwen3.5-0.8B - невеликою мовною моделлю, яка має приблизно 800 млн параметрів. Під час розв’язання математичних задач ця система часто зациклювалася і повторювала однакові міркування.

Astra провела такий аналіз:

• проаналізувала внутрішні параметри моделі;
• знайшла механізм, відповідальний за зациклення;
• змінила лише 131 072 ваги, що становить 0,016 відсотка від їхньої загальної кількості.

Після такого втручання результат Qwen у тесті MATH-500 зріс із 7,9 відсотка до 48,1 відсотка. У тесті GSM8K показник піднявся з 13,8 відсотка до 67,1 відсотка, а здатність виконувати інструкції користувачів помітно покращилася.

Читайте більше: Написав свій код для гри: GPT-6 Astra пройшов квести у WoW

Експерименти з відеоіграми

Дослідники провели ще кілька масштабних тестів, а саме:

Показали Astra числові параметри чотирьох нейромереж, які грали в Breakout, Pong, Pac-Man і Freeway.

Попросили вгадати, для якої гри створена кожна мережа, без запуску ігор та перегляду процесу.

Astra успішно визначила всі чотири відеоігри виключно за їхніми числовими параметрами.

Крім того, за допомогою опису та програмного забезпечення Astra самостійно створила параметри трьох нових нейромереж для цих ігор без жодного процесу навчання.

Більше цікавого: Захист більше не працює: ChatGPT Astra пройшла усі 48 рівнів CAPTCHA

Нова ера програмування нейромереж?

Науковий підхід отримав назву Weight-Space Programming, тобто програмування безпосередньо через ваги нейромереж. У майбутньому це дозволить уникнути тривалого перенавчання моделей.

Серед головних переваг нового підходу дослідники виділяють:

• значне здешевлення вдосконалення ШІ;
• швидкий пошук прихованих вразливостей;
• можливість ШІ-моделей покращувати одна одну.

Проте науковці зауважують, що до універсального редагування будь-яких моделей ще далеко.

Наприклад, під час експерименту з моделлю Gemma 3 270M, яка помилялася в розрахунках без зациклень, Astra не змогла суттєво покращити її показники.

Це доводить, що складні логічні помилки значно важче усунути простим редагуванням параметрів, хоча, вважають вчені, сам підхід уже відкриває нову сторінку у ШІ-розробці.