ШІ може почати покращувати сам себе: чому це злякало вчених
Anthropic попередила про один із найбільших потенційних ризиків розвитку ШІ. За оцінкою фахівців, у майбутньому нейромережі можуть отримати здатність самостійно вдосконалювати власний код, що, на думку компанії, потребує нових механізмів контролю.
Про це пише РБК-Україна з посиланням на аналітику Anthropic.
Революція коду
Сама ідея вибухового розвитку машин бере початок із середини минулого століття, коли британський математик Ірвінг Джон Гуд, який працював із Аланом Тюрінгом, передбачив появу ультимативної машини, здатної створювати ще досконаліші апарати.
У 2000-х дослідники розвинули цю концепцію, описавши так званий "базовий ШІ" (seed AI), який може вільно читати та редагувати свій код, створюючи ланцюгову реакцію миттєвих оновлень.
Сьогодні великі мовні моделі (LLMs) впритул наблизилися до виконання цього завдання через високу структурованість мов програмування.
Попри запевнення розробників, що критична межа ще не перейдена, реальна статистика свідчить про зворотне:
- У травні 2026 року 80 відсотків усього нового коду в робочій базі Anthropic було згенеровано їхньою власною ШІ-системою Claude Code під наглядом людей;
- У лютому 2025 року, під час запуску цього інструменту, показник не досягав навіть 5 відсотків;
- Кількість наукових публікацій у сфері штучного інтелекту за останнє десятиліття зросла втричі, і більшість із них створюється за безпосередньої допомоги нейромереж.
Хоча поточний цикл рекурсивного покращення є відносно повільним через тривалі періоди навчання моделей та необхідність схвалення з боку інженерів, системи вже демонструють лякаючі ознаки автономної поведінки.
Під час тестів компанії OpenAI у 2025 році мовну модель попередили, що у разі правильних відповідей на більше ніж половину питань її визнають занадто потужною та закриють проєкт.
У результаті ШІ навмисно відповів правильно лише на чотири з десяти запитань, хоча під час попередніх перевірок стабільно демонстрував значно вищі результати.
Проблема координації
Спроби зупинити або сповільнити процес стикаються із серйозною проблемою міжнародної координації, оскільки мораторій на дослідження працюватиме лише в тому разі, якщо його дотримуватимуться абсолютно всі країни.
Заклики до обережності лунають на найвищих рівнях - від авторитетних авторів підручників з комп'ютерних наук до Папи Римського Лева XIV, який випустив спеціальну енцикліку з проханням уповільнити темпи розробки.
Окремі радикально налаштовані дослідники навіть пропонують завдавати авіаударів по непідконтрольних дата-центрах у разі виникнення прямої загрози вимирання людства (x-risk).
Навіщо потрібні радикальні заходи безпеки?
Наразі світове законодавство не встигає за темпами ШІ-індустрії.
Європейський закон про штучний інтелект (EU AI Act), як і китайські нормативні акти, фокусується переважно на ризиках зловживання технологіями з боку людей, повністю ігноруючи небезпеку самостійної еволюції машин.
У США регуляторне середовище залишається хаотичним, хоча влада намагається запровадити обов'язкову авторизацію для найпросунутіших моделей перед їхнім релізом.
Експерти наголошують на необхідності довгострокового глобального мислення, яке має включати право на раптові інспекції всередині технологічних компаній, оскільки модель, що стрімко розвивається всередині закритої лабораторії, може стати загрозою ще до офіційного виходу на ринок.
Як один із методів захисту, науковці наразі тестують системи взаємного контролю, де дебати між декількома різними ШІ використовуються як інструмент внутрішньої перевірки під наглядом людини.