ШІ почав навчати себе сам: чим це загрожує

Що таке рекурсивний ШІ?

Рекурсивне самовдосконалення - це коли ШІ починає оновлюватися та виправляти свої помилки краще і швидше за людей.

Вчені переконані: як тільки нейромережі перейдуть цей місток, процес стане повністю замкнутим. Розвиток технологій більше не залежатиме від того, скільки часу у програмістів, а лише від потужності комп'ютерів. Люди у такому ланцюжку стануть просто непотрібними.

Провідні науковці вже заснували кілька компаній, щоб досягти цієї мети. Наприклад, відомий дослідник Річард Сохер відкрив стартап Recursive Superintelligence. Його мета - зробити так, щоб ШІ сам вигадував ідеї, сам писав для них програми та сам перевіряв, як вони працюють.

Схожий проєкт під назвою Auto-Research веде і колишній головний інженер Tesla та OpenAI Андрій Карпати. Він змушує великі групи ШІ-помічників навчати інші, простіші нейромережі.

Роботи вже пишуть свій власний код

Те, що ШІ вчиться жити без людей - не пусті балачки, а реальна практика ІТ-компаній. Нещодавно один із творців популярного ШІ-помічника Claude Code зізнався, що майже 100% оновлень для цієї програми пише сам додаток. Тобто робот самостійно покращує свою ж структуру.

Ба більше, у компанії Anthropic протестували нову модель Mythos. Опитування розробників показало, що ця нейромережа вже готова повністю замінити живого програміста середньої ланки (Middle-інженера). Алгоритм може самостійно виконувати складні завдання без нагляду керівництва.

Чого наразі ШІ не вміє:

• планування роботи в умовах повної невизначеності,
• розуміння пріоритетів компанії,
• володіти базовим відчуттям смаку.

Три кроки до епохи суперінтелекту

Експерти з безпеки наголошують: звичайне використання ШІ для написання програм - це ще не повна автономія. Справжня загроза чи прорив (залежно від погляду) почнеться тоді, коли люди взагалі не втручатимуться у процес.

Фахівці виділяють три етапи такого сценарію:

Самостійність: коли ШІ залишають працювати наодинці і він продовжує робити наукові дослідження, нехай і трохи гірше за людей. До цього етапу світ підійде вже за рік-два.

Рівність: момент, коли комп'ютер проводить ІТ-дослідження так само якісно та швидко, як команда найкращих вчених-людей.

Перевага: фінальна точка, коли повністю автономний ШІ починає вчитися та розвиватися швидше, ніж будь-який тандем людей та машин. Вчені наголошують: після другого етапу ШІ-система здатна "дорости" до третього менш ніж за рік.

Чи варто панікувати?

Попри тривожні прогнози, керівники великих корпорацій радять не чекати апокаліпсису найближчим часом.

"Ми всі безумовно рухаємося вперед. Але у тому вигляді, як люди описують цей процес, він означав би надзвичайне прискорення, яке матиме великі наслідки. Проте ми ще далеко не там", - зазначає генеральний директор Google Сундар Пічаї.

Головне стримування для такого "розумного" ШІ зараз - банальний дефіцит найпотужніших комп'ютерних чипів та нерозуміння вчених, як контролювати безпеку програми, яка вміє сама переписувати свої правила.

Тож наразі супер-ШІ залишається лише амбітною метою дослідників.