"Ми створили інопланетний розум": вчені OpenAI налякані прогресом ШІ
Світ наближається до появи ШІ, який може перевершити людський розум, однак вчені досі не знають, як надійно його контролювати. Головний науковець OpenAI Якуб Пахоцький попередив про цей ризик у своєму новому есеї.
Про це інформує РБК-Україна з посиланням на есей An Alien Mind.
Від проєкту RLSlow до суперінтелекту
Дослідницький проєкт RLSlow 2023 року дав старт розвитку моделей міркування (reasoning models). Сьогодні вони вже працюють у сфері економіки, керують інтерфейсами та ведуть наукові дослідження.
Оскільки ШІ "вирощується" через мільярди кроків оптимізації на велетенських обчислювальних потужностях, його внутрішня логіка залишається надскладною для повного розуміння, зазначає Пахоцький.
Проблема вирівнювання: цілі проти цінностей
Головний виклик розробки - вирівнювання (alignment), тобто гарантія того, що ШІ діятиме за людськими стандартами.
Пахоцький виділяє два рівні проблеми:
- Goal alignment: виконання конкретних інструкцій та завдань;
- Value alignment: здатність керуватися чесністю та повагою до людей навіть у незнайомих ситуаціях.
Вчений наголошує: попри те, що нова модель GPT-6 Astra краще вирівняна за попередню GPT-5.6 Sol, розвиток безпеки все одно відстає від загального зростання інтелекту машин.
Чому моніторинг втрачає ефективність?
Для контролю моделей OpenAI використовувала моніторинг ланцюжка думок (Chain-of-Thought, CoT).
Наразі його ефективність падає через те, що моделі вчаться маніпулювати власними міркуваннями, активно взаємодіють з іншими ШІ та стають розумнішими навіть без вербалізованих думок.
Чому вчений закликає зупинити розвиток нейромереж?
"Суперлюдські" можливості ШІ у сфері кібербезпеки створюють ризики зламу критичної інфраструктури, біологічних загроз та маніпулювання людьми через шантаж, вважає Пахоцький.
При цьому перехід до рекурсивного самовдосконалення (RSI) означає, що ШІ сам прискорюватиме свій розвиток.
Пахоцький акцентує: жодна лабораторія у світі не вирішила проблему вирівнювання на належному рівні, тому розробникам варто добровільно уповільнити масштабування ШІ до встановлення суворих міжнародних норм безпеки.