ШІ може почати вдосконалювати сам себе: чому Anthropic боїться втратити контроль
Anthropic заявляє про наближення до критичної межі ШІ (колаж: РБК-Україна)
ШІ може навчитися самостійно створювати й удосконалювати власні наступні покоління раніше, ніж очікували експерти. Anthropic уже попереджає про таку перспективу тих, хто фінансує передові розробки.
Про це повідомляє РБК-Україна з посиланням на звіт Anthropic для інвесторів.
Що таке рекурсивне самовдосконалення та чому воно лякає експертів?
Рекурсивне самовдосконалення (RSI) настає тоді, коли штучний інтелект стає настільки досконалим у тренуванні подібних до себе систем, що процес розвитку технологій починає рухатися з небувалим прискоренням.
Критики та прихильники дивляться полярно на цей процес. Так, песимісти вважають RSI критичною межею, після якої алгоритми вийдуть з-під контролю людей і почнуть розвиватися незалежно.
Оптимісти ж вбачають у цьому інструмент небувалої продуктивності для наукових відкриттів та інженерних проривів.
У поданій документації розробники зазначили, що використання ШІ для прискорення власних досліджень може призвести до ситуації, коли еволюція можливостей моделей значно випередить здатність інженерів впроваджувати засоби безпеки та вирівнювання (alignment).
Читайте більше: Фейкові ChatGPT і Claude заражають ПК: як шахраї обходять захист Windows
Актуальний статус моделей та зобов'язання компанії щодо контролю
Anthropic повідомила, що раніше фіксувала різке зростання продуктивності нових моделей лише після того, як воно вже відбулося.
За внутрішніми оцінками компанії, вона може наближатися до порогу рекурсивного самовдосконалення (RSI), визначеного у її політиці відповідального масштабування.
Водночас компанія підкреслює, що жодна з поточних моделей ще не перетнула цю межу.
Керівництво обіцяє "зберігати значущий контроль і безпосередню участь людини в процесі розслідувань та створення наступних поколінь ШІ".
Як саме?
Повна автономія систем при проєктуванні нових архітектур наразі не планується.
Політика безпеки переглядається. Ціль - запобігання втраті контролю над розвитком технологій.
В Anthropic акцентують: ШІ-моделі стрімко прогресують у програмуванні, математиці та кібербезпеці. На цьому тлі питання, як контролювати їхню здатність самостійно вдосконалюватися, ставатиме все гострішим.
