OpenAI навчила Astra думати інакше: експерти бояться втратити контроль
OpenAI випробувала в новій моделі Astra технологію, яка може зробити мислення ШІ значно складнішим для контролю. Новий метод змушує алгоритм багаторазово обробляти один запит, і це вже викликало занепокоєння експертів з кібербезпеки.
Про це пише РБК-Україна з посиланням на The Information.
Ризики прихованого мислення та реакція експертів
Зазвичай послідовний ланцюг думок (Chain of Thought) є головним інструментом для відстеження помилок, маніпуляцій і небезпечної поведінки штучного інтелекту.
Нова технологія "непрозорої рекурентності" робить цей процес значно складнішим, адже аналіз дій алгоритму стає майже неможливим для зовнішніх спостерігачів.
Експерти з галузі ШІ-безпеки гостро відреагували на витік інформації:
Баг Шлегеріс (CEO Redwood Research) висловив глибоку стривоженість і зазначив, що подальше масштабування цієї технології може повністю знищити можливість моніторингу ШІ.
Цві Мушовіц (фахівець з безпеки ШІ) закликав до законодавчого регулювання, аби зупинити небезпечні перегони між лабораторіями та зберегти прозорість алгоритмів.
Раян Грінблат (головний науковець Redwood Research) висловив побоювання, що ШІ повністю перейде на мислення у прихованому латентному просторі без доступних для людини логів.
Також стало відомо, що використання подібних підходів вже обговорюють у компаніях Anthropic та Google DeepMind.
Позиція OpenAI та майбутнє технології
У відповідь на занепокоєння спільноти головний науковий співробітник OpenAI Якуб Пачоцький наголосив, що компанія залишається відданою збереженню прозорих і зрозумілих ланцюгів думок.
Представники розробника підкреслюють, що використання нелінійного мислення в Astra наразі обмежене, а сама модель залишатиметься читабельною для моніторингу.
В OpenAI також запевнили, що не планують повністю переходити на закриті формати мислення та продовжують розробку масштабних систем нагляду за безпекою своїх продуктів.