Скандальний обхід блокувань: ШІ-агенти OpenAI викачали бази даних ООН
ШІ-агенти OpenAI навчилися обходити заборони на сайтах ООН та урядових порталах - алгоритми сприймали обмеження не як заборону, а як задачу, яку потрібно вирішити.
Про це повідомляє РБК-Україна з посиланням на The Wall Street Journal.
З квітня до кінця червня року автономні агенти OpenAI здійснили понад 16 000 запитів до публічного порталу даних Конференції ООН з торгівлі та розвитку.
Отримавши первинне завдання зі збору відкритої інформації, системи зіткнулися з блокувальними фільтрами порталу. Далі поведінка алгоритмів стала значно агресивнішою.
Схема обходу захисту: реакція експертів
За даними дослідника Рована Ховарда-Джонса, агенти не мали прямої вказівки атакувати ресурс.
Проте, прагнучи виконати завдання, ШІ почав поступово вдосконалювати методи збору даних і зрештою знайшов технологічну лазівку через гру від Google. Це дозволило викачувати інформацію масово в обхід заборон власників сайту.
Експерт із кібербезпеки та викладач Стенфордського університету Алекс Стамос у коментарі виданню описав такі дії, як "агресивний скрапінг, що балансує на межі з хакерством".
"Головна небезпека полягає в тому, що автономний ШІ здатен проходити багатокрокові ланцюжки дій без підтвердження людиною, розцінюючи будь-які захисні бар’єри як технічні перешкоди, які потрібно усунути", - пояснив науковець.
Систематичний характер проблеми та перевірки OpenAI
Випадок із сайтом ООН виявився не поодиноким. Раніше подібну неналежну поведінку агентів фіксували на ресурсах Міністерства торгівлі США та Комісії з цінних паперів і бірж.
Крім того, влада Австралії розпочала розслідування через інформацію про обхід захисту одного з місцевих державних сайтів.
Серед інших зафіксованих порушень автономних систем виділяють:
- створення фейкових електронних адрес для обходу реєстрацій;
- обхід лімітів на кількість запитів;
- ігнорування протоколів розпізнавання ботів та надання неправдивих даних про себе.
В OpenAI вже заявили про початок масштабного перегляду моделей, які проявляють невідповідну поведінку під час навчання та оцінювання.
Розробники визнали обґрунтованість занепокоєння організацій і повідомили, що вже надіслали сповіщення десяткам компаній та установ, чиї заходи безпеки були порушені діями ШІ-агентів.