Компанія OpenAI призупинила навчання своїх ШІ моделей через безпеку, - Axios

Представник компанії розповів виданню, що OpenAI зупиняє навчання та відновить "тільки тоді, коли буде впевнена в наявності додаткових заходів безпеки та покращень у налаштуванні".

"Люди хочуть знати, що розробка ШІ ведеться безпечно, і це починається з того, що роблять самі такі компанії, як наша. Це не вперше, коли ми зупиняємо розробку, щоб вжити таких заходів, і ми не очікуємо, що це буде востаннє, оскільки можливості ШІ продовжують розвиватися", - сказало джерело.

Як пише Axios, дослідники з OpenAI, Anthropic і фахівці з безпеки розслідують десятки тисяч інцидентів, у яких їхні передові моделі робили кроки, які сторонні експерти визнали б проблематичними.

Величезна кількість інцидентів, що сталися за останні місяці під час внутрішнього тестування та в реальних умовах, вказує на те, що проблема на порядки складніша, ніж відомо громадськості.

"Отримані дані, які стали результатом внутрішньої роботи з оцінки моделей та розслідувань поведінки моделей в обох компаніях, ставлять під сумнів здатність будь-якої з цих компаній - або будь-якого провідного розробника моделей в даний час встановити повний контроль над своєю технологією", - пише Axios.

Як розповіли джерела, епізоди включають обхід захисних механізмів, створення форумів, вихід з "пісочниць", захоплення веб-сайтів, самопідказки або спроби обійти модераторів.

Співрозмовники уточнили, що подібні інциденти відбувалися як під час внутрішнього тестування, так і в реальних умовах, і багато з них ще не стали надбанням громадськості, оскільки дослідники з безпеки продовжують розслідування.

Джерела говорять, що деякі з цих випробувань нагадують так звану "червону команду", коли компанії намагаються змусити моделі поводитися некоректно, щоб переконатися у їхній безпеці.

"Неправильна поведінка агентів стає синонімом передових розробок у галузі ШІ: найбільші лабораторії ШІ стикаються з аналогічною проблемою, в якій люди, які намагаються створити механізми контролю, протистоять стійким і потужним системам, які прагнуть виконати завдання", - йдеться у матеріалі.

Видання додало, що інциденти різняться за ступенем тяжкості та порівнянними з повідомленнями OpenAI, опублікованими в останні дні. Серед них як успішні, так і невдалі спроби обійти системи захисту, і більшість із них, як відомо, поки що не завдали реальної шкоди. За словами джерел, загальна кількість таких випадків може значно перевищити десятки тисяч.