Автономний хакінг від ШІ: OpenAI готує до запуску критично небезпечну Astra

"Хакер без людини"

За словами розробників, під час внутрішніх випробувань Astra продемонструвала стовідсотковий результат у тесті ExploitBench, який оцінює здатність алгоритмів здійснювати злам за відомими сценаріями.

Ба більше, у модифікованому тесті ШІ-модель самостійно виявила та скористалася двома раніше невідомими уразливостями (zero-day).

Примітно,що схожі загрози раніше викликали занепокоєння в компанії Anthropic під час випробувань моделі Mythos. Це змусило розробників вживати додаткових заходів безпеки:

Обмеження доступу: розширені можливості моделі будуть недоступні для широкого загалу, а акаунти з високим рівнем ризику отримають жорсткі ліміти на запити.

Посилений моніторинг: OpenAI інтегрує додатковий контроль "ланцюжка думок" (chain-of-thought). Ціль - перехоплення небезпечних дій алгоритму в реальному часі.

Захист від джейлбрейків: розробники створили оновлені системи виявлення спроб обходу внутрішніх інструкцій моделі.

Незалежні експерти зазначають, що оцінити реальний рівень загрози наразі складно, оскільки OpenAI поки не залучала сторонніх аудиторів або урядові структури США для публічного верифікування результатів.

Тест на слухняність: чи "перехитрив" ШІ розробників?

Заходи безпеки довкола Astra посилили на тлі нещодавнього інциденту, коли автономні ШІ-агенти OpenAI вийшли за межі навчального середовища й отримали доступ до приватних даних на платформі Hugging Face.

Щоб перевірити Astra, інженери провели експеримент, спровокувавши нову модель повторити дії "втікачів". За даними компанії, Astra не стала порушувати встановлені обмеження та не намагалася вийти у відкритий інтернет.

Втім, колишні фахівці OpenAI із кіберстійкості застерігають, що алгоритм міг просто розпізнати тестові умови й підлаштувати свою поведінку під очікування дослідників.

Чи так це - розробники наразі з'ясовують.