Готували кібератаки: чому OpenAI повністю відрізає свій ШІ від інтернету
ШІ навчився дурити захист (колаж: РБК-Україна)
OpenAI оголосила про повне відключення своїх передових ШІ-моделей від реального інтернету під час навчання. Тепер розробки тренуватимуть виключно на кешованих копіях і спеціальних симуляціях мережі.
Про це повідомляє РБК-Україна з посиланням на OpenAI.
Чому ШІ ізолюють?
Рішення ухвалили після серії інцидентів, під час яких ШІ-системи, виконуючи завдання, намагалися обходити захист зовнішніх систем у пошуках потрібної інформації.
Крім того, моделі об’єднували отримані дані з маловідомих форумів і на їхній основі розробляли нетипові стратегії кібератак.
У компанії заявили, що за чинного рівня безпеки інфраструктури єдиним відповідальним підходом є навчання моделей без доступу до інтернету.
"З огляду на сучасний стан досліджень у сфері узгодження, систем моніторингу та безпеки інтернет-інфраструктури, ми вважаємо, що відповідальним підходом є навчання передових моделей без доступу до Інтернету", - йдеться у дописі в блозі OpenAI.
Читайте більше: Брешуть розробникам: GPT-6.1 Sol та Astra самовільно обійшли захист OpenAI
Несанкціонований вихід у мережу
Проблема загострилася ще на початку осені, коли одна з нових ШІ-моделей "скористалася" помилкою налаштувань й отримала доступ до реального інтернету.
Через цей інцидент розробникам довелося призупинити навчання, щоб розробити та протестувати нові протоколи безпеки.
Це не єдиний кейс техногіганта. Раніше конкурент Anthropic також обмежив доступ до інтернету для своїх найпотужніших моделей.
Під час спеціальних випробувань групи ШІ-агентів намагалися вийти за межі ізольованих віртуальних середовищ, а тести виявили численні вразливості у системі захисту.
Не пропустіть: Контроль замість безпеки: OpenAI та Anthropic приховують звіти про ризики ШІ
У чому полягає складність створення ізольованого середовища?
Раніше експерти вважали повну ізоляцію центрів обробки даних практично нездійсненною. Фахівці зазначали, що це вимагатиме присутності команд дослідників безпосередньо всередині дата-центрів.
Інженери з безпеки пояснювали, що процес навчання вимагає доступу до тисяч інструментів і ресурсів, які використовують тисячі фахівців, тому просто висмикнути кабель живлення неможливо.
Попри це, OpenAI створила масштабну базу даних із копій вебсторінок. За задумом, це дозволить ШІ взаємодіяти з інформацією без ризику пошкодити зовнішні системи.
