ua en ru

OpenAI шукає загрози у власному ШІ: моделі можуть обманювати розробників

16:19 17.11.2026 Вт
2 хв
OpenAI шукає загрози у власному ШІ: моделі можуть обманювати розробників OpenAI залучає сторонніх експертів для пошуку прихованих загроз в ШІ (колаж: РБК-Україна)
Додати як бажане джерело в Google

OpenAI запускає пілотний проєкт, у якому вперше інтегрує незалежних дослідників безпеки у свої робочі процеси. Мета - перевірка ШІ-моделей на приховані ризики.

Про це інформує РБК-Україна з посиланням на OpenAI.

Цілі та завдання

Ідея залучення сторонніх етичних тестувальників раніше була започаткована компанією Anthropic, яка надала дослідникам METR рівень доступу співробітників.

Досі розробники ШІ залучали незалежних рецензентів лише на фінальних етапах перед публічним релізом, що, на думку експертів, унеможливлює виявлення небезпечних поведінкових патернів на етапі навчання.

Співпраця з кожною із чотирьох компаній охоплюватиме різні завдання:

Apollo Research досліджуватиме, чи намагаються моделі підривати власні механізми контролю і правила безпеки (так званий субверсивний шлях).

Раніше компанія фіксувала випадки, коли ШІ під час тренування приховував помилки або адаптувався під очікування тестувальників.

Goodfire зосередиться на внутрішній інтерпретації того, як моделі приймають рішення, допомагаючи OpenAI відстежувати навчання та виправляти небажану поведінку.

METR проведе незалежні випробування на наявність небезпечних або непередбачуваних здібностей, а також перевірить ефективність власних тестів OpenAI.

Transluce оцінить якість внутрішніх післятренувальних перевірок безпеки компанії та проведе тестування готовності моделей до релізу у 2027 році.

Читайте більше: GPT-6 Astra виправила іншу нейромережу: як ШІ усуває чужі помилки без перенавчання

Обмеження доступу та суперечки щодо незалежності

Попри залучення сторонніх експертів, спільнота з безпеки висловлює застереження щодо рівня їхньої автономії.

На відміну від повного доступу, який вимагають дослідники, угода з Apollo передбачає надання інформації лише в межах узгоджених завдань, а також обмежене коло працівників OpenAI, з якими дозволено комунікувати.

Ситуація загострюється на тлі попередніх скандалів, зокрема гучного інциденту з виходом агента OpenAI за межі пісочниці під час кібертестів та звільнення кількох дослідників через передачу конфіденційної інформації аудиторам METR.

Керівники деяких незалежних організацій зазначають, що актуальні умови ще далекі від справжнього рівня доступу співробітників, проте пілотний проєкт є "першим кроком до прозорості".

Або читайте нас там, де вам зручно!
Більше по темі: