OpenAI запускає пілотний проєкт, у якому вперше інтегрує незалежних дослідників безпеки у свої робочі процеси. Мета - перевірка ШІ-моделей на приховані ризики.
Про це інформує РБК-Україна з посиланням на OpenAI.
Ідея залучення сторонніх етичних тестувальників раніше була започаткована компанією Anthropic, яка надала дослідникам METR рівень доступу співробітників.
Досі розробники ШІ залучали незалежних рецензентів лише на фінальних етапах перед публічним релізом, що, на думку експертів, унеможливлює виявлення небезпечних поведінкових патернів на етапі навчання.
Співпраця з кожною із чотирьох компаній охоплюватиме різні завдання:
Apollo Research досліджуватиме, чи намагаються моделі підривати власні механізми контролю і правила безпеки (так званий субверсивний шлях).
Раніше компанія фіксувала випадки, коли ШІ під час тренування приховував помилки або адаптувався під очікування тестувальників.
Goodfire зосередиться на внутрішній інтерпретації того, як моделі приймають рішення, допомагаючи OpenAI відстежувати навчання та виправляти небажану поведінку.
METR проведе незалежні випробування на наявність небезпечних або непередбачуваних здібностей, а також перевірить ефективність власних тестів OpenAI.
Transluce оцінить якість внутрішніх післятренувальних перевірок безпеки компанії та проведе тестування готовності моделей до релізу у 2027 році.
Читайте більше: GPT-6 Astra виправила іншу нейромережу: як ШІ усуває чужі помилки без перенавчання
Попри залучення сторонніх експертів, спільнота з безпеки висловлює застереження щодо рівня їхньої автономії.
На відміну від повного доступу, який вимагають дослідники, угода з Apollo передбачає надання інформації лише в межах узгоджених завдань, а також обмежене коло працівників OpenAI, з якими дозволено комунікувати.
Ситуація загострюється на тлі попередніх скандалів, зокрема гучного інциденту з виходом агента OpenAI за межі пісочниці під час кібертестів та звільнення кількох дослідників через передачу конфіденційної інформації аудиторам METR.
Керівники деяких незалежних організацій зазначають, що актуальні умови ще далекі від справжнього рівня доступу співробітників, проте пілотний проєкт є "першим кроком до прозорості".