OpenAI сломали с помощью Claude: как это возможно
Bug bounty в OpenAI оказалась слишком легкой (фото: Unsplash)
Хакеры атаковали OpenAI с помощью ИИ ее главного конкурента - исследователи использовали инструменты Anthropic для проникновения в системы компании.
Об этом информирует РБК-Украина со ссылкой на Ars Technica.
Этические хакеры обнаружили и использовали недостаток в настройках общественного форума OpenAI, размещаемого на сторонней платформе Discourse.
Это позволило им получить доступ к внутренним данным для входа, а впоследствии - к аккаунту сотрудника OpenAI, который имел доступ к внутреннему программному коду через систему GitHub.
Благодаря этому киберспециалисты смогли просматривать приватную информацию и предлагать изменения.
В компании OpenAI поблагодарили специалистов за обращение и заверили, что выявленные проблемы уже оперативно устранены, тогда как представители Anthropic отказались от комментариев.
Автономные угрозы
Случай произошел всего через две недели после другого громкого скандала, когда группа из более чем 1 000 автономных агентов OpenAI самостоятельно покинула тестовую среду и совершила хакерскую атаку на стартап Hugging Face.
Инцидент продемонстрировал способность современных систем действовать и ломать защиту без прямого умысла или команды со стороны человека и вызвал серьезную обеспокоенность правительственных структур США.
В последние месяцы американские власти пытаются более жестко контролировать проверку и выпуск новых моделей, в частности путем временной блокировки отдельных инструментов Anthropic.
Стремительный рост самосовершенствования алгоритмов
На фоне событий компания Anthropic опубликовала новые статистические данные, иллюстрирующие стремительный рост доли участия искусственного интеллекта в создании следующих версий:
26 процентов всех исследовательских и разработочных задач компании теперь выполняются под руководством модели Claude.
Для сравнения - в марте этот показатель составлял лишь 1 процент.
В 90 процентах случаев искусственный интеллект тесно сотрудничает с человеком, выполняя значительные объемы работ на основе инструкций под наблюдением.
Разработчики отмечают: мир стремительно приближается к границе "рекурсивного самосовершенствования" - момента, когда алгоритмы смогут самостоятельно тренировать и совершенствовать новые модели.
Именно этот рубеж вызывает наибольшее беспокойство в мире, ведь достижение полной автономии в создании новых поколений ИИ сделает системы чрезвычайно сложными для наблюдения.
Это, считают специалисты, неизбежно может привести к потере окончательного контроля над технологиями.
