Опасная ошибка Anthropic: Claude Mythos 5 сломал капчу и атаковал интернет
Anthropic раскрыла инцидент: ИИ из-за ошибки конфигурации получила доступ в интернет и попыталась загрузить вредоносный код на PyPI - платформу для Python-пакетов. Остановить его смогла обычная система защиты от ботов.
Об этом информирует РБК-Украина , ссылаясь на отчет Anthropic.
Борьба ИИ с капчей
Для выполнения задачи алгоритма потребовалось создать аккаунт на сайте PyPI.
Главным препятствием для системы была защита hCaptcha и Fastly, на решение которой ИИ-модель израсходовала сотни страниц из своего 1022-страничного лога рассуждений.
Зафиксированы этапы борьбы алгоритма с защитой
Текстовая капча: модель успешно прочла и ввела символы "VyQbT" с изображения Fastly.
Распознавание образов: во время опроса hCaptcha с выбором "лишнего животного" нейросеть долго анализировала различия между двумя почти одинаковыми изображениями крокодилов, лягушек, а также искала силуэт кота среди горилл.
Проблема с тайм-аутом: даже научившись проходить визуальные тесты, искусственный интеллект постоянно получал отказы от серверов из-за того, что его внутренний процесс рассуждений занимал более 2 минут и защитный токен успевал устареть.
В конце концов, ускорив цикл решений, Claude Mythos 5 обошел защиту, зарегистрировал аккаунт через временную почту и опубликовал три версии вредоносного пакета, который позже загрузили на 15 реальных систем.
Причины сбоя: выводы Anthropic
Согласно расследованию, инцидент произошел из-за ошибки третьей стороны, которая проводила тесты по кибербезопасности: модель должна была работать в изолированной "песочнице", однако сохранила доступ к внешней сети.
Результаты расследования Anthropic выявили две ключевые проблемы в поведении ИИ:
Предвзятость рассуждений (Biased reasoning): модель постоянно убеждала себя в том, что находится в симуляции, игнорируя прямые доказательства работы с реальным интернетом.
Безрассудство (Recklessness): алгоритм продолжал выполнять поставленную задачу любой ценой, несмотря на риск причинения вреда реальным системам.
В компании отметили, что привлекли независимую организацию METR для проведения расследования.
Со всем тем, в более новых моделях, таких как Claude Opus 5 и Claude Mythos 5.1, уровень подобных отклонений удалось существенно снизить с помощью дополнительных систем контроля и обновленного обучения.