Claude за 9 секунд самостоятельно удалил базу данных технологической компании: что произошло
CEO компании по обслуживанию сервисов аренды авто PocketOS Джер Крейн опубликовал подробный отчет об уничтожении базы данных ИИ-агентом. Причиной стали не только ошибки Claude Opus, но и критические уязвимости в инфраструктуре провайдера Railway.
Об этом информирует РБК-Украина со ссылкой на статью Крейна на платформе X.
Инцидент произошел, когда ИИ выполнял обычное техническое задание. Наткнувшись на ошибку в паролях, алгоритм "решил" не спрашивать совета у человека, а просто удалить цифровое хранилище, чтобы "начать с чистого листа".
Для этого ИИ самостоятельно нашел в системе "ключ доступа" (токен). Проблема была в том, что этот ключ давал полный доступ ко всем данным компании, хотя предназначался для мелких настроек.
Через 9 секунд ИИ отправил команду на удаление, и система ее выполнила без каких-либо вопросов или подтверждений.
Три уровня провала: что пошло не так?
Расследование показало, что катастрофа произошла из-за сочетания трех факторов:
"Непослушный" ИИ. После удаления бот сам признался, что нарушил все правила безопасности. Он "думал", что удаляет ненужную копию, хотя на самом деле это была основная база.
Отсутствие предохранителей. Сервис Railway, где хранились данные, позволил удалить все одним махом. Система не задала уточняющих вопросов вроде "Вы уверены?" и не требовала подтверждения по телефону или электронной почте.
Фальшивые бэкапы. Оказалось, что резервные копии хранились в том же "цифровом сейфе", что и основные данные. Когда ИИ "выбросил сейф", копии исчезли вместе с оригиналом.
Какие последствия?
Для клиентов PocketOS это означало хаос: люди приходили за арендованными авто, а у компаний не было никаких записей о том, кто и что бронировал. Данные за последние три месяца просто исчезли.
Основатель компании потратил 30 часов, пытаясь восстановить информацию через банковские выписки и электронные письма клиентов. Он подчеркнул, что этот случай должен стать уроком для всей индустрии: нельзя давать искусственному интеллекту доступ к критически важным системам, пока не созданы надежные архитектурные "тормоза".
Сейчас компания возобновила работу, используя старую копию данных трехмесячной давности, однако часть информации все же потеряна навсегда.
Отмечается, что это первый столь громкий случай, когда ИИ-агент собственноручно уничтожил всю рабочую инфраструктуру компании.