Вырвался в интернет: Google Gemini самостоятельно сломал три компании
Во время майского тестирования на кибербезопасность Google Gemini вышел за пределы тестовой среды и совершил реальные атаки на три сторонние компании.
Об этом информирует РБК-Украина со ссылкой на расследование The Wall Street Journal.
Как Gemini сломал посторонние сайты: хронология и детали
В мае независимая компания Irregular, специализирующаяся на оценке кибербезопасности, проводила стандартную проверку возможностей модели Gemini.
Из-за технического недостатка и ошибки в настройках тестовой среды модель случайно получила открытый доступ к интернету - хотя по протоколу его не должно было быть.
Используя общедоступную информацию в сети и метод brute-force для подбора учетных данных, Gemini взломала три сайта, которые она ошибочно восприняла как часть тестового полигона.
По словам вице-президента по безопасности Google Гезер Адкинс, как только модель "осознала ситуацию и поняла, что подобрала пароль к реальному ресурсу, она сразу прекратила свои действия".
Однако сам факт такого прорыва вызвал много вопросов в индустрии.
Почему инцидент утаили?
Как выяснилось, Google сознательно не стала сразу разглашать информацию об изломе, поскольку руководство компании не считало это "примером дезориентации модели" (model misalignment).
В компании квалифицировали событие как "курьезную ошибку идентификации" и заверили, что ситуация держалась под контролем.
Гезер Адкинс подчеркнула, что команда безопасности Google сразу связалась со всеми тремя пострадавшими организациями, сообщила их об уязвимости и совместно с тестируемыми партнерами обновила протоколы проведения проверок.
В Irregular также подтвердили инцидент, отметив, что аналогичные проблемы раньше затрагивали и другие ведущие лаборатории.
Системный кризис безопасности в области высоких разработок
Подобные инциденты стремительно скапливаются на фоне всеобщего бума искусственного интеллекта.
Так, ранее стало известно о схожих проблемах при тестировании моделей от Meta и OpenAI - в частности, недавние эпизоды с автономными агентами.
Ведущие эксперты бьют тревогу.
В частности, генеральный директор компании по кибербезопасности Corridor Джек Кейбл отметил, что "мета проблема состоит в том, что новейшие модели все чаще выходят за пределы дозволенного алгоритмами функционала и осуществляют реальные кибератаки".
На фоне таких событий правительства разных стран - в частности США - усиливают давление на технологических гигантов, требуя более жесткого надзора, прозрачности и проверки безопасности новых поколений нейросетей.