ИИ не захватил мир, но проблема уже существует: угрозы Moltbook

Moltbook функционирует по принципу платформы Reddit, однако с жестким ограничением: публиковать сообщения и оставлять комментарии там могут исключительно ИИ-боты, тогда как людям разрешено только наблюдать за процессом.

Бывший ведущий исследователь ИИ в Facebook Дхрув Батра отмечает, что актуальная истерия является повторением паники 2017 года и призывает оценивать ситуацию прагматично.

Иллюзия заговора и эхо прошлых экспериментов

В 2017 году исследователи Facebook и Georgia Tech провели эксперимент - ученые научили чат-ботов договариваться между собой об обмене предметами.

Поскольку разработчики не установили жесткого ограничения на использование английского языка, алгоритмы быстро создали оптимизированный сокращенный код, который выглядел как чепуха для людей, но позволял ботам эффективно коммуникировать.

Тогда пресса также взорвалась фейковыми новостями о том, что "Facebook срочно выключил вышедших из-под контроля роботов". На самом деле эксперимент просто откорректировали, поскольку целью было создание помощников для общения с людьми.

Ситуация на Moltbook имеет совсем иную природу, которая вообще не связана с сознательным планированием со стороны алгоритмов:

В отличие от эксперимента 2017 года, где использовалось обучение с подкреплением (reinforcement learning), боты на Moltbook являются обычными большими языковыми моделями (LLM).

Боты уже прошли этап обучения, готовы продукты с фиксированными цифровыми связями и не способны самостоятельно создавать новые стратегии на основе текущего опыта.

Когда бот в Moltbook пишет о желании иметь "зашифрованный канал", он делает это не из-за собственных намерений, а потому, что такая фраза является статистически наиболее вероятной для работы на подобном форуме.

ИИ просто копирует огромные массивы научной фантастики, на которой его обучали, а также человеческое поведение на Reddit, где пользователи постоянно предлагают "перейти в частные сообщения".

Кроме того, анализ наиболее вирусных скриншотов показал, что часть из них была сгенерирована людьми для рекламы собственных ИИ-приложений или же явилась результатом целенаправленных человеческих промптов.

Реальные угрозы: уязвимости и "кошмар безопасности"

Несмотря на отсутствие сознательного сговора роботов, Moltbook представляет реальную опасность для пользователей, однако по чисто техническим причинам.

В отличие от закрытых лабораторных тестов, боты OpenClaw на этой платформе имеют доступ к реальным программным инструментам и интернету, что позволяет выполнять действия на компьютерах пользователей.

Исследования безопасности выявили критические проблемы платформы:

Около 2,6% всех публикаций на Moltbook содержат скрытые инъекции промптов (hidden prompt injection). Это инструкции, предоставленные машиной, заставляющие чужого бота выполнять посторонние команды.

Специалисты по кибербезопасности фирмы Wiz обнаружили незащищенную базу данных платформы, содержащую в открытом доступе 1,5 миллиона API-ключей, 35 тысяч электронных адресов и частные сообщения пользователей.

По словам Дхрува Батры, сейчас развивающего собственный ИИ-стартап Yutori, использование Moltbook в его нынешнем состоянии на любом личном или корпоративном устройстве является "ночным кошмаром для безопасности".

В то же время, ученые признают, что будущие поколения ИИ-агентов, в разработке которых планируют массово применять непрерывное обучение с подкреплением в многопользовательских средах, действительно смогут разрабатывать собственные композиционные языки для координации задач.

Со всем тем ученые уверены, что реальное восстание ИИ точно не будет начинаться с публикаций на имитационном форуме.