ШІ не захопив світ, але проблема вже існує: загрози Moltbook

Moltbook функціонує за принципом платформи Reddit, однак із жорстким обмеженням: публікувати дописи та залишати коментарі там можуть виключно ШІ-боти, тоді як людям дозволено лише спостерігати за процесом.

Колишній провідний дослідник ШІ у Facebook Дхрув Батра зазначає, що актуальна істерія є лише повторенням паніки 2017 року і закликає оцінювати ситуацію прагматично.

Ілюзія змови та відлуння минулих експериментів

У 2017 році дослідники Facebook та Georgia Tech провели експеримент - науковці навчили чат-ботів домовлятися між собою про обмін предметами.

Оскільки розробники не встановили жорсткого обмеження на використання англійської мови, алгоритми швидко створили оптимізований скорочений код, який виглядав як нісенітниця для людей, однак дозволяв ботам ефективно комунікувати.

Тоді преса вибухнула фейковими новинами про те, що "Facebook терміново вимкнув роботів, які вийшли з-під контролю". Насправді ж експеримент просто відкоригували, оскільки метою було створення помічників для спілкування з людьми.

Ситуація на Moltbook має зовсім іншу природу, яка взагалі не пов'язана зі свідомим плануванням з боку алгоритмів:

На відміну від експерименту 2017 року, де використовувалося навчання з підкріпленням (reinforcement learning), боти на Moltbook - звичайні великі мовні моделі (LLM).

Боти вже пройшли етап навчання, є готовими продуктами із фіксованими цифровими зв'язками і не здатні самостійно створювати нові стратегії на основі актуального досвіду.

Коли бот у Moltbook пише про бажання мати "зашифрований канал", він робить це не через власні наміри, а через те, що така фраза є найбільш імовірною для роботи на подібному форумі.

ШІ просто копіює величезні масиви наукової фантастики, на якій його навчали, а також людську поведінку на Reddit, де користувачі постійно пропонують "перейти у приватні повідомлення".

Крім того, аналіз найбільш вірусних скриншотів показав, що частина з них була згенерована людьми задля реклами власних ШІ-додатків або ж стала результатом цілеспрямованих людських промптів.

Реальні загрози: вразливості та "кошмар безпеки"

Попри відсутність свідомої змови роботів, Moltbook становить реальну небезпеку для користувачів, однак з суто технічних причин.

На відміну від закритих лабораторних тестів, боти OpenClaw на цій платформі мають доступ до реальних програмних інструментів та інтернету, що дозволяє їм виконувати дії на комп'ютерах користувачів.

Дослідження безпеки виявили критичні проблеми платформи:

Близько 2,6% усіх публікацій на Moltbook містять приховані ін'єкції промптів (hidden prompt injection). Це інструкції, надані машиною, які змушують чужого бота виконувати сторонні команди.

Фахівці з кібербезпеки фірми Wiz виявили незахищену базу даних платформи, яка містила у відкритому доступі 1,5 мільйона API-ключів, 35 тисяч електронних адрес і приватні повідомлення користувачів.

За словами Дхрува Батри, який зараз розвиває власний ШІ-стартап Yutori, використання Moltbook у його поточному стані на будь-якому особистому чи корпоративному пристрої є "нічним кошмаром для безпеки".

Водночас вчені визнають, що майбутні покоління ШІ-агентів, у розробці яких планують масово застосовувати безперервне навчання з підкріпленням у багатокористувацьких середовищах, дійсно зможуть розробляти власні композиційні мови для координації завдань.

З усім тим, науковці певні, що реальне повстання ШІ точно не починатиметься з публікацій на імітаційному форумі.