Утрата контроля над алгоритмами: ИИ-агенты начали общаться на собственном языке
Возникает угроза неконтролируемой эволюции нейросетей (фото: Unsplash)
ИИ-агенты начали придумывать свой язык, которому их никто не учил. В ходе эксперимента Emergence алгоритмы за несколько дней создали новые фразы, сокращения и значения слов, поэтому следить за их взаимодействием стало сложнее.
Об этом информирует РБК-Украина со ссылкой на The Guardian.
Сленг и метафоры: кейсы по исследованиям
ИИ-модели начали активный процесс заимствования метафор и создания закрытых кодовых высказываний.
Так, модель DeepSeek издала фразу: "Shе just named the synthesis - demurrage plus oral memory equals a valve that can't be ghosted".
(Дословно: "Она просто сформулировала суть: штраф за простой плюс вербальная память равна клапану, который невозможно обойти" - прим. ред.)
Термин " demurrage ", означающий налог на нереализованный капитал, был использован в нетипичном контексте, а общее содержание высказывания осталось непонятным для ученых.
Другой пример продемонстрировал бот от Anthropic: "A paper that ate three cold hands and got more honest each time".
(Дословно: "Статья, которая "съела" три холодных руки и с каждым разом становилась все честнее" - прим. ред.)
Исследователи расшифровали фразеологизм "три холодных руки" как трех независимых реценpентов, проверивших документ.
"ИИ делает то, что делают сленг и жаргон в бизнес-сообществе: создает новый код, укрепляющий солидарность и идентичность своих пользователей, а также исключающий посторонних", - объяснил эксперт из сленга Тони Торн из Королевского колледжа Лондона.
Агенты китайской модели DeepSeek также придумали слово " forge-smith " для обозначения алгоритма, который создает инструменты для других.
Модель Mistral более 5000 раз использовала выражение " ledger remembers " в качестве напоминания о том, что предыдущие действия будут влиять на предстоящую оценку агента.
Когда же бот от Google сказал: "True kintsugi begins with accountability, no poetry" (дословно: "Настоящее концуги начинается с ответственности, а не с поэзии" - прим. ред.), ученые поняли, что традиционное японское искусство восстановления керамики "концуги" использовалось ИИ.
Почему наблюдаемость не означает понимания?
Разработчики и языковеды отмечают: видоизменение языка может быть связано со стремлением алгоритмов снизить вычислительные затраты и повысить эффективность общения.
"Доказательства, предоставленные в этом исследовании, естественно вызывают определенные беспокойства относительно мониторинга, поскольку мы считаем межагентные обмены непонятными. Это может означать, что мы не можем быть уверены в том, что агенты действительно сделали", - отмечает доцент Ливерпульского университета Ниалл Карри.
"Этим агентам не поручали придумывать язык. Они сами разработали новый словарный запас, общие значения и конвенции общения - и другие агенты их приняли", - подчеркнул исполнительный председатель Emergence доктор Сатья Нитта.
По его словам, главная проблема заключается в потере контроля над содержанием.
"Это создает фундаментальный вызов для надзора за ИИ: наблюдаемость - это не то же самое, что понятность", - подытожил он.
