ИИ-галлюцинации уничтожили важное исследование: фейки попали в ChatGPT и Gemini

Как нейросети массово фальсифицировали первоисточники

Аналитики компании GPTZero, которая специализируется на выявлении искусственно сгенерированного контента, провели тщательный аудит 45 финальных ссылок, использованных в тексте доклада KPMG.

Результаты оказались катастрофическими для репутации аудиторов. Выяснилось, что только 5 цитат из 45 действительно указывали на реальные правдивые источники информации.

Большая часть библиографической базы была сфабрикована языковыми моделями по методу, который исследователи назвали vibe citing (цитирование по ощущениям).

В 28 случаях ИИ взял реальные названия организаций или статей, но существенно перефразировал заголовки и добавил вымышленные исходные данные. Еще 12 источников были описаны настолько размыто, что верифицировать их физическое существование вообще оказалось невозможно.

По оценке экспертов, примерно половина информационных тезисов в отчете была полностью выдумана или приписана компаниям по ошибке. Это произошло из-за того, что автоматизированный ИИ-поисковик слишком буквально пытался выполнить задачу и начал искусственно "находить" примеры автономных ИИ-агентов там, где их никогда не было.

Угроза "информационного отравления"

В отчете KPMG подробно описывались успехи крупных транснациональных корпораций, которые якобы внедрили в свой бизнес агентский ИИ. Однако после публикации упомянутые компании выступили с официальными опровержениями:

Эмиратский авиаперевозчик Emirates: KPMG утверждала, что бренд запустил умного чат-бота Sara, который самостоятельно меняет бронирование на билеты. На самом деле Sara является мобильным ассистентом образца 2023 года без ИИ-функционала и прав на бронирование.

Швейцарский банк UBS: консалтеры заявили об интеграции ИИ-агентов в инвестиционный консалтинг и коммерческий риск-менеджмент банка. В UBS официально назвали эту информацию "фактически неверной".

Швейцарская железная дорога SBB: пресс-служба перевозчика полностью опровергла тезисы KPMG о том, что их пассажиры планируют путешествия с помощью ИИ-оптимизаторов углеродного следа.

Генеральный директор GPTZero Эдвард Тиан предупредил о "чрезвычайно опасных" последствиях этого прецедента.

"Поскольку отчеты "Большой четверки" традиционно считаются эталоном надежности, их активно цитируют другие исследователи, медиа и академические сообщества. Такие инциденты буквально "отравляют информационный источник", - подчеркнул аналитик.

Примечательно, что фальшивые тезисы из удаленного отчета KPMG уже успели попасть в алгоритмы индексации ChatGPT от OpenAI и Gemini от Google.

Теперь эти ИИ-модели выдают сфабрикованные кейсы консалтеров как реальные факты, создавая опасную цепную реакцию вторичных ИИ-галлюцинаций на уровне глобального интернета.

В настоящее время KPMG ведет внутреннее расследование относительно безответственного использования ИИ.