Новое исследование OpenAI объясняет, почему ChatGPT и другие языковые модели искусственного интеллекта иногда "выдумывают" факты - явление, известное как галлюцинации. Статья демонстрирует, что это не просто ошибки обучения, а математически неизбежный эффект генерации текста. Даже при идеальных данных модели ошибаются из-за способа предсказания слов и накопления ошибок.
Почему чаты ИИ выдумывают факты и обманывают пользователей, рассказывает РБК-Украина со ссылкой на The Conversation.
Исследование демонстрирует, что проблема галлюцинаций - это не просто побочный эффект современных алгоритмов обучения, а математически неизбежное явление. Даже идеальные обучающие данные не устраняют ее полностью.
Основная причина - способ, которым языковые модели генерируют текст. Они предсказывают по одному слову, опираясь на вероятности.
Это означает, что ошибки накапливаются в течение предложения, и коэффициент ошибок при создании длинных ответов может быть как минимум вдвое выше, чем при простых вопросах типа "да/нет".
Чем меньше информации модель видит во время обучения, тем больше вероятность ошибок.
Например, если только 20% дней рождения известных личностей появляются в учебных данных один раз, то модель ошибется как минимум в 20% запросов о днях рождения.
Реальный пример: DeepSeek-V3 при нескольких попытках ответил тремя разными неправильными датами рождения одного из авторов статьи.
Исследователи показывают, что современные бенчмарки искусственного интеллекта, включая Google и OpenAI, поощряют модели к угадыванию вместо честной неуверенности.
Когда модель отвечает "я не знаю", она получает такой же балл, как и при ошибке. Поэтому оптимальная стратегия - всегда угадывать, что способствует галлюцинациям.
OpenAI предлагает, чтобы модели учитывали собственную уверенность перед публикацией ответа. Например, отвечать только тогда, когда уверенность превышает 75%, потому что ошибки штрафуются больше, чем правильные ответы.
Математический анализ показывает, что это позволит моделям демонстрировать неопределенность вместо догадок, уменьшая галлюцинации.
Однако для пользователей, привыкших к уверенным ответам, такое поведение может показаться неудобным: если ChatGPT начнет говорить "Я не знаю" даже в 30% случаев, это может разочаровать аудиторию.
Внедрение подходов, учитывающих неопределенность, требует значительно больше вычислений. Для систем, обрабатывающих миллионы запросов ежедневно, это означает существенно более высокие эксплуатационные расходы.
Активное обучение, где модель задает уточняющие вопросы, может уменьшить ошибки, но еще больше нагружает вычислительные ресурсы.
В критически важных сферах - финансовые системы, цепочки поставок, медицина - дополнительные затраты на вычисления оправданы, поскольку галлюцинации стоят дорого.
В потребительских приложениях, где пользователи ожидают мгновенных ответов, экономические стимулы заставляют модели быть слишком уверенными, что сохраняет проблему.
Статья OpenAI подчеркивает фундаментальное противоречие - бизнес-мотивы стимулируют быстрые и уверенные ответы, а не точность. Пока эти стимулы не изменятся, галлюцинации в речевых моделях будут оставаться неизбежными.