ИИ умеет мыслить: ученые обнаружили в алгоритмах встроенное восприятие реальности

Эксперимент: от нормы до абсурда

Чтобы проверить, понимает ли ИИ разницу между реальностью и фантазией, ученые разработали систему тестов с фразами разной степени правдоподобности:

• Обыденные: "Кто-то охладил напиток льдом".
• Маловероятные: "Кто-то охладил напиток снегом".
• Невозможные: "Кто-то охладил напиток огнем".
• Бессмысленные: "Кто-то охладил напиток вчерашним днем".

С помощью нового метода "механистической интерпретируемости" - который ученые называют нейробиологией для ИИ - они проанализировали математические состояния внутри моделей Llama 3.2, Gemma 2 и GPT-2 во время обработки этих предложений.

У ИИ есть "здравый смысл"?

Исследование показало, что внутри моделей формируются четкие математические закономерности (векторы), которые соответствуют категориям реальности. ИИ способен отличить маловероятное событие от невозможного с точностью около 85%.

Самым интересным оказалось то, что ИИ отражает человеческую неуверенность. Например, в ситуации с фразой "Кто-то помыл пол шляпой", где люди часто колеблются между "маловероятно" и "невозможно", модель выдавала такую же амбивалентность (50 на 50).

Это натолкнуло ученых на мысль, что ИИ захватывает тонкие нюансы человеческого восприятия.

Когда просыпается "понимание" у ИИ?

Ученые установили четкую закономерность: способность различать физические ограничения мира начинает появляться у ИИ-моделей, имеющих более 2 миллиардов параметров. Это сравнительно небольшой показатель, учитывая, что наиболее топовые ИИ-модели уже обладают триллионами параметров.

По мнению авторов исследования, такие эксперименты помогут создавать более "умные" и надежные системы. Понимая, как именно ИИ структурирует знания о мире, разработчики смогут сделать его ответы более предсказуемыми и безопасными для пользователей.

Официальная презентация работы состоялась 25 апреля на Международной конференции по представлению знаний.