ШІ вміє мислити: вчені виявили в алгоритмах вбудоване сприйняття реальності

Експеримент: від норми до абсурду

Щоб перевірити, чи розуміє ШІ різницю між реальністю та фантазією, вчені розробили систему тестів із фразами різного ступеня правдоподібності:

• Буденні: "Хтось охолодив напій льодом".
• Малоймовірні: "Хтось охолодив напій снігом".
• Неможливі: "Хтось охолодив напій вогнем".
• Безглузді: "Хтось охолодив напій учорашнім днем".

За допомогою нового методу "механістичної інтерпретованості" - який науковці називають нейробіологією для ШІ - вони проаналізували математичні стани всередині моделей Llama 3.2, Gemma 2 та GPT-2 під час обробки цих речень.

У ШІ є "здоровий глузд"?

Дослідження показало, що всередині моделей формуються чіткі математичні закономірності (вектори), які відповідають категоріям реальності. ШІ здатний відрізнити малоймовірну подію від неможливої з точністю близько 85%.

Найцікавішим виявилося те, що ШІ віддзеркалює людську невпевненість. Наприклад, у ситуації з фразою "Хтось помив підлогу капелюхом", де люди часто вагаються між "малоймовірно" та "неможливо", модель видавала таку ж амбівалентність (50 на 50).

Це наштовхнуло вчених на думку, що ШІ захоплює тонкі нюанси людського сприйняття.

Коли прокидається "розуміння" у ШІ?

Вчені встановили чітку закономірність: здатність розрізняти фізичні обмеження світу починає з'являтися у ШІ-моделей, що мають понад 2 мільярди параметрів. Це порівняно невеликий показник, враховуючи, що найбільш топові ШІ-моделі вже володіють трильйонами параметрів.

На думку авторів дослідження, такі експерименти допоможуть створювати "розумніші" та надійніші системи. Розуміючи, як саме ШІ структурує знання про світ, розробники зможуть зробити його відповіді передбачуванішими та безпечнішими для користувачів.

Офіційна презентація роботи відбулася 25 квітня на Міжнародній конференції з представлення знань.