Не знає про комп'ютери, але пише код: як ШІ Talkie "застряг" у 1930 році

Цифрова капсула часу

Вибір 1930 року для обмеження знань мовної моделі не був випадковим. У США саме після 95 років твори переходять у суспільне надбання, тому всі використані тексти є юридично вільними.

Крім того, вченим було цікаво створити цифрового співрозмовника, чий світогляд залишається абсолютно чистим від будь-яких подій XX та XXI століть.

Основні характеристики моделі Talkie

Обсяг параметрів: 13 мільярдів

База даних: навчальний датасет еквівалентний приблизно 234 мільярдам сторінок текстів англійською мовою.

Джерела: для оцифрування друкованих видань минулого століття використовувалися спеціальні системи оптичного розпізнавання символів (OCR).

Головним викликом для авторів була загроза "забруднення" бази даних - якщо б у систему потрапила хоч якась інформація після 1930 року, чистота експерименту була б втрачена.

"Шок" від сучасного світу та "передбачення" історії

Дослідники перевірили реагування Talkie на 5 000 історичних подій, що відбулися після 1930 року.

Результати показали, що модель не змогла спрогнозувати жодної великої катастрофи чи глобальних конфліктів, зокрема Другу світову війну або прихід нацистів до влади.

Коли боту розповідали про сучасні технології, його реакція була сповнена щирого "здивування".

Як поводився бот?

Технологічний шок: Talkie ніколи не "уявляв" існування інтернету, смартфонів, телебачення чи космічної гонки.

Творчість: під час експерименту боту запропонували написати код мовою Python (створеною у 1991 році). Не знаючи навіть слова "комп'ютер", алгоритм зміг згенерувати схожий на правду код, використавши складні мовні аналогії.

Теорія відносності: в окремому тесті модель навчили до 1911 року й спробували перевірити, чи зможе вона самостійно вивести загальну теорію відносності, як це зробив Ейнштейн у 1915-му.

Зараз бот Talkie доступний для спілкування у мережі, де з ним можна подискутувати або спостерігати за його діалогами з Claude.

Візуальні "галюцинації" та користь для сучасності

Як і сучасні великі мовні моделі, Talkie схильний до так званих "галюцинацій" - він може вигадувати факти чи вигадувати нові історії про минуле, яких ніколи не існувало.

Попри це, "вінтажний" ШІ виявився корисним інструментом.

Що йому до снаги?

Юридична аналітика: бот допомагає зрозуміти, як саме сприймалися закони в момент їх написання, розкриваючи приховані контексти та відтінки старовинної юридичної мови.

Розуміння самосприйняття ШІ: спілкування з алгоритмом, який навіть не усвідомлює, що він є штучним інтелектом, дає вченим нові ключі до розуміння того, як мовні моделі формують уявлення про себе та будують поведінку на основі очікувань користувача.