Давня друкарська помилка інфікувала нейромережі: як це можливо

Примарний термін: від друкарської помилки 1950-х до Ірану

Усе почалося ще у 1950-х роках, коли оцифровували дві статті з журналу Bacteriological Reviews.

Через помилку під час автоматичного розпізнавання тексту слово "vegetative" з однієї колонки випадково з’єдналося зі словом "electron" із сусідньої - так у базах даних з’явився вигаданий термін, якого насправді не існує.

Десятиліттями фантом залишався непоміченим, поки у 2017 та 2019 роках не виринув у англомовних анотаціях іранських наукових публікацій.

Причиною стала помилка перекладу: у перській мові (фарсі) слова "вегетативний" та "скануючий" відрізняються лише одним діакритичним знаком. Дрібна помилка запустила фразеологізм у міжнародний науковий обіг.

"Інфікування" ШІ-моделей

За даними Google Scholar, безглуздий термін опинився щонайменше у 22 наукових публікаціях.

Науковці вирішили перевірити, чи засвоїли цей баг мовні моделі.

Так, при тестуванні з фрагментами оригінальних статей GPT-3 автоматично доповнювала речення фразою "vegetative electron microscopy", тоді як старіші системи на кшталт GPT-2 чи BERT подібної схильності не мали.

Свою стійкість аномалія демонструє й у новіших версіях - GPT-4o та Claude 3.5 від Anthropic.

Головним джерелом "інфікування" став масивний відкритий архів веб-даних Common Crawl, на якому навчають більшість сучасних нейромереж.

Чому "цифрові скам'янілості" небезпечні для науки?

Випадок показує, наскільки вразливими є ШІ-алгоритми до систематичних помилок минулого.

Автоматичні інструменти перевірки тексту тепер маркують фразу "vegetative electron microscopy" як маркер згенерованого ШІ-контенту.

З усім тим, подібні системи здатні фіксувати лише ті помилки, які вже виявлені людиною.

Для збереження чистоти наукових доробків фахівці закликають розробників ШІ відкрити навчальні датасети, а наукові видавництва - посилити рецензування, щоб запобігти самовідтворенню та укоріненню фейкових даних у цифровому просторі.