Фальшивые открытия ученых: как ИИ-алгоритмы тайно придумывают несуществующие данные

Алгоритмы все чаще используются для моделирования клеток, проектирования белков и достройки пробелов в сложных анализах.

Однако системы ИИ подвержены "галлюцинациям" - они создают убедительные, но совершенно вымышленные структуры или выводы.

Об этой угрозе предупредил вычислительный биолог Тома Бюргер из Университета Гренобль Альп.

Почему ошибки ИИ становятся опасными?

Ученый объясняет: когда искусственный интеллект только ищет нужные молекулы среди тысяч вариантов, риск невелик. Если алгоритм ошибется, ученые просто тратят время на проверку в реальной лаборатории, где неэффективное вещество сразу отсеют.

Проблема становится критической, когда искусственно сгенерированные данные начинают заменять подлинные лабораторные измерения.

Как именно?

Скрытое извращение: при обработке больших массивов информации ИИ может незаметно изменить или усилить слабый сигнал. Ученым крайне сложно заметить такой подлог в финальных отчетах.

Иллюзия открытия: алгоритм добавляет к результатам вымышленные детали, а ученые начинают верить, что нашли новый способ лечения.

Потеря реального лекарства: модель может внести столько лишнего "шума" в результаты, что исследователи просто не заметят действительно действенное вещество.

Сбои AlphaFold 3

С этими рисками ученые уже сталкиваются на практике. К примеру, разработчики популярной системы AlphaFold 3 в журнале Nature признали, что их алгоритм иногда придумывает несуществующие формы белков.

В то же время, ученые отмечают, что ошибка ИИ теоретически может отправить подсказку и случайно натолкнуть на реальное открытие.

Со всем тем, что любая идея или формула от искусственного интеллекта остается лишь догадкой, пока ее не проверят на реальном опыте в лаборатории.