ИИ может начать совершенствовать сам себя: почему Anthropic боится потерять контроль
ИИ может научиться самостоятельно создавать и совершенствовать свои последующие поколения раньше, чем ожидали эксперты. Anthropic уже предупреждает о перспективе тех, кто финансирует передовые разработки.
Об этом сообщает РБК-Украина с ссылкой на отчет Anthropic для инвесторов.
Что такое рекурсивное самосовершенствование и почему пугает экспертов?
Рекурсивное самосовершенствование (RSI) наступает тогда, когда искусственный интеллект становится настолько совершенным в тренировке подобных систем, что процесс развития технологий начинает двигаться с небывалым ускорением.
Критики и поклонники смотрят полярно на этот процесс. Так, пессимисты считают RSI критическим пределом, после которого алгоритмы выйдут из-под контроля людей и начнут развиваться независимо.
Оптимисты же видят в этом инструмент небывалой производительности научных открытий и инженерных прорывов.
В данной документации разработчики отметили, что использование ИИ для ускорения собственных исследований может привести к ситуации, когда эволюция возможностей моделей значительно опередит способность инженеров внедрять средства безопасности и выравнивания (alignment).
Читайте больше: Фейковые ChatGPT и Claude заражают ПК: как мошенники обходят защиту Windows
Текущий статус моделей и обязательства компании по контролю
Anthropic сообщила, что ранее фиксировала резкий рост производительности новых моделей только после того, как он уже произошел.
По внутренним оценкам компании она может приближаться к порогу рекурсивного самосовершенствования (RSI), определенному в ее политике ответственного масштабирования.
В то же время компания подчеркивает, что ни одна из текущих моделей еще не пересекла этот предел.
Руководство обещает "сохранять значимый контроль и непосредственное участие человека в процессе расследований и создания последующих поколений ИИ".
Как именно?
Полная автономия систем при проектировании новых архитектур пока не планируется.
Политика безопасности пересматривается. Цель - предотвращение потери контроля за развитием технологий.
В Anthropic акцентируют внимание: ИИ-модели стремительно прогрессируют в программировании, математике и кибербезопасности. На этом фоне вопрос, как контролировать их способность самостоятельно совершенствоваться, станет все острее.