Google показал ИИ, который создает виртуальные миры с управлением в реальном времени: как это работает

Что такое "мировые модели"?

Это особый тип ИИ, который создает симулированные пространства - для обучения, развлечений или тренировок других ИИ, например, роботов. Ранее такие виртуальные миры разрабатывались вручную с использованием 3D-графики, но теперь все генерируется нейросетью по простому текстовому описанию.

В чем отличие Genie 3 от предыдущей версии?

Предыдущая версия Genie 2 могла поддерживать интерактивность лишь в течение 10-20 секунд. В новой модели этот показатель увеличился до нескольких минут.

Более того, у Genie 3 появилась визуальная память на уровне одной минуты. Это означает, что если пользователь отвернется от объекта, а затем вернется к нему, - надписи, цвета или предметы останутся на тех же местах. Разрешение сгенерированного мира - 720p при частоте 24 кадра в секунду.

Интерактивность на новом уровне

Genie 3 также поддерживает так называемые "программируемые события". Пользователь может изменять параметры мира в реальном времени - например, вызвать дождь, добавить персонажей или сменить атмосферу, используя текстовые подсказки (промпты).

Контекст

Google активно развивает направление генеративных миров. В декабре компания показала Genie 2, которая умела создавать игровые сцены на основе одного изображения. Команду, работающую над этим проектом, возглавляет бывший соразработчик Sora - инструмента для генерации видео от OpenAI.