Дослідники Apple представили оновлену версію моделі UniGen - UniGen-1.5, здатну одночасно розуміти, генерувати і редагувати зображення в рамках єдиної системи.
Про це повідомляє РБК-Україна з посиланням на профільний ресурс 9to5Mac.
У травні минулого року команда Apple опублікувала дослідження під назвою UniGen: Enhanced Training & Test-Time Strategies for Unified Multimodal Understanding and Generation. У ньому вперше було представлено єдину мультимодальну велику мовну модель, яка об'єднує розуміння і генерацію зображень, не розділяючи ці завдання на окремі системи.
Тепер Apple опублікувала продовження дослідження - статтю про UniGen-1.5.
UniGen-1.5 розширює можливості оригінальної моделі, додаючи функції редагування зображень, зберігаючи при цьому єдину архітектуру для розуміння, генерації та редагування.
Створення такої універсальної системи - непросте завдання, оскільки розуміння і генерація зображень вимагають різних підходів. Проте, дослідники стверджують, що єдина модель може використовувати свої здібності до розуміння для поліпшення генерації.
Однією з ключових проблем редагування зображень є те, що моделі часто складно коректно інтерпретувати складні інструкції, особливо якщо зміни тонкі або специфічні.
Для вирішення цього завдання в UniGen-1.5 введено новий етап - Edit Instruction Alignment: дослідники навчають модель формувати докладний текстовий опис того, яким має бути відредаговане зображення. Цей проміжний крок допомагає моделі краще "зрозуміти" завдання до генерації фінального результату.
Ключовим внеском UniGen-1.5 стало використання однієї й тієї самої системи нагород для генерації та редагування зображень. Раніше це було проблемою, оскільки редагування може включати як невеликі зміни, так і повні трансформації.
Однак дослідники зазначають, що UniGen-1.5 поки що зазнає труднощів із генерацією тексту і підтриманням ідентичності об'єктів:
Дослідники підкреслюють, що модель потребує подальшого доопрацювання для усунення цих обмежень.
У нас також є матеріал про те, що Apple розробляє одразу 8 нових iPhone, і вже відомі дата виходу та деякі особливості майбутніх смартфонів.
А ще ми писали про нові гаджети і функції iOS 26, які Apple планує представити найближчим часом.
Також нагадаємо, що компанія готує ювілейний iPhone з цими 6 функціями, які можуть з'явитися в новому пристрої.