Нещодавно дослідники презентували один із нових законів "масштабування", який, за їхніми словами, здатен значно покращити ШІ. Однак, попри гучні заяви, експерти скептично налаштовані щодо реальної ефективності цього підходу.
У чому полягає метод і чому багато фахівців залишаються в роздумах, розповідає РБК-Україна (проект Styler) з посиланням на сайт новин у сфері технологій TechCrunch.
Закони масштабування ШІ - це неформальне поняття, що описує, як покращується продуктивність моделей ШІ в міру збільшення розмірів навчальних наборів даних і обчислювальних потужностей.
До минулого року домінуючим підходом було масштабування переднавчання - створення розширених моделей, які навчаються на дедалі більших обсягах даних. Цей принцип застосовували більшість провідних лабораторій у сфері ШІ.
Хоча переднавчання, як і раніше, актуальне, з'явилися два додаткові закони масштабування:
Нещодавно дослідники з Google і Каліфорнійського університету в Берклі запропонували те, що деякі коментатори назвали четвертим законом - пошук на етапі виконання (inference-time search).
Цей метод дає змогу моделі генерувати одразу безліч можливих відповідей на запит і потім обирати серед них найкращу.
Дослідники стверджують, що такий підхід може підвищити продуктивність навіть застарілих моделей. Наприклад, Google Gemini 1.5 Pro нібито перевершив модель OpenAI o1-preview у тестах з математики та природничих наук.
"Просто вибравши випадкові 200 відповідей і перевіривши їх самостійно, Gemini 1.5 - стародавня за мірками ШІ-модель початку 2024 року - обходить o1-preview і наближається до o1", - написав у X (Twitter) один з авторів дослідження, докторський стипендіат Google Ерік Чжао.
Він також зазначив, що "самоперевірка" стає простішою при збільшенні масштабів. Інтуїтивно здається, що чим більше рішень розглядає модель, тим складніше вибрати правильне, але на практиці все навпаки.
Незважаючи на такі заяви, низка дослідників вважають, що метод пошуку на етапі виконання не універсальний і здебільшого марний.
За словами Меттью Гуздіала, дослідника ШІ та доцента Університету Альберти, цей метод ефективний лише тоді, коли можна чітко визначити, яка відповідь є найкращою.
"Якщо ми не можемо запрограмувати чіткі критерії правильної відповіді, то пошук на етапі виконання марний. Для звичайної взаємодії з мовною моделлю це не працює. Це не найвдаліший підхід для вирішення більшості завдань", - зазначив він.
З ним згоден Майк Кук, науковий співробітник Королівського коледжу Лондона. Він підкреслив, що цей метод не покращує процес логічного висновку в моделі, а лише допомагає обходити її обмеження.
"Пошук на етапі виконання не робить модель "розумнішою". Це всього лише спосіб обійти недоліки технологій, які можуть робити помилки, але робити це з повною впевненістю. Логічно, що якщо модель помиляється в 5% випадків, то, перевіривши 200 спроб рішення, ми швидше помітимо помилки", - сказав Кук.
Обмеження методу пошуку на етапі виконання навряд чи потішать AI-індустрію, яка прагне поліпшити логічні здібності моделей за мінімальних витрат обчислювальних потужностей.
Як зазначають дослідники, сучасні моделі, орієнтовані на "логічне мислення", можуть витрачати тисячі доларів обчислювальних ресурсів на розв'язання однієї математичної задачі.
Поки що пошук нових методів масштабування триває.
Вас може зацікавити: