30 мільярдів параметрів на звичайному ноутбуці: Meta показала нову ШІ-модель
Meta створила модель, яка може запускати автономних ШІ-агентів прямо на звичайному ноутбуці. Muse Glimmer має 30 мільярдів параметрів, працює локально без постійного інтернету та вже доступна розробникам.
Про це інформує РБК-Україна з посиланням на Meta.
Архітектура Muse Glimmer
Розробники хотіли зробити модель достатньо потужною для роботи ШІ-агентів, але водночас не вимагати від комп'ютера значного обсягу пам'яті.
Для цього було застосовано дистиляцію знань флагманської моделі-вчителя Muse Spark.
Процес тренування складався з трьох основних фаз:
Pre-Training - початкове навчання на вихідних даних Muse Spark із застосуванням дистиляції логітів.
Mid-Training - тренування на спеціалізованих датасетах із довгим контекстом та складними ланцюжками міркувань.
Post-Training - комбінація fine-tuning та навчання з підкріпленням у сферах кодингу, логіки та роботи з інструментами.
Ключові можливості та робота з ШІ-агентами
Модель розроблена для виконання тривалих сценаріїв, де агент має виступати персональним помічником:
- керувати розкладом,
- писати код,
- обробляти файли,
- аналізувати дані.
Основні переваги Muse Glimmer:
Автономна робота з інструментами - точний виклик функцій (function calling) за чіткими схемами протягом багатокрокових робочих процесів.
Відновлення після помилок - у разі збою виклику інструмента модель не зупиняє роботу, а діагностує проблему та робить повторну спробу.
Мультимодальність - завдяки окремому модулю сприйняття модель аналізує одночасно текст і зображення (скріншоти, графіки, документи).
Багатомовність - ШІ підтримує понад 100 мов світу.
Сумісність із фреймворками - підтримка OpenClaw та інших популярних оркестраторів агентів.
Оптимізація під персональне залізо
Щоб модель на 30 мільярдів параметрів, яка у повній точності вимагає понад 55 ГБ відеопам'яті, могла працювати на споживчих пристроях, розробники застосували дві ключові технології:
Квантування до 4-біт (K-Quant) - розмір мовної моделі зменшено до менше ніж 20 ГБ. Це дозволяє запускати її у межах 24 ГБ або 32 ГБ оперативної або ж відеопам'яті разом із KV-кешем та іншими модулями.
Спекулятивне декодування через DFlash - використання допоміжної компактної мережі-драфтера, яка пропонує блоки токенів одразу. Це суттєво прискорює генерацію тексту на пристроях на кшталт Mac (M4/M5 Max) чи відеокартах RTX 5090.
Розробники повідомили, що найближчим часом підтримка Muse Glimmer з'явиться в інструментах Ollama, LM Studio, Unsloth, а також у рушіях Llama.cpp, ExecuTorch, MLX, vLLM та SGLang.