30 миллиардов параметров на обычном ноутбуке: Meta показала новую ИИ-модель
Meta создала модель, которая может запускать автономных ИИ-агентов прямо на обычном ноутбуке. Muse Glimmer имеет 30 миллиардов параметров, работает локально без постоянного интернета и уже доступна разработчикам.
Об этом информирует РБК-Украина со ссылкой на Meta.
Архитектура Muse Glimmer
Разработчики хотели сделать модель достаточно мощной для работы ИИ-агентов, но при этом не требовать от компьютера большого объема памяти.
Для этого была применена дистилляция знаний флагманской модели-учителя Muse Spark.
Процесс тренировки состоял из трех основных фаз:
Pre-Training - начальное обучение на исходных данных Muse Spark с применением дистилляции логитов.
Mid-Training - тренировка на специализированных датасетах с длинным контекстом и сложными цепочками рассуждений.
Post-Training - комбинация fine-tuning и обучение с подкреплением в сферах кодинга, логики и работы с инструментами.
Ключевые возможности и работа с ИИ-агентами
Модель разработана для выполнения длительных сценариев, где агент должен выступать персональным помощником:
- управлять расписанием,
- писать код,
- обрабатывать файлы,
- анализировать данные.
Основные преимущества Muse Glimmer:
Автономная работа с инструментами - точный вызов функций (function calling) по четким схемам в течение многошаговых рабочих процессов.
Восстановление после ошибок - при сбое вызова инструмента модель не останавливает работу, а диагностирует проблему и делает повторную попытку.
Мультимодальность - благодаря отдельному модулю восприятия модель анализирует одновременно текст и изображение (скриншоты, графики, документы).
Многоязычие - ИИ поддерживает более 100 языков мира.
Совместимость с фреймворками - поддержка OpenClaw и других популярных оркестраторов агентов.
Оптимизация под персональное железо
Чтобы модель на 30 миллиардов параметров, в полной точности требующая более 55 ГБ видеопамяти, могла работать на потребительских устройствах, разработчики применили две ключевые технологии:
Квантование до 4-бит (K-Quant) - размер речевой модели уменьшен до менее 20 ГБ. Это позволяет запускать ее в пределах 24 ГБ или 32 ГБ оперативной или видеопамяти вместе с KV-кэшем и другими модулями.
Спекулятивное декодирование через DFlash - использование вспомогательной компактной сети-драфтера, которая предлагает блоки токенов сразу. Это существенно ускоряет генерацию текста на устройствах типа Mac (M4/M5 Max) или видеокартах RTX 5090.
Разработчики сообщили, что в ближайшее время поддержка Muse Glimmer появится в инструментах Ollama, LM Studio, Unsloth, а также в движках Llama.cpp, ExecuTorch, MLX, vLLM и SGLang.