ИИ-агенты станут дешевле: NVIDIA создала модель с 30 миллиардами параметров
NVIDIA представила быстрый ИИ Nemotron (фото: NVIDIA)
NVIDIA планирует сделать ИИ-агентов дешевле. Новая открытая модель Nemotron 3.5 Lightning рассчитана на быстрое выполнение задач без излишних затрат вычислительных ресурсов.
Об этом информирует РБК-Украина со ссылкой на пресс-службу NVIDIA.
Архитектура и производительность
Модель имеет 30 миллиардов параметров, однако благодаря архитектуре Mixture-of-Experts активирует всего 3 миллиарда для каждого токена.
Это позволяет добиться мощности большой системы при затратах ресурсов, характерных для значительно меньших моделей.
Основные показатели и возможности новинки:
- Скорость генерации в 4 раза выше по сравнению с аналогами такого же размера,
- Точность достигает 86 процентов на тесте PinchBench,
- Скорость выполнения 10000 заданий на 30 процентов выше показателей Qwen3.6 35B,
- Поддержка технологии speculative decoding для ускоренной проверки, токенов,
- Специальный формат квантования NVFP4 для быстрой работы на чипах Blackwell, Hopper и Ampere.
Полезные фишки
В современной разработке все чаще применяют систему из нескольких моделей. Большие нейросети, такие как Nemotron 3 Ultra, отвечают за планирование и сложные решения.
В то же время Nemotron 3.5 Lightning берет на себя повторяющиеся операции - проверку результатов, выполнение команд и форматирование данных.
Для автоматического перенаправления задач NVIDIA выпустила библиотеку NeMo Switchyard. Она анализирует сложность запроса и отправляет простые инструкции по меньшей нейросети.
Разработчики отмечают, что это существенно экономит вычислительные ресурсы.
Обучение, настройка и экосистема
Новая модель оптимизирована под популярные среды OpenClaw и Hermes Agent и поддерживает стек безопасности NVIDIA NemoClaw.
Она подвергается более быстрому и дешевому доставлению с помощью инструментов NeMo Automodel или NeMo Megatron Bridge.
В комплекте также поставляется открытый датасет Nemotron-RL Agentic Terminal Pivot для подготовки ИИ-кодеров.
Устройство можно запускать локально на платформах DGX Spark, Jetson, а также на ПК с видеокартами GeForce RTX 5090. Код, весовые коэффициенты и датасеты открыты по лицензии OpenMDW-1.1.
