ШІ-агенти стануть дешевшими: NVIDIA створила модель на 30 мільярдів параметрів
NVIDIA презентувала швидкий ШІ Nemotron (фото: NVIDIA)
NVIDIA планує зробити ШІ-агентів дешевшими. Нова відкрита модель Nemotron 3.5 Lightning розрахована на швидке виконання завдань без зайвих витрат обчислювальних ресурсів.
Про це інформує РБК-Україна з посиланням на пресслужбу NVIDIA.
Архітектура та продуктивність
Модель має 30 мільярдів параметрів, проте завдяки архітектурі Mixture-of-Experts активує лише 3 мільярди для кожного токена.
Це дозволяє досягти потужності великої системи при витратах ресурсів, характерних для значно менших моделей.
Основні показники та можливості новинки:
- Швидкість генерації у 4 рази вища порівняно з аналогами такого ж розміру,
- Точність досягає 86 відсотків на тесті PinchBench,
- Швидкість виконання 10000 завдань на 30 відсотків вища за показники Qwen3.6 35B,
- Підтримка технології speculative decoding для прискореної перевірки токенів,
- Спеціальний формат квантування NVFP4 для швидкої роботи на чіпах Blackwell, Hopper та Ampere.
Корисні фішки
У сучасній розробці все частіше застосовують систему з кількох моделей. Великі нейромережі, такі як Nemotron 3 Ultra, відповідають за планування та складні рішення.
У той же час Nemotron 3.5 Lightning бере на себе повторювані операції - перевірку результатів, виконання команд та форматування даних.
Для автоматичного перенаправлення завдань NVIDIA випустила бібліотеку NeMo Switchyard. Вона аналізує складність запиту та відправляє прості інструкції меншій нейромережі.
Розробники зазначають, що це суттєво економить обчислювальні ресурси.
Навчання, налаштування та екосистема
Нова модель оптимізована під популярні середовища OpenClaw та Hermes Agent і підтримує безпековий стек NVIDIA NemoClaw.
Вона піддається швидшому та дешевшому доначанню за допомогою інструментів NeMo Automodel або NeMo Megatron Bridge.
У комплекті також постачається відкритий датасет Nemotron-RL Agentic Terminal Pivot для підготовки ШІ-кодерів.
Пристрій можна запускати локально на платформах DGX Spark, Jetson, а також на ПК з відеокартами GeForce RTX 5090. Код, вагові коефіцієнти та датасети відкриті за ліцензією OpenMDW-1.1.
