Nvidia відкриває Nemotron 3 Ultra — флагманську модель на 550 млрд параметрів із гібридною архітектурою Mamba-Transformer та MoE

Beating повідомляє, що 4 червня Nvidia випустила свій флагманський великий мовний модель Nemotron 3 Ultra. Вона має 550 мільярдів загальних параметрів і 55 мільярдів активних параметрів. Модель набирає 48 балів на індексі інтелекту Artificial Analysis, що робить її найсильнішою серед відкритих у США моделей, поступаючись лише Kimi K2.6, який має 54 бали.

Модель використовує гібридну архітектуру Mamba-Transformer MoE: вона чергує шари Mamba-2 state space зі шарами уваги Transformer, підтримуючи контекстне вікно на 1 мільйон токенів і водночас уникає квадратичного зростання KV cache. Порівняно з щільними моделями подібного масштабу, гібридна архітектура забезпечує в 5 разів вищу пропускну здатність і на 30% нижчі витрати на інференс під час агентних задач. Nemotron 3 Ultra доступна на Hugging Face, NVIDIA NIM і OpenRouter.