Beatingによると、Nvidiaは6月4日にフラッグシップの大型言語モデルであるNemotron 3 Ultraをリリースし、合計5500億（550 billion）のパラメータとアクティブパラメータ550億（55 billion）を搭載している。このモデルはArtificial Analysisの知能指数で48を獲得しており、最も強力なパフォーマンスを持つオープンソースの米国モデルで、54ポイントのKimi K2.6に次ぐ2番目だ。
このモデルは、Mamba-2の状態空間層とTransformerの注意（attention）層を交互に切り替えるハイブリッドなMamba-Transformer MoEアーキテクチャを採用している。二次的なKVキャッシュの増加を回避しつつ、1 millionトークンのコンテキストウィンドウをサポートする。同規模の密なモデルと比べて、ハイブリッドアーキテクチャはエージェントタスクでスループットが5倍高く、推論コストは30%低い。Nemotron 3 UltraはHugging Face、NVIDIA NIM、OpenRouterで利用可能だ。
