Editor’s Note
XピックアップNVIDIA Nemotron 3.5 Bolt、74Bを24GBで動かす鍵はネイティブ2ビット
Unslothは日本時間10月16日、NVIDIAの「Nemotron 3.5 Bolt」と「Nemotron 3.5 Super VL」を紹介し、74BモデルのBoltが24GBのRAMで動くと投稿した。大きなモデルを手元で動かしたい人には魅力的な数字だ。ただし、ここでいう24GBは74Bモデル全般の要件ではない。内実は、Super VLから圧縮したBoltのネイティブ2ビット版である。
BoltはSuper VLをローカル向けに絞った派生モデル
Boltの公式モデルカードによると、BoltはSuper VL 120B-A12Bを74B・有効9Bへ圧縮したモデルだ。MoE、つまり推論時に一部のパラメータだけを使う構成で、最大コンテキストは256K。対するSuper VLは120B・有効12B、最大1Mで、長い仕事を続けるエージェントを重視している。
両モデルはテキストに加えて画像と動画を入力し、テキスト、JSON、ツール呼び出しを出力できる。文書理解、画面操作、動画要約などを想定した設計だ（NVIDIAの発表）。Boltはこの方向性を保ちつつ、容量と文脈長を削ってローカル運用へ寄せた選択肢と見ると分かりやすい。
「24GB」は量子化と短い文脈が前提
24GBという数字は、Boltのネイティブ2ビット版の設計目標であり、BF16版の必要量ではない。Unslothの実行ガイドでは、22GBのIQ2_XXSについて、短いコンテキストでの推定最小メモリを24〜32GB、余裕を持つ構成を32GB以上としている。標準のLiLiCorrドラフトモデルを併用すれば、さらに約1〜2GBが必要だ。
ここが実用上の核心になる。コンテキストを長くするほどKVキャッシュが増え、画像や動画ではビジョン処理にも追加メモリを使う。MoEで一度に動くのが9Bでも、74B分の重み自体は保存しなければならない。モデル名と「有効パラメータ数」だけを見て、手元のメモリへ収まるとは判断できない。
Super VLの「82GB」も固定仕様ではない
X投稿はSuper VLを82GB RAMとしているが、どの量子化版、コンテキスト長、構成での値かは示していない。10月16日に確認したUnslothのSuper VLガイドは、最小1ビット版に64GB、55.9〜57.8GBの2ビット版に80GB、79GBのNVFP4版に96GB、86.9GBの4ビット版に128GBを推奨しており、一律の82GBとは確認できなかった。完全精度のBF16版は別物で、公式例はH100を4基またはGB200を2基使う。
またBoltの最大コンテキストはNVIDIAカードで256K、Unslothのローカルガイドでは128Kと食い違い、理由は明記されていない。実際に選ぶときは「74B」より、量子化形式、使う文脈長、映像入力、投機デコード用モデルまで含めた総メモリを見るのが堅実だ。なお「トップ級性能」はUnslothによる評価表現で、どの指標を指すかは投稿から特定できない。私たちは実機での速度や品質を検証していない。
参考資料
- NVIDIA：Nemotron 3.5 Super VLの発表
- NVIDIA：Nemotron 3.5 Bolt 74B-A9B 24GB GGUF
- NVIDIA：Nemotron 3.5 Super VL 120B-A12B BF16
- Unsloth：Nemotron 3.5 Bolt ローカル実行ガイド
- Unsloth：Nemotron 3.5 Super VL ローカル実行ガイド
