Editor’s Note
XピックアップMeta Muse Spark Openを256GB級の単一端末へ Unslothが2ビットGGUFを公開
Metaは10月15日、Muse Spark Openの重みを公開した。816B（8160億）総パラメータのうち、処理ごとに42Bが働く疎なMoEモデルで、推論コンテキストは1,048,576トークン。Unslothは同日、2ビット量子化したGGUFを案内し、巨大モデルを256GB級の単一端末で動かす道筋を示した。ローカルAIの話として大きいのは、モデルの規模そのものより、必要な機材の現実味が一段変わったことだ。
「42B active」でも816B全体を読み込む
42Bだけが動くなら小さく見えるが、サービング時には816B全体の重みをメモリへ載せる。Metaの資料では、BF16重みは約1.65TBで、実行時の余裕を含めると約2TBのVRAMが目安。NVFP4でも約537GBある。Metaが示す非量子化のローカル構成は、M5 Ultra搭載Mac Studio 2台を前提としている。
これに対し、Unslothのローカル実行ガイドにある最小のUD-IQ2_XXSは約226GB。RAM、VRAM、統合メモリを合わせて256GBあれば収まり、Unsloth Desktopまたはllama.cppで実行できるとしている。なお「2ビット」は量子化幅で、手法の世代名はDynamic 3.0だ。UnslothはDynamic 2.0からの更新と説明している。
収まることと、用途に足りることは別
最小ファイルが常に最良の選択ではない。Unslothは、一般用途やエージェント用途ではUD-IQ2_S未満で品質劣化が見られるとして、同用途の最低候補にUD-IQ2_Sを推奨している。UD-IQ2_XXSが256GBへ収まることは実用的な入口だが、エージェントとしての品質まで同等だと示されたわけではない。単一の256GB Mac Studioでの生成速度や、長いコンテキスト、画像・動画・音声入力時の実メモリ消費も、公開資料からは確定できない。今回は編集部での実機検証ではなく、Unslothの公開条件に基づく整理だ。
もう一つ、マルチモーダル対応はテキスト、画像、動画、音声を入力できるという意味で、出力はテキストのみ。モデルカードによれば、従来のMuse Sparkに追加の安全性ポストトレーニングを施したオープンウェイト版だが、利用条件はMuse Model Licenseで、製品・サービスでは「Built with Muse Spark Open」の表示などが求められる。ダウンロードできることと、無条件のオープンソースであることも分けて見たい。
