Unsloth、Mistral Large 4を1-bitで233GB化　1兆パラメータをMacで動かす条件

Unslothは日本時間10月29日、1兆パラメータのMistral Large 4（Le Chonk）を、同社製の1-bit GGUFでMac Studio上にローカル実行できると報告した。目を引くのは「1兆」と「Mac」だが、実際の判断材料は233GBまで小さくした重みを256GB級のメモリへどう収めるかにある。容量、元モデルへの忠実度、扱える文脈長の交換条件をセットで見たい。

公式重みと1-bit GGUFは別物

Mistralの発表によると、今回の重みは公開プレビュー後に3週間の追加強化学習を施した改良版で、推論モードはlow・medium・highの3段階になった。公式配布はFP8とBlackwell向けNVFP4であり、話題の1-bit GGUFはUnslothが別途量子化した成果物だ。Hugging Faceの紹介とUnslothの配布ページを見比べても、公式の精度形式とGGUFを同じものとして扱うことはできない。

Unslothの実行ガイドでは、最小のUD-IQ1_Sが233GB。元モデルと同じ次トークンを選ぶtop-1一致率は90.6%、7カテゴリー平均KLDは0.1263とされる。X投稿の「91%」はこの一致率を丸めた値で、問題の正答率が91%という意味ではない。容量を増やすと、UD-Q2_K_XLは378GBで一致率95.6%、Q8は1,115GBになる。233GB版は単なる小型化ではなく、1兆パラメータ級を一台へ収めるため忠実度を大きく交換した選択肢だ。

256GBに入っても、余白はほとんどない

UD-IQ1_Sの実行目安は総メモリ256〜270GBで、256GB級のMac Studioが入口になる。必要なのはUnsloth DesktopかMistral Large 4対応版のllama.cppで、macOSではMetalが標準で有効になる。ただし、233GBのファイルと256GBの差は23GBしかない。そこへOS、ランタイムのバッファ、会話履歴を保持するKVキャッシュも収める必要がある。

モデル自体の最大仕様は約100万トークンだが、Unslothの実行例はKVキャッシュを抑えるため32Kに設定し、メモリ不足なら文脈を短くするよう案内している。つまり「ロードできる」と「長い文書を余裕をもって扱える」は別だ。投稿にあるMac Studioのチップやメモリ構成、生成速度、安定して使える最大文脈は公開資料から特定できず、本稿でも実機性能は検証していない。

ローカル化の価値は、何を残すかで決まる

Mistralの重みは、修正版MITにあたるMistral Ecosystem Open-Weight Licenseで利用・改変・商用化できる。ただしModel-as-a-Service事業での商用利用には別契約が必要だ。大容量メモリをすでに持ち、データを手元に置くことを優先するなら、1兆パラメータ級をローカルで扱う具体的な入口が増えた。一方、品質や長い文脈を優先するなら、より大きい量子化や別の実行環境も比較対象になる。「Macで動く」は到達点というより、どの忠実度と余白を選ぶかを考え始める数字だ。

参考資料

• Mistral Large 4 (Le Chonk) is now open weight（Mistral AI）
• Mistral Large 4 (Le Chonk): Run Locally（Unsloth）
• unsloth/Mistral-Large-4-1T-A52B-GGUF（Hugging Face）
• Welcome Le Chonk: Mistral Large 4 on Hugging Face（Hugging Face）

参照したX投稿

Unsloth（@unslothai）の元投稿