Unsloth、DeepSeek V4.1-Flash-1017を約250GBに　88.2%と128GB実行の条件

Unslothは日本時間10月20日未明、DeepSeek-V4.1-Flash-1017をローカル実行するためのGGUF量子化版を案内した。目玉のUD-IQ1_Mは、元の約508GBから250.4GBへ縮小した1-bit版だ。ただし、読むべきポイントは「ほぼ半分」だけではない。投稿にある88.2%が何を測った数字なのか、そして128GB級の端末で本当に動かせるのかには、少し説明が要る。

88.2%はタスクの正答率ではない

UnslothのガイドとGGUF配布ページによると、88.2%はlong17kデータで、量子化版が元モデルと同じ次トークンをtop-1で選んだ割合だ。wiki1100では87.1%だった。つまり「コーディング問題の88.2%に正解した」という意味ではなく、圧縮後の出力傾向が元モデルにどれだけ近いかを見る指標である。

一方、DeepSeekは1017を従来版のマイナー更新と位置づけている。公式モデルカードと変更履歴では、自己評価のTerminal-Bench 4.0が31.2から42.3、DeepSWE v1.1が74.2から77.0へ上がったとしている。前者はClaude Code、後者はMini-SWE-V2を使った測定だ。これは提供者による評価であり、88.2%とは別物。量子化後の実タスク品質をこちらで検証した結果でもない。

128GB級では量子化版の選択が効く

ローカル実行では、モデル内のEngramテーブルをmmapでSSDから必要なときに読み込める。ただし全データをディスクに置く必要があり、Unslothの目安も1-bit版でRAM・VRAM合計または統合メモリ128〜145GB。さらに実行時バッファや長いコンテキストの分が上乗せされる。

ここが少しややこしい。詳細表では、250.4GBのUD-IQ1_MはEngram以外だけで最低139.8GBを要するため、物理メモリ128GBちょうどでの安定稼働は保証されていない。128GB級に近い候補は233.0GBのUD-IQ1_Sで、最低122.4GB。その代わりtop-1一致率はデータセットにより82.8〜85.1%へ下がる。ダウンロード容量、必要メモリ、元モデルへの近さの三つを見て選ぶ必要がある。

導入は対応ランタイム込みで考える

1017とEngramのオンデマンド読込に対応する実行環境も必要だ。10月20日に確認した手動手順は、Unslothが指定するllama.cppのPRを使う方法で、別案としてUnsloth Desktopも案内されている。また、DeepSeek公式の元チェックポイントにはJinja形式のチャットテンプレートが含まれず、公式はPythonの参照エンコーダーまたはdeepseek-recipeを案内する。推論エンジンやツール実行まで完成品として揃うわけではない。

今回の公開で、大型モデルを手元へ持ち込む選択肢は確かに広がった。ただ、128GBという数字は余裕のある推奨値ではなく、SSDオフロードと量子化バリアントを丁寧に選ぶ出発点、と捉えるのが現実的だ。

参考資料

• Unsloth：DeepSeek-V4.1-Flash ローカル実行ガイド
• Unsloth / Hugging Face：DeepSeek-V4.1-Flash-1017-GGUF
• DeepSeek / Hugging Face：DeepSeek-V4.1-Flash-1017
• DeepSeek API Docs：Change Log

参照したX投稿

Unsloth（@unslothai）の元投稿