FlintにApple Siliconの初日対応を表明　MLX INT4版は約22.6GB

Prince Canuma氏は日本時間10月22日未明、Recursive Superintelligence初のオープンソースモデルFlintについて、Nativとmlx-vlmを使ったApple Siliconの発売初日対応に連携したと投稿した。大きなモデルをMacへ持ち込む入口が、公開と同時に用意されたという話だ。ただし、これは同氏による対応表明であり、現在の公開資料から確認できる配布物と実行経路には境界がある。

40B級でも、毎回動くのは約2.5B

Recursiveの紹介とモデルカードによると、Flintはコードベース調査、バグ修正、機能実装、テスト作成を想定したテキスト入出力のMoE（複数の専門部分を切り替えて使う方式）だ。総パラメータは正確には39.8Bで、出力ヘッドを含め約2.5Bだけがトークンごとに有効になる。Apache 2.0で重みが公開されている。

Recursiveは35B・3B有効のベースラインから構成を探索し、速度とコーディング性能の組み合わせに関する社内予測を基に、40B・2.5B有効を選んだと説明する。小型のdenseモデルではなく、全重みを保持しながら計算に使う部分を絞る設計だ。ここは「2.5Bのモデル」とだけ見ると実態を取り違える。

約80GBから約22.6GBへ

配布物は同じものではない。基盤のBF16チェックポイントは約80GB。一方、Apple Silicon向けのMLX INT4版は、group-64 affine INT4とINT8埋め込みを使い、約22.6GBまで小さくなっている。

Nativは一般に、Hugging Faceのキャッシュにある互換モデルを検出し、内蔵のmlx-vlmサーバーからローカルAPIやチャットへつなぐ。もっとも、10月22日に確認した公開ページだけでは、Flint固有の対応リリース番号やmlx-vlm側の変更までは独立に確認できない。導入判断では、同氏の初日対応表明と、今すぐ取得できるINT4配布物を分けて見たい。

「完全ローカル」は推論時の話で、モデルのダウンロードと初回ビルド依存関係にはネット接続が要る。また、48GBの統合メモリという条件は、約26GBのQ4_1 GGUF版をllama.cpp／Metalで動かす別経路に記されたものだ。MLX／Nativにも同じ要件が確定しているとは言えない。

長い文脈と自動実行には確認点が残る

コンテキスト長は公式資料同士でも表現が違う。紹介記事は最大512k、推奨256k以内とする一方、モデルカードの構成は262,144トークン。利用するランタイムで512kがそのまま保証されるとは扱わないほうがよい。

モデルカードは、誤ったコードや不適切なツール呼び出しを生成し得るとも明記する。ローカルで動くことと、安全に任せられることは別だ。生成コードのテスト、重要変更のレビュー、ツール権限の制限は、量子化後も省けない。チェックポイント精度や推論ランタイムで挙動が変わる点も含め、実測条件が公開されるまでは速度や必要メモリを先回りして断定しないのが現実的だ。

参考資料

• Recursive Superintelligence：Introducing Flint
• RecursiveSI/flint（Hugging Face）
• RecursiveSI/flint-int4（Hugging Face）
• Blaizzy/nativ（GitHub）
• RecursiveSI/flint-int4-gguf（Hugging Face）

参照したX投稿

Prince Canuma氏（@prince_canuma）の元投稿