Nativ、Mac上でオープンモデルを動かすローカル環境を振り返る

Prince Canuma氏はXで、Mac上でオープンモデルを動かす「Nativ」の紹介投稿を改めて共有し、「ここまで来た」と歩みを振り返った。クラウドの契約を増やさず、手元のマシンで生成から開発ツールとの接続まで完結させたい人には、分かりやすい方向性だ。

端末内で閉じることを機能にする

引用された紹介では、Nativはアカウント、サブスクリプション、クラウドを必要とせず、生成するすべてのトークンが利用者のMac上で処理されるとしている。基盤はmlx-vlmで、マルチモーダルに対応。コーディングエージェントからローカルのエンドポイントへ接続でき、トークン毎秒、メモリ、利用状況をライブ表示する機能も挙げられた。オープンソースで、ライセンスはMITだという。

ここが実用的だ。ローカルAIでは「動いた」だけでなく、速度とメモリ消費を見ながら、普段の開発フローへつなげられるかが大切になる。その二つを同じ環境で扱おうとしている。

「Apple Siliconで最速」は条件を見て判断

一方、Apple Silicon上で最速という表現はPrince Canuma氏の紹介文にある主張で、今回の投稿には比較対象、Macの構成、使ったモデル、測定値がない。対応モデルや必要なメモリ量も示されていないため、導入時は自分のMacと用途で確かめたい。

今回の投稿は正式な新機能発表ではなく、以前の紹介を振り返ったものだ。それでも、ローカル推論を「単体デモ」ではなく、観測と開発ツール接続まで含む日常の道具として見せている点は興味深い。

参照したX投稿

Prince Canuma氏（@prince_canuma）の元のX投稿