匿名モデルOx Alphaの正体はGLM-5.3-Flash　ローカル実行も進む

匿名モデル「Ox Alpha」の正体はGLM-5.3-Flashで、すでにローカル実行の試みが進んでいるとATPが紹介した。OpenRouterで約1週間、匿名のまま利用上位になったというモデルが、手元の高性能マシンでも扱える形になりつつある。大規模モデルの「公開」が、重みを入手できるだけでなく、実際に置けるサイズまで近づいてきたニュースだ。

320Bのうち、動くのは18B

ATPの説明では、GLM-5.3-Flashは総パラメータ数320B、1トークンあたり18Bが動くMoE（処理ごとに一部だけを使う構成）で、コンテキスト窓は100万トークン。重みはMITライセンスで公開されている。

ローカル実行では、Unslothが128GB RAMで動く3ビット版のGGUF量子化を公開。Daniel Han氏は、4ビット版が精度の93％を保ち、256GBのMacまたは2台のDGX Sparkに収まると説明しているという。さらに、BF16で598.5GiBの重みをQ2_Kで108.7GiBまで縮めた報告も紹介されている。

数字より先に、実行条件をそろえたい

DeepSWE v1.1のスコアはGLM-5.2の46.2に対して63.4とされる。一方、ローカル速度の報告は約34〜800トークン毎秒と幅が大きい。量子化方式、ハードウェア、測定条件が違えば、そのまま横並びにはできない。自分の環境で選ぶなら、精度の保持率と必要メモリ、速度を同じ設定で確かめるのが現実的だ。

なお、Flash版の重みはすでに公開済みとされ、8月28日にHugging Faceで公開予定なのはフル版GLM-5.3だ。名前が近いだけに、ここは分けて追いたい。

参照したX投稿

ATP（@atpinsights）の元投稿