Qwen3.8-Flash-NextをM2 Ultraで計測、prefill約654 tps・decode約27 tps

金のニワトリ氏（@gosrum）が、Qwen3.8-Flash-Next（UD-IQ1-S）をMac Studio（M2 Ultra）で動かしたllama-bench結果を共有した。prefillは約654 tps、decodeは約27 tps。入力処理は速い一方、コーディングエージェントとして使うには生成速度が少し厳しいかもしれない、という本人の見方だ。

同じ推論でも、二つの速度は役割が違う

今回示された条件と測定値はシンプルだ。

• 実行環境：Mac Studio（M2 Ultra）
• 対象：Qwen3.8-Flash-Next（UD-IQ1-S）
• ベンチマーク：llama-bench
• prefill：約654 tps
• decode：約27 tps

tpsは1秒あたりに処理するトークン数。prefillは与えた入力をまとめて処理する段階、decodeは回答を順に生成する段階を指す。数字を一つにまとめず分けて見ると、「読み込みは軽快でも、返答が伸びる場面では待ち時間が残る」という投稿者の感触がつかみやすい。

128GBで動く可能性と、使い心地は別

同氏は前段の投稿で、unslothから1bit量子化GGUF（UD-IQ1_S）が公開され、これなら128GBでも動きそうだと見ていた。一方で、量子化による劣化への強い懸念も示している。今回わかったのは速度の一例であり、品質まで確認できたという話ではない。

また、M5 Ultraならどこまで速くなるのかにも関心を寄せているが、その測定結果はまだ示されていない。ローカルで載ること、十分な速さで回ること、用途に耐える品質であることは別々に確かめたいポイントだ。

参照したX投稿

金のニワトリ氏（@gosrum）の元投稿