金のニワトリ氏、Qwen3.8-Flash-Nextの1bit版で思考ループを報告

金のニワトリ氏（@gosrum）は、Qwen3.8-Flash-Nextの1bit量子化版を試したところ、思考の途中でループに入ったとXで報告した。1bitでは厳しそうだという本人の感触を示し、次は4bit量子化を試すとしている。ローカルで動く速さが見えても、目的の答えまで進めるかは別に確かめる必要がある。その違いがよく分かる試行だ。

ベンチの速さに、挙動の確認が加わった

同氏が引用した自身の前投稿では、次の条件とllama-bench結果が共有されていた。

• 対象：Qwen3.8-Flash-Next（UD-IQ1-S）
• 実行環境：Mac Studio（M2 Ultra）
• prefill：約654 tps
• decode：約27 tps

同氏はこの結果を「まあまあ速い」としつつ、コーディングエージェントとして使うには生成速度が少し厳しいかもしれないと見ていた。今回の続報で加わったのは、実際に試すと思考がループしたという観察だ。速度の測定値と、タスクを完了できるかという挙動は、分けて見たほうがよい。

次は4bit、比較結果はこれから

4bit量子化はこれから試す段階で、ループが解消するか、速度がどう変わるかはまだ示されていない。M5 Ultraでどれだけ速くなるかへの関心も前投稿で触れられたが、その測定結果も未提示だ。現時点では1bit版の一つの試行報告として受け止め、次の検証では速度と挙動の両方を見たい。

参照したX投稿

金のニワトリ氏（@gosrum）の元投稿