Prince Canuma氏、M5 Ultraを推奨　MTPで単一要求30〜40 tok/sと報告

Prince Canuma氏は9月10日未明（日本時間）、M3 Ultraを中古市場で今買うより、M5 Ultraの方が安くなるとの見方から後者を勧めた。同じ投稿では、MTPにより単一リクエストで約30〜40 tok/s、バッチ4で最大80 tok/sを観測しているとも述べている。ローカルAI用の機材を選ぶ際、「今ある中古」と「次の選択肢」をどう比べるかに具体的な数字を持ち込んだ投稿だ。

単一要求とバッチ4は分けて見る

tok/sは、1秒あたりに生成するトークン数を示す。今回の数字は、1件を処理する条件では約30〜40 tok/s、4件をまとめるバッチ4では最大80 tok/sというものだ。複数の要求を同時に扱うと全体の処理量を伸ばせる可能性が見える一方、80 tok/sが4件の合計なのか各要求の値なのかは投稿だけでは判別できない。単一の対話がそのまま倍速になる、という報告ではない点に注意したい。

価格の話は本人の見通し

今回の内容は正式な製品・価格発表ではなく、Prince Canuma氏による推薦と観測だ。M5 UltraとM3 Ultraの構成、測定に使ったAIモデル、MTPの設定や測定方法、具体的な価格と時期は示されていない。

使う側から見ると、購入時に確かめたい項目は分かりやすい。中古価格だけでなく、実際に回したいモデルでの単一要求の速度と、並列処理したときの全体性能を分けて比べることだ。短い投稿だが、買い時と処理条件を同じテーブルに載せる視点は実用的だ。

参照したX投稿

Prince Canuma氏（@prince_canuma）の元投稿