音声生成・編集モデル「AuK」公開、AuK-Flashは4ステップ推論

Prince Canuma氏は、@tencenthunyuanの投稿を引用し、音声生成と編集を一つの基盤で扱うオープンソースモデル「AuK」を紹介した。自然言語の指示と参照音声を受け取り、生成から編集、分離までを同じインターフェースで扱うという。音声AIを用途ごとに継ぎ合わせている人には、かなり実務的な提案だ。

生成・編集・分離を一つに

引用された投稿で挙げられた機能は幅広い。

ゼロショット音声合成と、指示に沿った音声生成
内容の編集、Whisper変換、アクセントの除去
声質、スタイル、感情、速度、ピッチの調整
音質向上、ノイズ除去、複数話者や音楽の分離

面白いのは、単に声を作るだけでなく、作った後の直しや素材の分離まで同じ入口に置いた点だ。参照音声と文章による指示を軸にできれば、複数の専用ツールを行き来する工程を短くできる可能性がある。

AuK-Flashは4ステップ、速度の条件は要確認

高速版の「AuK-Flash」は4ステップで推論し、同条件では約4.5倍高速だと説明されている。コード、重み、デモも公開済みとされ、数値を自分の用途で確かめられる入口はある。一方、元投稿には比較対象、ハードウェア、音声の長さなど詳しい測定条件は記されていない。「約4.5倍」は投稿内の条件付き結果として見るのがよい。

Prince Canuma氏はMLX Audioへの登場に期待を示したが、すでに含まれている可能性にも触れている。これは対応時期の正式な予告ではない。まずは公開されたAuK自体の品質と速度を試しつつ、MLX Audio側の動きは別に確認したい。