Astraの品質問題、Tibo氏が3要因の修正を報告

Astraの応答が途中で止まる、最新ではなく古いメッセージへ返す、作業の確認が弱くなる。Tibo氏は9月12日、利用者と調べていたこうした品質問題の原因を見つけ、修正したとXで報告した。日々の作業で感じる不安定さが、モデル向けのスキルや周辺の設定にも左右されていた点は見逃せない。

修正された3つの経路

今回示された対応は、次の3点だ。

• 以前のモデル向けに書かれた一部のスキルが頻繁に動きすぎたり、モデルによる作業確認を妨げたりしていた問題を修正
• 早期停止や古いメッセージへの応答を招くことがあった、参加任意のコンテキスト管理実験を停止
• 一部のトラフィックで測定上の品質低下につながっていた、設定不良のエンジンを削除

コンテキスト管理実験の影響は、概算で4,000〜5,000人だったという。ほかにも小さな改善を加え、作業を最後まで進める一貫性、最新メッセージの追跡、進行中の確認が全体としてかなり良く感じられるはずだとTibo氏は説明している。

同じ依頼をもう一度試す価値がある

使う側では、以前止まった長めの依頼を再実行し、最後に送った指示を追えているか、途中の確認まで続くかを見ると変化を確かめやすい。ただし、4,000〜5,000人という数字は特定の実験についての概算であり、すべての品質問題の影響人数ではない。

これはOpenAIの正式発表ではなく、Tibo氏による運用報告だ。リセットも投稿日の深夜までに反映予定とされているが、基準となるタイムゾーンは示されていない。修正後の感触は、それぞれの環境で確かめたい。

参照したX投稿

Tibo氏（@thsottiaux）の元投稿