プロンプト最適化に探索は不要か――コーディングエージェントが軌跡データから直接プロンプトを書く手法

プロンプトを自動で改善する手法は、これまで「試して測る」ループを前提にしてきました。編集案を出し、実際に環境で動かし直し、結果を採点し、検証スコアが上がった案だけを残す。この反復が改善の源泉だと考えられてきたわけです。

研究者が査読前の論文を公開するサイト「arXiv（アーカイブ）」に投稿された論文は、そのループ自体が必ずしも要らないと主張しています。提案されている手法はCoding-Agent Skill Distillation（CASD）。エージェントの実行記録（軌跡）を集めた静的なデータセットを渡すだけで、市販のコーディングエージェント（コードを書いて実行できるAIエージェント）が最適化されたプロンプトを直接書き出します。環境へのアクセスも検証用データも要らない、というのが売りです。

鍵は「どこまで見渡して反省するか」

論文が要点として挙げるのは、reflection scope（反省の範囲）という考え方です。従来の最適化は、各ステップで少数の軌跡だけを眺めて改善案を考えます。対してCASDのコーディングエージェントは、分析コードを自分で書いて実行し、コーパス全体の統計を取ります。そのうえで体系的な失敗パターンを特定し、代表的なエピソードを個別に確認し、得られた知見を行動ルールとしてプロンプトに落とし込みます。人力でログ分析をする作業に近い進め方だと言えます。

4つのベンチマークで検証

評価に使われたのは、家庭内タスクを言語で操作するALFWorld、小売とテレコムの2領域を扱うτ²-bench、表計算タスクのSpreadsheetBench-Verifiedの4種類です。データへのアクセス条件を揃えた比較で、CASDを1回通しただけの結果が、反省型プロンプト最適化の代表的手法であるGEPAを4つ中3つで上回ったとしています。検証スコアによる足切りを伴う反省的探索に対しても優位だと報告されていますが、公開されている要旨はこの箇所で途切れており、詳細は本文の確認が必要です。

興味深いのは、ここで使われているのが特別なモデルではなく「既製の」コーディングエージェントだという点です。プロンプト改善が専用の最適化パイプラインではなく、ログ分析タスクとして扱えるなら、手元のエージェント運用にも応用の余地があります。査読前の単一論文であり、再現性の確認はこれからです。

この記事には、専門用語を使わずに書いたやさしい版もあります。

出典: arXiv:2609.26261v1「Coding Agents are Strong Prompt Optimizers」（arXiv cs.AI）