📄論文情報
🔑この論文のキーメッセージ
- テキストデータからツールを定義することで、現実的なデータを構築することができる
🎓どういう問題に取り組んだのか
- テキストデータからツール呼び出しデータセットを構築すること
🧑🎓その問題に取り組むことがなぜ重要なのか
- 既存のデータ拡張手法はツールの定義からデータを合成している
- そもそも、十分な量のツールを用意するコストは大きいため、ボトルネックとなっている
💡問題解決に向けたキーアイデアは何か
- 定義されたツールを使用する変わりに、テキストデータからツールの定義や使用方法を抽出する
- 大規模コーパスをLLMにより分析した結果、ユーザーのクエリや、ツールの使い方などのタスクが含まれていた
- データ生成パイプライン
- テキストのフィルタリングにより、マルチステップのツール呼び出しを含む文章のみ残す
- そこから、ツールを定義し軌跡の概要を抽出する
- このデータを基に、データをLLMにより作成する
- 指定されたフォーマットやLLMにより評価に基づき、フィルタリングする
👀新たに分かったことは何か
- ベースラインとなるデータセットと提案手法で生成されたデータセットで学習して比較していた
- BFCL v3やtau2のretailタスクでは、他のデータセットよりも良いスコアが得られている
❓疑問点は何か
- テキストデータからツールを定義するのは良いアイデアだと思った
- 他のベンチマークにおける性能の変化も気になる