📄論文情報
🔑この論文のキーメッセージ
- 指示から関数を合成し、データを構築することで、良いToolCallingデータを構築できる
🎓どういう問題に取り組んだのか
- ToolCallingを含んだマルチターンの対話データセットを構築すること
- この時に、Toolを含めたplanningを考慮している
🧑🎓その問題に取り組むことがなぜ重要なのか
- 現実世界のユーザープロンプトは既存のデータで学習することができないくらい複雑である
- 既存の研究は、シングルターンで関数を呼ぶことを対象としている
- そのため、関数の使い方は学習できるが計画することが学習できていないという課題がある
- このようなデータセットを構築することは簡単ではない
💡問題解決に向けたキーアイデアは何か
人手で作成したタスクを組み合わせて、新しいタスクを作成する
- 人手タスクをサブタスクに分解し、このタスクの内容から関数を生成する
- サブタスクを作成するためのタスクは、目的が明確で単純な指示を選択している
- 目的が明確な指示から、関数を合成する点が良い発想だと思う
このタスクを用いてLLMにロールプレイをさせて、データを構築する
- ロールは、ユーザー、アシスタント、ツールの3種類
- ツールはアシスタントが呼び出した関数が実行可能であるか評価する
データの合成にはGPT-4oが仕様されている
👀新たに分かったことは何か
- 学習したら性能が向上した。
- 評価ベンチマークには、GTAとTool-Queryを使用している
- 特に、GPT-4oより性能が良いのがデータの有効性を示している
❓疑問点は何か
- 普通のLLMに使用されるベンチマークへの影響が気になる
- データの合成論文は比較が難しい気がする