Avatar
😀

Organizations

README.md

所属 : 東京大学総合文化研究科広域科学専攻広域システム科学系 学年 : D1

Popular posts

  1. Tool Calling for Arabic LLMs: Data Strategies and Instruction Tuning

    📄論文情報

    🔑この論文のキーメッセージ

    • 言語間でツール呼び出しは転移するが、その言語のツール呼び出しデータを用意することで更なる性能向上が期待できる

    🎓どういう問題に取り組んだのか

    • 英語以外の言語におけるTool Callingデータセットの必要条件を分析すること

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • 既存のTool Callingデータセットは英語がメインの言語である
    • アラビア語のTool CallをLLMに学習する上で、英語のデータだけで学習するのが良いのか、翻訳データも必要なのかなどの条件を分析する必要がある

    💡問題解決に向けたキーアイデアは何か

    • Gemimiを使って、英語のデータセットを翻訳し、英語とアラビア語のTool Callを評価した
    • 評価項目としては、Tool Callに対するrecallとprecisionを使用している
      • 正確なツールが選択できているのかを評価している
    • 加えて、Tool Callが完全に正しい割合で評価している

    👀新たに分かったことは何か

    • 言語間のTool Callingは転移するが、引数の生成には言語依存性がある
      • 英語だけのデータで学習してもアラビア語のRecallは英語ベンチマークと同じスコアであった
    • 適切なtool callingをする（Toolを呼ぶなどの判断など）ためには、その言語のデータが必要になる
      • アラビア語のデータを混ぜることで、アラビア語ベンチマークにおけるrecallが向上する
    • 翻訳データにおいて重要になるのは、Toolの種類になる
      • OODにどれくらい適応するか？という話になるのか？

    ❓疑問点は何か

    paper

  2. 私たちはどう学んでいるのか

    私たちはどう学んでいるのはを読んだ。 これまで信じてきた能力というものに対する考え方が変わる良い本だった。 創発という概念を基に知識や能力というものが何であるか、その時に私達の頭の中に何が置きているのかという話を認知科学の実験を基に解説している。

    この本の序盤に、問題の解決能力は文脈に依存していることが例題から分からされた。 同じ論理で解ける問題が文脈を変えると正解率が変わることは裏切られた感じもするし、時間を置くと当たり前だなという感じもした。 能力は文脈であり、環境も関係しているというものに左右される。 自分の今の研究能力は、インターネットがあり、GPUに接続できる環境があって初めて発揮できるんだと実感した。 ネットやGPUにアクセスできなくなると何もできない27才が出来上がってしまう。 他にも、知識やひらめきの話は興味深かった。 興味深かったこと以外は憶えてないけど。

    最後は教育について論じられていたが、そこでも自分が評価されてきたのはたまたま教室などの環境に適応できただけだった。 うーん。 結局分かったような分からなかったような感じだけど、読んで良かったと思った。

    book

  3. Unlocking Implicit Experience: Synthesizing Tool-Use Trajectories from Text

    📄論文情報

    🔑この論文のキーメッセージ

    • テキストデータからツールを定義することで、現実的なデータを構築することができる

    🎓どういう問題に取り組んだのか

    • テキストデータからツール呼び出しデータセットを構築すること

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • 既存のデータ拡張手法はツールの定義からデータを合成している
    • そもそも、十分な量のツールを用意するコストは大きいため、ボトルネックとなっている

    💡問題解決に向けたキーアイデアは何か

    • 定義されたツールを使用する変わりに、テキストデータからツールの定義や使用方法を抽出する
    • 大規模コーパスをLLMにより分析した結果、ユーザーのクエリや、ツールの使い方などのタスクが含まれていた
    • データ生成パイプライン
      1. テキストのフィルタリングにより、マルチステップのツール呼び出しを含む文章のみ残す
      2. そこから、ツールを定義し軌跡の概要を抽出する
      3. このデータを基に、データをLLMにより作成する
      4. 指定されたフォーマットやLLMにより評価に基づき、フィルタリングする

    👀新たに分かったことは何か

    • ベースラインとなるデータセットと提案手法で生成されたデータセットで学習して比較していた
    • BFCL v3やtau2のretailタスクでは、他のデータセットよりも良いスコアが得られている

    ❓疑問点は何か

    • テキストデータからツールを定義するのは良いアイデアだと思った
    • 他のベンチマークにおける性能の変化も気になる

    paper

  4. Facilitating Multi-turn Function Calling for LLMs via Compositional Instruction Tuning

    📄論文情報

    🔑この論文のキーメッセージ

    • 指示から関数を合成し、データを構築することで、良いToolCallingデータを構築できる

    🎓どういう問題に取り組んだのか

    • ToolCallingを含んだマルチターンの対話データセットを構築すること
    • この時に、Toolを含めたplanningを考慮している

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • 現実世界のユーザープロンプトは既存のデータで学習することができないくらい複雑である
    • 既存の研究は、シングルターンで関数を呼ぶことを対象としている
    • そのため、関数の使い方は学習できるが計画することが学習できていないという課題がある
    • このようなデータセットを構築することは簡単ではない

    💡問題解決に向けたキーアイデアは何か

    • 人手で作成したタスクを組み合わせて、新しいタスクを作成する

      • 人手タスクをサブタスクに分解し、このタスクの内容から関数を生成する
      • サブタスクを作成するためのタスクは、目的が明確で単純な指示を選択している
      • 目的が明確な指示から、関数を合成する点が良い発想だと思う

    • このタスクを用いてLLMにロールプレイをさせて、データを構築する

      • ロールは、ユーザー、アシスタント、ツールの3種類
      • ツールはアシスタントが呼び出した関数が実行可能であるか評価する

    • データの合成にはGPT-4oが仕様されている

    👀新たに分かったことは何か

    • 学習したら性能が向上した。
      • 評価ベンチマークには、GTAとTool-Queryを使用している
    • 特に、GPT-4oより性能が良いのがデータの有効性を示している

    ❓疑問点は何か

    • 普通のLLMに使用されるベンチマークへの影響が気になる
    • データの合成論文は比較が難しい気がする

    paper

  5. Trajectory2Task: Training Robust Tool-Calling Agents with Synthesized Yet Verifiable Data for Complex User Intents

    📄論文情報

    🔑この論文のキーメッセージ

    • 軌跡を固定して、曖昧な指示を加えるようにデータを拡張することで、指示に対する頑健性が向上する

    🎓どういう問題に取り組んだのか

    • ユーザーの意図が曖昧な状況での、Tool Callingエージェントを学習すること

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • 現実のユーザーは自分が欲しいものについて自覚していないため、プロンプトに曖昧性がある
    • 既存のベンチマークはこの曖昧性を考慮したものになっていないため、現実世界のロバスト性を評価することができていない

    💡問題解決に向けたキーアイデアは何か

    • ツール呼び出しなどの環境とのインタラクションの軌跡を基に、データを生成している
      • tau2 bench環境を使用している
    • 最初に、シードの軌跡を基にした軌跡の生成を行う
      • シード軌跡とツールをサンプリングし、新しい軌跡を生成する
      • この軌跡を要約し指示を作成する
      • 軌跡のフィルタにはLLMを用いている
    • タスクの難易度を挙げるために、需要な情報を省くなどをすることで、指示に曖昧性を与えるような拡張を適用している
    • 学習データと同様に、テストデータにも同様の拡張を加えることで、ベンチマークの構築も行っている

    👀新たに分かったことは何か

    • 評価はtau2ベンチのretailタスクで行っている
    • 小規模なモデルほど、曖昧な指示に対する頑健性が低い
    • 生成したデータで学習したモデルは、性能低下が低くなっている
      • 学習データとして有効であると言えるかも？

    ❓疑問点は何か

    paper

  6. GOAT: A Training Framework for Goal-Oriented Agent with Tools

    📄論文情報

    🔑この論文のキーメッセージ

    • 関数の引数や返り値を元にグラフを作成し、データを合成する
    • このデータを学習に用いることでToolを含めた目的の達成率が向上する

    🎓どういう問題に取り組んだのか

    • 既存のAPIの仕様から、目的を達成するようなTool Callを学習できるデータを合成すること
    • この目的の達成のためには、あるtoolの返り値を別のToolの引数に与えることが必要なタスクを想定している

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • 既存のTool Callingデータセットを合成する手法は、比較的シンプルなタスクを扱ってきた
    • 複数のToolが連携するタスクにおけるデータ拡張の手法はまだ確立されていない

    💡問題解決に向けたキーアイデアは何か

    • Toolの関係性をグラフにより表現し、このグラフを基に指示と応答を合成する
    • 最初に、全てのToolをつなげる
      • LLM-as-a-Judgeや埋め込み表現の類似度などを使い枝刈りを行いグラフを構築する
      • 最後に実際にToolを呼び出すことができるかを基にフィルタしている
    • このグラフから、ユーザーの入力とLLMの応答を生成している
    • 同様の方法で作成したデータを人手で確認したデータセットをGoatBenchとして公開している

    👀新たに分かったことは何か

    • 合成したデータセットを用いることで、GoatBench以外のベンチマークでも性能が向上している

    ❓疑問点は何か

    • 他にも拡張できそうな手法だった。

    paper

Less
More

    Post activity