Kei Moriyama keimoriyama

📄論文情報

• Tool Calling for Arabic LLMs: Data Strategies and Instruction Tuning
• ArabicNLP main

🔑この論文のキーメッセージ

• 言語間でツール呼び出しは転移するが、その言語のツール呼び出しデータを用意することで更なる性能向上が期待できる

🎓どういう問題に取り組んだのか

• 英語以外の言語におけるTool Callingデータセットの必要条件を分析すること

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• 既存のTool Callingデータセットは英語がメインの言語である
• アラビア語のTool CallをLLMに学習する上で、英語のデータだけで学習するのが良いのか、翻訳データも必要なのかなどの条件を分析する必要がある

💡問題解決に向けたキーアイデアは何か

• Gemimiを使って、英語のデータセットを翻訳し、英語とアラビア語のTool Callを評価した
• 評価項目としては、Tool Callに対するrecallとprecisionを使用している
  • 正確なツールが選択できているのかを評価している
• 加えて、Tool Callが完全に正しい割合で評価している

👀新たに分かったことは何か

• 言語間のTool Callingは転移するが、引数の生成には言語依存性がある
  • 英語だけのデータで学習してもアラビア語のRecallは英語ベンチマークと同じスコアであった
• 適切なtool callingをする（Toolを呼ぶなどの判断など）ためには、その言語のデータが必要になる
  • アラビア語のデータを混ぜることで、アラビア語ベンチマークにおけるrecallが向上する
• 翻訳データにおいて重要になるのは、Toolの種類になる
  • OODにどれくらい適応するか？という話になるのか？

❓疑問点は何か

私たちはどう学んでいるのはを読んだ。 これまで信じてきた能力というものに対する考え方が変わる良い本だった。 創発という概念を基に知識や能力というものが何であるか、その時に私達の頭の中に何が置きているのかという話を認知科学の実験を基に解説している。

この本の序盤に、問題の解決能力は文脈に依存していることが例題から分からされた。 同じ論理で解ける問題が文脈を変えると正解率が変わることは裏切られた感じもするし、時間を置くと当たり前だなという感じもした。 能力は文脈であり、環境も関係しているというものに左右される。 自分の今の研究能力は、インターネットがあり、GPUに接続できる環境があって初めて発揮できるんだと実感した。 ネットやGPUにアクセスできなくなると何もできない27才が出来上がってしまう。 他にも、知識やひらめきの話は興味深かった。 興味深かったこと以外は憶えてないけど。

最後は教育について論じられていたが、そこでも自分が評価されてきたのはたまたま教室などの環境に適応できただけだった。 うーん。 結局分かったような分からなかったような感じだけど、読んで良かったと思った。

📄論文情報

• Unlocking Implicit Experience: Synthesizing Tool-Use Trajectories from Text
• ACL 2026

🔑この論文のキーメッセージ

• テキストデータからツールを定義することで、現実的なデータを構築することができる

🎓どういう問題に取り組んだのか

• テキストデータからツール呼び出しデータセットを構築すること

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• 既存のデータ拡張手法はツールの定義からデータを合成している
• そもそも、十分な量のツールを用意するコストは大きいため、ボトルネックとなっている

💡問題解決に向けたキーアイデアは何か

• 定義されたツールを使用する変わりに、テキストデータからツールの定義や使用方法を抽出する
• 大規模コーパスをLLMにより分析した結果、ユーザーのクエリや、ツールの使い方などのタスクが含まれていた
• データ生成パイプライン
  1. テキストのフィルタリングにより、マルチステップのツール呼び出しを含む文章のみ残す
  2. そこから、ツールを定義し軌跡の概要を抽出する
  3. このデータを基に、データをLLMにより作成する
  4. 指定されたフォーマットやLLMにより評価に基づき、フィルタリングする

👀新たに分かったことは何か

• ベースラインとなるデータセットと提案手法で生成されたデータセットで学習して比較していた
• BFCL v3やtau2のretailタスクでは、他のデータセットよりも良いスコアが得られている

❓疑問点は何か

• テキストデータからツールを定義するのは良いアイデアだと思った
• 他のベンチマークにおける性能の変化も気になる

📄論文情報

• Facilitating Multi-turn Function Calling for LLMs via Compositional Instruction Tuning
• ICLR 2025

🔑この論文のキーメッセージ

• 指示から関数を合成し、データを構築することで、良いToolCallingデータを構築できる

🎓どういう問題に取り組んだのか

• ToolCallingを含んだマルチターンの対話データセットを構築すること
• この時に、Toolを含めたplanningを考慮している

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• 現実世界のユーザープロンプトは既存のデータで学習することができないくらい複雑である
• 既存の研究は、シングルターンで関数を呼ぶことを対象としている
• そのため、関数の使い方は学習できるが計画することが学習できていないという課題がある
• このようなデータセットを構築することは簡単ではない

💡問題解決に向けたキーアイデアは何か

• 人手で作成したタスクを組み合わせて、新しいタスクを作成する

  • 人手タスクをサブタスクに分解し、このタスクの内容から関数を生成する
  • サブタスクを作成するためのタスクは、目的が明確で単純な指示を選択している
  • 目的が明確な指示から、関数を合成する点が良い発想だと思う

• このタスクを用いてLLMにロールプレイをさせて、データを構築する

  • ロールは、ユーザー、アシスタント、ツールの3種類
  • ツールはアシスタントが呼び出した関数が実行可能であるか評価する

• データの合成にはGPT-4oが仕様されている

👀新たに分かったことは何か

• 学習したら性能が向上した。
  • 評価ベンチマークには、GTAとTool-Queryを使用している
• 特に、GPT-4oより性能が良いのがデータの有効性を示している

❓疑問点は何か

• 普通のLLMに使用されるベンチマークへの影響が気になる
• データの合成論文は比較が難しい気がする

📄論文情報

• Trajectory2Task: Training Robust Tool-Calling Agents with Synthesized Yet Verifiable Data for Complex User Intents
• ACL 2026

🔑この論文のキーメッセージ

• 軌跡を固定して、曖昧な指示を加えるようにデータを拡張することで、指示に対する頑健性が向上する

🎓どういう問題に取り組んだのか

• ユーザーの意図が曖昧な状況での、Tool Callingエージェントを学習すること

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• 現実のユーザーは自分が欲しいものについて自覚していないため、プロンプトに曖昧性がある
• 既存のベンチマークはこの曖昧性を考慮したものになっていないため、現実世界のロバスト性を評価することができていない

💡問題解決に向けたキーアイデアは何か

• ツール呼び出しなどの環境とのインタラクションの軌跡を基に、データを生成している
  • tau2 bench環境を使用している
• 最初に、シードの軌跡を基にした軌跡の生成を行う
  • シード軌跡とツールをサンプリングし、新しい軌跡を生成する
  • この軌跡を要約し指示を作成する
  • 軌跡のフィルタにはLLMを用いている
• タスクの難易度を挙げるために、需要な情報を省くなどをすることで、指示に曖昧性を与えるような拡張を適用している
• 学習データと同様に、テストデータにも同様の拡張を加えることで、ベンチマークの構築も行っている

👀新たに分かったことは何か

• 評価はtau2ベンチのretailタスクで行っている
• 小規模なモデルほど、曖昧な指示に対する頑健性が低い
• 生成したデータで学習したモデルは、性能低下が低くなっている
  • 学習データとして有効であると言えるかも？

❓疑問点は何か

📄論文情報

• GOAT: A Training Framework for Goal-Oriented Agent with Tools
• ACL 2026 findings

🔑この論文のキーメッセージ

• 関数の引数や返り値を元にグラフを作成し、データを合成する
• このデータを学習に用いることでToolを含めた目的の達成率が向上する

🎓どういう問題に取り組んだのか

• 既存のAPIの仕様から、目的を達成するようなTool Callを学習できるデータを合成すること
• この目的の達成のためには、あるtoolの返り値を別のToolの引数に与えることが必要なタスクを想定している

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• 既存のTool Callingデータセットを合成する手法は、比較的シンプルなタスクを扱ってきた
• 複数のToolが連携するタスクにおけるデータ拡張の手法はまだ確立されていない

💡問題解決に向けたキーアイデアは何か

• Toolの関係性をグラフにより表現し、このグラフを基に指示と応答を合成する
• 最初に、全てのToolをつなげる
  • LLM-as-a-Judgeや埋め込み表現の類似度などを使い枝刈りを行いグラフを構築する
  • 最後に実際にToolを呼び出すことができるかを基にフィルタしている
• このグラフから、ユーザーの入力とLLMの応答を生成している
• 同様の方法で作成したデータを人手で確認したデータセットをGoatBenchとして公開している

👀新たに分かったことは何か

• 合成したデータセットを用いることで、GoatBench以外のベンチマークでも性能が向上している

❓疑問点は何か

• 他にも拡張できそうな手法だった。

小川哲さんの君が手にするはずだった黄金についてを読んだ。

普段自分が読まなそうな小説をいくつか選んだ時の一冊。 主人公が小川さん自身の小説になっていて、5つの短編から構成されていた。 小説家を虚業っぽく自虐していたり、占い師に怒ったりする描写がちりばめられていて、小川さんぽかった。

表題作の君が手にするはずだった黄金についてが好きだった。 ポンジスキームで架空の投資をしていた同級生との話で、同級生と始めての絡みから再開、今の関係性までが一つの点から広がっていく感じがあった。 その同級生と再開した場所で話が終った所が、何となく悲しかったけど、そうだよねーと感じた。 この作品の広がりかたが自分としては好みなんだと思う。

「教誨師」を読んだ。 50年の間に死刑執行に立ち会い続けた渡邉普相という人の体験談が書いてある本だった。 紀伊国屋書店が推薦していたので、軽い気持ちで買ってみたが、内容は想像以上だった。

教誨師は死ぬ運命にある死刑囚と対話と続けつつ、最後に執行の瞬間まで立ち会う職業だあるとは知らなかった。 死刑執行を取り囲む人の様子が一番印象に残った。 70年代の死刑の執行は、ある刑務官がハンドルを引くと床が空き、首が締まる仕組みになっている。 なので、現代とは異なり、執行する人にもかなりのストレスがかかる仕組みだった。 執行した人が他の刑務官に声をかけられるまで、放心状態であった描写は何か印象に残っている。

死刑囚との対話の様子は、死刑って本当に必要なのだろうか？と考えてしまった。 うーん、、、

📄論文情報

• ICML 2024
• Coactive learning for large language models using implicit user feedback

🔑この論文のキーメッセージ

• 人間に文章を編集させることで、その人に合わせたLLMを学習することができる

🎓どういう問題に取り組んだのか

• LLMをオンライン学習により逐次的に更新するためのフレームワークの
• LLMが生成した文章を人間が修正し、その結果を使用してパラメータを更新する

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• LLMをユーザーの知識や好みに合わせるためには、継続的な学習が必要であるため
• プロンプトによるコンテキスト補足では、十分ではないと考えているっぽい

💡問題解決に向けたキーアイデアは何か

• LLMが生成した文章を人間が修正することで、修正後の文章の方が良いというフィードバックが得られる
• これより、あるプロンプトに対する選好データセットが構築できる
• このデータを用いてDPOによりLLMを逐次的に更新する
• このフレームワークを一般化したアルゴリズムや理論的な証明がされている
  • 証明の方は追い切れなかった

👀新たに分かったことは何か

• 提案手法により、LLMが報酬を大きくする方向に学習できていることが分かった
  • フィードバックの形式は報酬モデルと、後半nトークンをExpertモデルにより選択する方法を用いている
• 一対比較などの相対的な評価よりも、編集形式のフィードバックの方が有効である
  • KL距離と報酬値のバランスや、最終的に学習されたモデルと学習前のLLMの一対比較のwin rateでも示されている

❓疑問点は何か

• 編集のフィードバックが後半nトークンなのが気になった
  • n=5や10であったので、現実的ではないのかもしれない
• 学習に必要なデータ数が多い
  • 現実にデプロイするとして、まだ壁がありそう

知性の罠を読んだ。 陰謀論にはまったノーベル賞学者の話などの個人の話に閉じた本だと思っていたら、終盤は組織を対象とした話があり、最後まで面白く読めた。

僕にとってはは学びが多い本だった。 IQなどの知能を計測するための指標の話も良かったが、世間的に賢いとされる人が陥りやすい罠についての話が一番印象的だった。 このような罠にはまらないために、他の人の意見に耳を傾ける謙虚さが必要であるという当たり前のことが書いてあったが、実践できているかと聞かれると微妙だ。 罠にかかる人は、謙虚ではない特徴があるらしく、自分と重なった。 過去に、自分が出した研究アイデアに固執したり、査読の結果について文句を言ったりしていた。 この行動は、本書の中で取り上げられていた謙虚さが無い人の典型的な行動に当てはまるので、刺さった。。。 謙虚さを見につけるようにしていきたい。

チームについての話は、直感を裏切るような話が多かったので、ぜひ本を読んで体感してもらいたい!