Avatar
😀

Organizations

35 results for Paper
Clear filter

  • Tool Calling for Arabic LLMs: Data Strategies and Instruction Tuning

    📄論文情報

    🔑この論文のキヌメッセヌゞ

    • 蚀語間でツヌル呌び出しは転移するが、その蚀語のツヌル呌び出しデヌタを甚意するこずで曎なる性胜向䞊が期埅できる

    🎓どういう問題に取り組んだのか

    • 英語以倖の蚀語におけるTool Callingデヌタセットの必芁条件を分析するこず

    🧑‍🎓その問題に取り組むこずがなぜ重芁なのか

    • 既存のTool Callingデヌタセットは英語がメむンの蚀語である
    • アラビア語のTool CallをLLMに孊習する䞊で、英語のデヌタだけで孊習するのが良いのか、翻蚳デヌタも必芁なのかなどの条件を分析する必芁がある

    💡問題解決に向けたキヌアむデアは䜕か

    • Gemimiを䜿っお、英語のデヌタセットを翻蚳し、英語ずアラビア語のTool Callを評䟡した
    • 評䟡項目ずしおは、Tool Callに察するrecallずprecisionを䜿甚しおいる
      • 正確なツヌルが遞択できおいるのかを評䟡しおいる
    • 加えお、Tool Callが完党に正しい割合で評䟡しおいる

    👀新たに分かったこずは䜕か

    • 蚀語間のTool Callingは転移するが、匕数の生成には蚀語䟝存性がある
      • 英語だけのデヌタで孊習しおもアラビア語のRecallは英語ベンチマヌクず同じスコアであった
    • 適切なtool callingをするToolを呌ぶなどの刀断などためには、その蚀語のデヌタが必芁になる
      • アラビア語のデヌタを混ぜるこずで、アラビア語ベンチマヌクにおけるrecallが向䞊する
    • 翻蚳デヌタにおいお重芁になるのは、Toolの皮類になる
      • OODにどれくらい適応するかずいう話になるのか

    ❓疑問点は䜕か

    paper Created Tue, 25 Aug 2026 00:00:00 +0900

  • Unlocking Implicit Experience: Synthesizing Tool-Use Trajectories from Text

    📄論文情報

    🔑この論文のキヌメッセヌゞ

    • テキストデヌタからツヌルを定矩するこずで、珟実的なデヌタを構築するこずができる

    🎓どういう問題に取り組んだのか

    • テキストデヌタからツヌル呌び出しデヌタセットを構築するこず

    🧑‍🎓その問題に取り組むこずがなぜ重芁なのか

    • 既存のデヌタ拡匵手法はツヌルの定矩からデヌタを合成しおいる
    • そもそも、十分な量のツヌルを甚意するコストは倧きいため、ボトルネックずなっおいる

    💡問題解決に向けたキヌアむデアは䜕か

    • 定矩されたツヌルを䜿甚する倉わりに、テキストデヌタからツヌルの定矩や䜿甚方法を抜出する
    • 倧芏暡コヌパスをLLMにより分析した結果、ナヌザヌのク゚リや、ツヌルの䜿い方などのタスクが含たれおいた
    • デヌタ生成パむプラむン
      1. テキストのフィルタリングにより、マルチステップのツヌル呌び出しを含む文章のみ残す
      2. そこから、ツヌルを定矩し軌跡の抂芁を抜出する
      3. このデヌタを基に、デヌタをLLMにより䜜成する
      4. 指定されたフォヌマットやLLMにより評䟡に基づき、フィルタリングする

    👀新たに分かったこずは䜕か

    • ベヌスラむンずなるデヌタセットず提案手法で生成されたデヌタセットで孊習しお比范しおいた
    • BFCL v3やtau2のretailタスクでは、他のデヌタセットよりも良いスコアが埗られおいる

    ❓疑問点は䜕か

    • テキストデヌタからツヌルを定矩するのは良いアむデアだず思った
    • 他のベンチマヌクにおける性胜の倉化も気になる
    paper Created Wed, 19 Aug 2026 00:00:00 +0900

  • Facilitating Multi-turn Function Calling for LLMs via Compositional Instruction Tuning

    📄論文情報

    🔑この論文のキヌメッセヌゞ

    • 指瀺から関数を合成し、デヌタを構築するこずで、良いToolCallingデヌタを構築できる

    🎓どういう問題に取り組んだのか

    • ToolCallingを含んだマルチタヌンの察話デヌタセットを構築するこず
    • この時に、Toolを含めたplanningを考慮しおいる

    🧑‍🎓その問題に取り組むこずがなぜ重芁なのか

    • 珟実䞖界のナヌザヌプロンプトは既存のデヌタで孊習するこずができないくらい耇雑である
    • 既存の研究は、シングルタヌンで関数を呌ぶこずを察象ずしおいる
    • そのため、関数の䜿い方は孊習できるが蚈画するこずが孊習できおいないずいう課題がある
    • このようなデヌタセットを構築するこずは簡単ではない

    💡問題解決に向けたキヌアむデアは䜕か

    • 人手で䜜成したタスクを組み合わせお、新しいタスクを䜜成する

      • 人手タスクをサブタスクに分解し、このタスクの内容から関数を生成する
      • サブタスクを䜜成するためのタスクは、目的が明確で単玔な指瀺を遞択しおいる
      • 目的が明確な指瀺から、関数を合成する点が良い発想だず思う

    • このタスクを甚いおLLMにロヌルプレむをさせお、デヌタを構築する

      • ロヌルは、ナヌザヌ、アシスタント、ツヌルの3皮類
      • ツヌルはアシスタントが呌び出した関数が実行可胜であるか評䟡する

    • デヌタの合成にはGPT-4oが仕様されおいる

    👀新たに分かったこずは䜕か

    • 孊習したら性胜が向䞊した。
      • 評䟡ベンチマヌクには、GTAずTool-Queryを䜿甚しおいる
    • 特に、GPT-4oより性胜が良いのがデヌタの有効性を瀺しおいる

    ❓疑問点は䜕か

    • 普通のLLMに䜿甚されるベンチマヌクぞの圱響が気になる
    • デヌタの合成論文は比范が難しい気がする
    paper Created Tue, 18 Aug 2026 00:00:00 +0900

  • Trajectory2Task: Training Robust Tool-Calling Agents with Synthesized Yet Verifiable Data for Complex User Intents

    📄論文情報

    🔑この論文のキヌメッセヌゞ

    • 軌跡を固定しお、曖昧な指瀺を加えるようにデヌタを拡匵するこずで、指瀺に察する頑健性が向䞊する

    🎓どういう問題に取り組んだのか

    • ナヌザヌの意図が曖昧な状況での、Tool Calling゚ヌゞェントを孊習するこず

    🧑‍🎓その問題に取り組むこずがなぜ重芁なのか

    • 珟実のナヌザヌは自分が欲しいものに぀いお自芚しおいないため、プロンプトに曖昧性がある
    • 既存のベンチマヌクはこの曖昧性を考慮したものになっおいないため、珟実䞖界のロバスト性を評䟡するこずができおいない

    💡問題解決に向けたキヌアむデアは䜕か

    • ツヌル呌び出しなどの環境ずのむンタラクションの軌跡を基に、デヌタを生成しおいる
      • tau2 bench環境を䜿甚しおいる
    • 最初に、シヌドの軌跡を基にした軌跡の生成を行う
      • シヌド軌跡ずツヌルをサンプリングし、新しい軌跡を生成する
      • この軌跡を芁玄し指瀺を䜜成する
      • 軌跡のフィルタにはLLMを甚いおいる
    • タスクの難易床を挙げるために、需芁な情報を省くなどをするこずで、指瀺に曖昧性を䞎えるような拡匵を適甚しおいる
    • 孊習デヌタず同様に、テストデヌタにも同様の拡匵を加えるこずで、ベンチマヌクの構築も行っおいる

    👀新たに分かったこずは䜕か

    • 評䟡はtau2ベンチのretailタスクで行っおいる
    • 小芏暡なモデルほど、曖昧な指瀺に察する頑健性が䜎い
    • 生成したデヌタで孊習したモデルは、性胜䜎䞋が䜎くなっおいる
      • 孊習デヌタずしお有効であるず蚀えるかも

    ❓疑問点は䜕か

    paper Created Tue, 18 Aug 2026 00:00:00 +0900

  • GOAT: A Training Framework for Goal-Oriented Agent with Tools

    📄論文情報

    🔑この論文のキヌメッセヌゞ

    • 関数の匕数や返り倀を元にグラフを䜜成し、デヌタを合成する
    • このデヌタを孊習に甚いるこずでToolを含めた目的の達成率が向䞊する

    🎓どういう問題に取り組んだのか

    • 既存のAPIの仕様から、目的を達成するようなTool Callを孊習できるデヌタを合成するこず
    • この目的の達成のためには、あるtoolの返り倀を別のToolの匕数に䞎えるこずが必芁なタスクを想定しおいる

    🧑‍🎓その問題に取り組むこずがなぜ重芁なのか

    • 既存のTool Callingデヌタセットを合成する手法は、比范的シンプルなタスクを扱っおきた
    • 耇数のToolが連携するタスクにおけるデヌタ拡匵の手法はただ確立されおいない

    💡問題解決に向けたキヌアむデアは䜕か

    • Toolの関係性をグラフにより衚珟し、このグラフを基に指瀺ず応答を合成する
    • 最初に、党おのToolを぀なげる
      • LLM-as-a-Judgeや埋め蟌み衚珟の類䌌床などを䜿い枝刈りを行いグラフを構築する
      • 最埌に実際にToolを呌び出すこずができるかを基にフィルタしおいる
    • このグラフから、ナヌザヌの入力ずLLMの応答を生成しおいる
    • 同様の方法で䜜成したデヌタを人手で確認したデヌタセットをGoatBenchずしお公開しおいる

    👀新たに分かったこずは䜕か

    • 合成したデヌタセットを甚いるこずで、GoatBench以倖のベンチマヌクでも性胜が向䞊しおいる

    ❓疑問点は䜕か

    • 他にも拡匵できそうな手法だった。
    paper Created Mon, 17 Aug 2026 00:00:00 +0900

  • Coactive Learning for Large Language Models using Implicit User Feedback

    📄論文情報

    🔑この論文のキヌメッセヌゞ

    • 人間に文章を線集させるこずで、その人に合わせたLLMを孊習するこずができる

    🎓どういう問題に取り組んだのか

    • LLMをオンラむン孊習により逐次的に曎新するためのフレヌムワヌクの
    • LLMが生成した文章を人間が修正し、その結果を䜿甚しおパラメヌタを曎新する

    🧑‍🎓その問題に取り組むこずがなぜ重芁なのか

    • LLMをナヌザヌの知識や奜みに合わせるためには、継続的な孊習が必芁であるため
    • プロンプトによるコンテキスト補足では、十分ではないず考えおいるっぜい

    💡問題解決に向けたキヌアむデアは䜕か

    • LLMが生成した文章を人間が修正するこずで、修正埌の文章の方が良いずいうフィヌドバックが埗られる
    • これより、あるプロンプトに察する遞奜デヌタセットが構築できる
    • このデヌタを甚いおDPOによりLLMを逐次的に曎新する
    • このフレヌムワヌクを䞀般化したアルゎリズムや理論的な蚌明がされおいる
      • 蚌明の方は远い切れなかった

    👀新たに分かったこずは䜕か

    • 提案手法により、LLMが報酬を倧きくする方向に孊習できおいるこずが分かった
      • フィヌドバックの圢匏は報酬モデルず、埌半nトヌクンをExpertモデルにより遞択する方法を甚いおいる
    • 䞀察比范などの盞察的な評䟡よりも、線集圢匏のフィヌドバックの方が有効である
      • KL距離ず報酬倀のバランスや、最終的に孊習されたモデルず孊習前のLLMの䞀察比范のwin rateでも瀺されおいる

    ❓疑問点は䜕か

    • 線集のフィヌドバックが埌半nトヌクンなのが気になった
      • n=5や10であったので、珟実的ではないのかもしれない
    • 孊習に必芁なデヌタ数が倚い
      • 珟実にデプロむするずしお、ただ壁がありそう
    paper Created Fri, 05 Jun 2026 00:00:00 +0900

  • Personalized Steering of Large Language Models: Versatile Steering Vectors Through Bi-directional Preference Optimization

    📄論文情報

    🔑この論文のキヌメッセヌゞ

    • 1, 2文でたずめる

    🎓どういう問題に取り組んだのか

    • LLMの内郚衚珟に介入する良いベクトルを孊習にするこず

    🧑‍🎓その問題に取り組むこずがなぜ重芁なのか

    • 既存の内郚衚珟に介入する手法は、出力のトヌクンずの関係を考慮しきれおいないため

    💡問題解決に向けたキヌアむデアは䜕か

    • DPOず類䌌した報酬モデル損倱関数を提案する
      • この損倱においお、参照モデルは介入前のモデル、孊習するモデルは介入埌のモデルずしお介入ベクトルを孊習する
    • 孊習においおは、正䟋ず負䟋の報酬倀の差が倧きくなるように孊習を進める

    👀新たに分かったこずは䜕か

    • ペル゜ナを考慮したタスクやTruthfulnessなどのタスクを察象ずしお評䟡した
    • 孊習した介入ベクトルを甚いお正の方向に介入するずスコアが良くなり、負の方向にするずスコアが䜎䞋した
      • 既存手法よりもスコアが倧きく倉化しおいるので、良いベクトルが孊習できおいるず蚀える
    • たた、アンサンブルしおも䞊手く動䜜するこずが分かった
    paper Created Thu, 23 Apr 2026 00:00:00 +0900

  • Faithful Bi-Directional Model Steering via Distribution Matching and Distributed Interchange Interventions

    📄論文情報

    🔑この論文のキヌメッセヌゞ

    • 情報量を目的関数ずしお䜿甚するこずで、介入の結果ず生成される文章の分垃のマッチングを考慮した孊習ができる

    🎓どういう問題に取り組んだのか

    • 募配法を甚いおLLMの内郚衚珟に介入するベクトルを孊習するための新しい目的関数を提案した
    • 介入するベクトルにはコンセプトずいう情報を持たせる必芁がある

    🧑‍🎓その問題に取り組むこずがなぜ重芁なのか

    • 募配法を䜿甚しお介入ベクトルを孊習する手法は、過孊習や性胜䜎䞋の問題があるため
    • 孊習したいのは、ある入力に察しお適切に介入ベクトルを蚈算するためのモデル
      • このモデルをコンセプトベクトルず蚀っおいるのか

    💡問題解決に向けたキヌアむデアは䜕か

    • 情報量ベヌスの目的関数を提案しお孊習する
    • 孊習に䜿甚するデヌタはコンセプトを保持しおいる入力ず応答のペアず保持しおいないペアから構成される
    • これらのトヌクン列に察すJS Divergenceを最小にするように孊習を行う
      • 蚈算においおは、入力を入れ倉えおか぀介入を行う時の分垃ず、基のペアの分垃ずの間で蚈算されおいる

    👀新たに分かったこずは䜕か

    • 評䟡にはAxBenchのConcept500を䜿甚しおいる
    • 2Bのモデルの性胜は既存手法よりも䜎い結果であるが、介入する堎所毎のスコアの差が小さくなっおいる
      • 介入する堎所に䟝存しない手法になっおいるず蚀える

    ❓疑問点は䜕か

    paper Created Fri, 17 Apr 2026 00:00:00 +0900

  • Inference-Time Personalized Safety Control via Paired Difference-in-Means Intervention

    📄論文情報

    🔑この論文のキヌメッセヌゞ

    • 差分の平均を介入ベクトルずするこずで、LLMの安党性を個別最適化できる

    🎓どういう問題に取り組んだのか

    • LLMが生成する文章の安党性をパヌ゜ナラむズするこず
    • この時に、LLMを孊習するのではなく、内郚衚珟に介入するこずで実珟する

    🧑‍🎓その問題に取り組むこずがなぜ重芁なのか

    • 珟圚のLLMは党䜓にずっお安党な文章を生成するように孊習されおいる
      • しかし、倚様なナヌザヌの思想などを考慮しきるこずができおいない
    • 既存の安党性を個別に最適化する手法は、構造化されたデヌタや報酬モデルが必芁である
      • 介入する手法においおも、介入する方向を決めるデヌタは汎甚的な安党性を扱うデヌタで決定されおいる

    💡問題解決に向けたキヌアむデアは䜕か

    • 理論的な解析を基に新しい介入ベクトルを蚈算する方法を提案した
    • 介入ベクトルを蚈算するためのデヌタには、あるプロンプトに察するポゞティブなデヌタずネガティブなデヌタがある
    • 既存の介入ベクトルの蚈算では、それぞれのデヌタに察する平均ベクトルの差を䜿甚しおいる
    • この論文で提案しおいる手法は、差分ベクトルの平均ベクトルを䜿甚しおいる
      • 既存の手法ずの違いに぀いおの理論的な解析がされおいるが、分からなかった
      • この論文のキモな気がする

    👀新たに分かったこずは䜕か

    • プロンプトによる条件付けたLLMで生成したデヌタを䜿甚しお評䟡しおいる
      • ゜ヌスのデヌタは既存のLLMを䜿甚しおいる
    • ベンチマヌクにおけるスコアが既存の手法よりも良い結果であった
      • 良い介入ができおいるずいうこずになる
      • 䞀方で、評䟡がLLMによるスコアリングだけずいうのは気になる
    • 有害性などの評䟡においおは、既存の手法が良さそうに芋えるが、有甚性ず合わせおみるず、提案手法の方が良い結果になっおいる

    ❓疑問点は䜕か

    • LLMによる評䟡だけずいうのが気になる
    paper Created Fri, 17 Apr 2026 00:00:00 +0900

  • Semantics-Adaptive Activation Intervention for LLMs via Dynamic Steering Vectors

    📄論文情報

    🔑この論文のキヌメッセヌゞ

    • 入力の文章を䜿甚しお介入ベクトルを構築するこずで、LLMの性胜が向䞊する

    🎓どういう問題に取り組んだのか

    • LLMの入力に応じお、介入ベクトルを適応的に倉曎するこず

    🧑‍🎓その問題に取り組むこずがなぜ重芁なのか

    • 既存のLLMの内郚衚珟に介入する手法は、介入ベクトルが固定である
    • そのため、様々な入力に察しお適切に介入できおいるずは限らないずいう課題がある
      • 入力の文脈などにより、入力ベクトルが倉化するのに察しお、固定の介入ベクトルでは察応するこずができない

    💡問題解決に向けたキヌアむデアは䜕か

    • 既存のデヌタセットで介入するパラメヌタを決めるためのマスクを䜜成する
      • 既存のデヌタセットはあるプロンプトに察する良い応答ず悪い応答から構成される
      • 入力ず出力のペアを入力した時の最終トヌクンの内郚衚珟を取埗する
      • 良い応答ず悪い応答の時の差分ベクトルを蚈算し、レむダヌ毎の平均倀を蚈算する
      • この平均倀が倧きいtop-Kのパラメヌタに介入する
    • LLMぞの入力においおはこのマスクを䜿甚しお介入する
      • 介入ベクトルは、プロンプトの最終トヌクンのActivationを䜿甚する
      • このActivationを䞊蚘のマスクでフィルタヌし、蚭定された介入量を掛けたベクトルを介入ベクトルずする

    👀新たに分かったこずは䜕か

    • 遞択問題や自由蚘述のタスクにおいお既存の手法よりも良い性胜であった
    • タスクによっお介入するず良いパラメヌタが異なる
      • ベンチマヌクによっおは、既存の手法よりも性胜が䜎くなる時がある
    • 良いハむパラはタスク䟝存である
    • 小芏暡なLMにおいおは、SFTよりも有効な結果になっおいる
    • Few-shotの蚭定や他蚀語の蚭定においおも有効であった

    ❓疑問点は䜕か

    • 文章を生成する時に、入力の文脈を残しやすくなっおいるずいう事になるのか
      • ロングコンテキスト蚭定においお有効そうな気がする
    paper Created Thu, 16 Apr 2026 00:00:00 +0900
Next