Kei Moriyama keimoriyama

📄論文情報

• Learning to Reason from Feedback at Test-Time
• ACL 2025 Long

🔑この論文のキーメッセージ

• フィードバックを用いてモデルを更新することで、過去の推論結果を活かしつつ推論の性能が向上する

🎓どういう問題に取り組んだのか

• テスト時におけるフィードバックからLLMを更新する
  • テスト時において推論を行い、その結果を用いて再度推論するというタスクになる
• この時に、過去の経験を上手く活用してLLMを更することを目指す

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• 従来の手法では、Sequential RevisionとParallel samplingがある
  • Sequential Revisionは、過去のトライアル結果をプロンプトに含める方法
  • Parallel Samplingは過去の結果に関わらず、何度か予測する方法になる
• Sequential Revisionはコンテキスト長が長くなりやすいため、計算コストが高くなりやすく位置バイアスの影響もある
• Parallel samplingは効率的であるが、過去のエラーを考慮しない課題がある

💡問題解決に向けたキーアイデアは何か

• 過去のトライアルよりも、モデルの重みに重点を置いた手法を提案いている
  • 損失関数と効率的なOptimizerを提案している
• LLMは問題に対する解答をすると、検証モデルが正解かどうかを判定する
  • 不正解である場合、検証モデルは不正解であるという固定の文章を生成する
  • 追加のフィードバックとしてLLMが文章生成する
  • これらの二つのフィードバックに対してクロスエントロピーが最小になるように学習を進める
  • モデルのパラメータ内に過去の経験が保存されるという話
    • Optimizerについてはよく分からなかった
  • PEFTを参考にしたみたい。。。？

👀新たに分かったことは何か

• Parallel Samplingでは20GPU/hだったのに対して、提案手法では4GPU/hに改善された
• トライアルの回数毎に比較すると、提案手法は回数が増える程性能が良くなっている
  • 手法によっては、低下しているものもある
• Optimizerの比較では、LoRAと比較して少ないパラメータで良い性能になっている

❓疑問点は何か

• Sequential Samplingと提案手法の計算コストが違いすぎないか
• Optmizerの立ち位置が分からない
  • これ別の手法ではない？

📄論文情報

• Personalized LLM Decoding via Contrasting Personal Preference

🔑この論文のキーメッセージ

• DPOを基にした報酬を活用して文章のデコーディングや負例の選択をすることは、パーソナライズにおいて有効である

🎓どういう問題に取り組んだのか

• LLMが文章を生成する時に、ユーザーの意図を推定しながら文章を生成するようにする

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• ユーザーの意図に沿う応答を生成することはLLMの実用上重要である
• 現状は、プロンプトベースの方法とLoRAなどモデルのパラメータを更新する方法の二種類がある
• プロンプトベースの手法では、ユーザーのデータから学習することが無いため効果が限定的である課題がある
• パラメータを更新する手法では、破滅的忘却や計算コストの面から課題がある

💡問題解決に向けたキーアイデアは何か

• 基本的にLoRAを想定した手法になっている
• 文章のデコーディングには、報酬ベースの手法を使用している
  • 閾値より大きな確率のトークン集合を得る
  • 基モデルとLoRAを適用したモデルがそのトークンを生成する確率の比を報酬とする
  • この報酬が最大になるトークンを選択してデコーディングする
• モデルの学習には、DPOを使用している
  • データセットの構築のためには、LLMが生成したいくつかの例の中から上記の報酬が最も小さいものを負例としている

👀新たに分かったことは何か

• プロンプトベースの手法は、性能向上が限定的であること
  • ベースモデルよりも悪くなることがある
  • 特に長文において性能が低下することが確認できた
• 提案手法は、学習ベースの手法よりも良いモデルが学習できていた
  • 報酬ベースのデコーダとDPOの効果は同程度であった

❓疑問点は何か

📄論文情報

• Self-Guided Function Calling in Large Language Models via Stepwise Experience Recall
• EMNLP 2025 findings

🔑この論文のキーメッセージ

• LLMのFunction Callingタスクのデータの拡張のためには、呼び出されているタスクの一致度なども入れると良い

🎓どういう問題に取り組んだのか

• LLMを外部APIと連携するタスクであるFunction Callingの性能を向上するような学習する
• 学習に使用するプロンプトに含める例を工夫する手法にしている

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• 学習データやモデルのパラメータ数を単に増やしても、実世界インタラクションは解決することができない
• 既存のFunction Callingの学習手法は、具体例を手動で付与しているため大規模にしづらい課題がある

💡問題解決に向けたキーアイデアは何か

• 類似の例を取得するための方法として、以下の三種類の指標を用いる
  1. ユーザーのクエリと軌跡の埋め込み表現の類似度
     • 軌跡とは、ユーザーの入力と呼び出されたツールの応答を複数ステップ繰り返したものを指す
     • 類似度の指標には、正規化コサイン類似度を使用する
  2. 呼び出しツールの一致度
     • 実際に使用されているツールの一致度を使用している
  3. 意図アラインメント
     • 使用する意図は、事前に定義されているクラスに分類されている
     • 類似度の検索に使用する履歴が与えられた時に意図を何らかの方法で推定しているのかも？
• 最終的な類似度は、これらの重み付け和になっている
• 類似度を計測するためのデータ集合は新たな軌跡が得られた時に更新する
  • LLMでユーザーの意図が達成できたと分類された時にデータ集合に追加する

👀新たに分かったことは何か

• ToolQAやτ-benchによる評価では、既存手法よりも概ね良い性能であった
  • ベースライン手法はTool Augmented LLMらしい
• Ablation Studyでは、2と3の指標のどちらも重要っぽいことが示されている
  • ToolQAのEasyでは3を無くすとスコアが大きく下がり、Hardでは2を無くす時が大きくスコアが下がった
  • 全体的には3の影響度が大きそうだけど、これは良く分かんないなあ

❓疑問点は何か

特になし

📄論文情報

• AxBench: Steering LLMs? Even Simple Baselines Outperform Sparse Autoencoders
• ICML 2025

🔑この論文のキーメッセージ

• （1, 2文でまとめる）

🎓どういう問題に取り組んだのか

• LLMの内部表現に介入する手法の評価をするためのベンチマークデータセットを構築した

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• LLMの内部表現に介入する様々な手法が提案されている。
• だが、統一したベンチマークが存在しないため公平な評価ができていないという課題がある。

💡問題解決に向けたキーアイデアは何か

• Concept DetectionとModel Steeringの二つの指標を評価するためのデータセットを構築した
  • Concept Detectionはシンプルな分類問題
  • Model Steeringは、生成した文章をLLMが評価するものになる
• データの用意のために、GPT-4oを使用したデータ拡張が行なわれている
• Concept Dataset Generation
  • データセットの形式はPreferenceデータセットと同じ形式になっている
  • 指示とポジティブなデータはLLMにより生成されている
  • ネガティブなデータには、異なるコンセプトに属するレスポンスを使用している
  • タスクの評価指標には、特定のレイヤーの各トークンの中間表現を用いて分類器が予測した確率の最大値を用いている
    • 分類器の予測は[0-1]の一次元の出力になる
• Model Steering
  • 評価指標
    • LLMが応答を0、1、2のいずれかで評価する
    • スコアは、Concept、Instructoin、Fluencyの3つを使用する
    • 最終スコアは、調和平均を使用している
• 論文中で報告されているのは、特定のレイヤーにおけるスコアになっている
  • Model Steeringでは特定のレイヤーに介入した時のスコアになっている

👀新たに分かったことは何か

• Concept DetectionではProbeベースの手法が、SAEを使用する手法よりも良い性能であった
  • 評価指標は、AUROCを用いている
  • 特に、SAEはデータのバランスが悪いと性能が低下する傾向がある
• Model Steeringにおいては、SAEの方が良い性能であるがLoRAやSFTよりも性能が低い結果であった

❓疑問点は何か

• Model Steeringのスコアにおいて、定量的なものが採用されていないのが気になる
  • LLMによる評価だけで良いのかはとても疑問
• Gemma以外のモデルの性能はどうなのだろう

📄論文情報

• SAEs Are Good for Steering – If You Select the Right Features
• EMNLP 2025 main

🔑この論文のキーメッセージ

• （1, 2文でまとめる）

🎓どういう問題に取り組んだのか

• SAEを用いた特徴量選択において、入力と出力の特徴量のそれぞれに影響がある特徴量を見つけること

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• Sparse AutoEncoder(SAE)は介入するための特徴量を選択する時に有効な手法である
• だが、介入のために有効な特徴を選択することはまだ未知の問題である

💡問題解決に向けたキーアイデアは何か

• 特徴量を以下の二種類に分類し、分類するための指標を提案した
  • Input features：モデルに入力されたパターンを認識する特徴量
  • Output features：モデルが生成するトークンに影響する特徴量
• これらの分析には、Logit Lensが使用されている
  • Logit Lengsはモデルのパラメータを語彙空間に射影し、その出力分布を見てパラメータを分析する方法のこと
• Input featuresのスコアの計算には、任意の文章集合を用いる
  • この文章集合において最も大きくSAEのトークンを発火させたトークンと、Logit Lensにより予測されたトークンの一致率をスコアとしている
• Output Featuresのスコアの計算にはLogit Lensにより予測されたトークンのスコアと順位、確率を使用する
  • その特徴量に介入を行った時のモデルの出力分布と介入をする前の分布の差をスコアとしている
  • Logit Lensによる予測結果を用いて介入する前の出力分布を計算しているが、よく分からなかった

👀新たに分かったことは何か

• 上記のスコアをGemmaやLlamaに適用した所、Gemmaにおいては入力に近い層ではInput features、出力に近い層ではOutput Featuresのスコアが大きくなっていた。
  • それ以外のモデルにおいては、この傾向は当てはまっていない
• Output featuresが高いパラメータに介入することによる出力文章の変化を計算した
  • 実験では、スコアに閾値を用意し介入する特徴量を選択している
  • 評価には、Generation Success@Kを使用している。
  • Logit Lensにより予測されたTop-kのトークンと文章に含まれるトークンの一致率を計算している。
• 閾値を上げると、Generation Success@Kが上昇することが分かった

❓疑問点は何か

• スコアの計算結果で、きれいな結果が出ているのがGemmaだけなのが気になる
  • 介入の結果は同様の傾向を示している
• 結局Output featuresが高いものが良い特徴であるのか？
• 介入の方法が良く分からなかった
  • 方向を決める方法が知りたい

📄論文情報

• Gorilla: Large Language Model Connected with Massive APIs
• NeurIPS 2024

🔑この論文のキーメッセージ

• LLMのAPIを呼び出す能力は、LLM自身に与えられたAPIのドキュメントが正確であるか判断させながら学習を進めると良い
• API呼び出しの評価はASTの部分木マッチングを使用すると良い

🎓どういう問題に取り組んだのか

• LLMが外部のAPIを上手く活用するための学習方法を提案した
• また、LLMのAPI活用能力を評価するためにベンチマークデータセットを構築した

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• APIを呼び出すためのコードをLLMが生成することはまだ難しいタスクである
• APIの使用は頻繁に更新されることが原因の一つとして挙げられている

💡問題解決に向けたキーアイデアは何か

• 評価のために、APIBenchと呼ばれるベンチマークデータセットを構築した
  • TorchHubなどにアップロードされているモデルカードから仮想APIの呼び出しコードを作成している
  • このAPIについて指示をGPT-4を使用して生成している
• Retriever-Aware Training
  • プロンプトに含まれているAPIのドキュメントが不正確である可能性がある
  • 最初に、プロンプトに含まれているドキュメントが正確であるかを予測する
    • 学習データには、不正確なドキュメントを含めるように拡張している
  • 正確ではない予測した場合、そのドキュンメントを使用して推論しないように学習を促す
• 評価にはASTの部分木マッチングを使用している
  • APIの引数には、必要ではないものが存在している
  • そこで、構文木を作っておき、LLMの生成した呼び出しのコードが部分木であるかどうかを判定して評価している

👀新たに分かったことは何か

• 学習したモデル（論文中ではGorilla）がベースラインモデル（GPT-4やLLama）よりzero-shotやFew-shotで良い性能であった
  • Few-shotに使用するRetrieverを変えても同様の結果になった
• ASTによる評価は、人手評価と同様の性能を示している

❓疑問点は何か

• 実装のイメージがつかない
  • LLMが与えられたドキュメントを判断した後に、プロンプトの文言を追加するという事なのか
• Gorillaはオリジナルのモデルではないよな？
  • Llamaベースのモデルになると思うが、シンプルなSFTをした時との比較は無いのだろうか

📄論文情報

• SAE-SSV: Supervised Steering in Sparse Representation Spaces for Reliable Control of Language Models
• EMNLP 2025 main

🔑この論文のキーメッセージ

• SAEを用いた特徴量を用いて介入を行うことで、LLMをより良く制御することができる

🎓どういう問題に取り組んだのか

• 自由記述タスクにおけるLLMへのパラメータ介入手法の性能を向上すること
• 特に、介入に使用する適切なベクトルを構築することを目的する

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• LLMの生成文章を制御する方法として、中間表現を制御するステアリングがある
• 既存のステアリング手法の評価は、QAや選択問題などの制約がある
• 加えて、ヒューリスティックな方法であるため文脈などを取りこぼすことがある

💡問題解決に向けたキーアイデアは何か

• Sparse Auto Encoder(SAE)を使用して、介入する方向を決めること
  • エンコーダの出力が、入力次元数よりも大きいAuto Encoderのこと
• SAEが抽出したベクトル表現を使用して、Probingを行いそのタスクにおいて有効な特徴量を見つけている
  • 特徴量を見つけるために、F-Statisticを使用して次元削減をしているっぽい
  • これ以外にも、学習した線形モデル（Probe）の次元削減をするための工夫がある
• 複数のProbeを学習し、その平均ベクトルを介入ベクトルとする
• この介入ベクトルを最適化するために、追加の学習をすることで微調整する
  • ポジティブとネガティブに分類されたデータからSAEが抽出した特徴量に介入する
  • この介入後の特徴量が、ポジティブなデータとネガティブなデータの特徴量のセントロイドに近くなるように学習する
  • 加えて、言語モデル自体の損失関数や介入ベクトルに対するL1損失を制約として使用している

👀新たに分かったことは何か

• 性能的には、既存の介入手法よりも良いスコアになっている

• SAEにより抽出された特徴量が良くクラスを分類できる特徴量になっていることが分かった

  • SAEによる特徴量の抽出を用いた介入の有効性を示している

• Ablation Studyにより損失関数の必要性が示されている

  • Probeの学習を行わないと、出力文章の整合性や論理性が無くなる

  • 言語モデルの損失を無くすと、ベースになる言語モデルの応答を保持することが難しくなる

• 介入の方向については提案手法で良い方向を見つけることができたが、大きさについては未知である

❓疑問点は何か

• 手法が複雑だと思った
• SAEの学習やProbingの調整に必要な計算コストがどれくらいなのが気になる
• 評価にLLMを使用するのが適切であるかどうか分からない
  • 生成された文章が対象の文章を適切に反映できているのかを評価させている
• ベースモデルの評価が無いのが気になる
  • Ablation Studyに一応あった

📄論文情報

• APIGen: Automated PIpeline for Generating Verifiable and Diverse Function-Calling Datasets
• NeurIPS2024
• Salesforceの著者らによるもの

🔑この論文のキーメッセージ

• LLMのFunction Callingの性能向上のためには、多くのAPIに関する情報があると良い

🎓どういう問題に取り組んだのか

• Function Callingとは、自然言語の指示にの応答を生成するために必要なAPIを叩き、必要な情報を得るタスクのことを指す
• この論文では、このタスクの学習に必要なデータを自動生成するためのパイプラインを提案している

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• 既存のfunction callingデータセットは実用のためには不十分である
  • 例えば、学習データ内で使用されているAPIが一部のカテゴリに偏っている場合、そのデータで学習されたLLMエージェントは他のAPIからのデータの取得ができなくなるという課題がある。
• そのため、多様なAPIを扱うデータセットが必要になる

💡問題解決に向けたキーアイデアは何か

• 提案手法は、データの生成と多段階によるフィルタリングから構成されている
• データの生成
  1. 既存のAPIを用いたQAペアをJSON形式に変する。
  2. プロンプトはデータ生成の目的になるテンプレートを選択し、QAペアを生成させる
  3. 生成されたペアをJSON形式に変換する
• 生成されたデータをフィルタするために以下の3つの方法を用いる
  1. フォーマットの検証：生成されたJSONのフォーマットが正しいか、APIの呼び出し時に適切な引数を指定しているか検証する
  2. 実行可能性の検証：データに含まれたAPIが実行可能であるか検証する、実行可能ではない場合、フィルターする
  3. 文法の検証：複数のLLMを用いて、目的を達成するための関数を呼び出すことができるかなどを総合的に評価する
• データの多様性を確保するために、テンプレートを複数用意することや、基データからどのようなデータをサンプリングするかを工夫している

👀新たに分かったことは何か

• ToolBenchを基データとして生成を行った

  • 基データとして活用するために、いくつかのフィルターを適用したの3500件を使用している

• 生成パイプラインを様々なLLMを用いて検証した所、小規模なモデルは無効なAPIを呼び出る例が多い

• 学習したモデルの評価はBerkley Function-Callingデータセットを使用している

• FCのために学習されたLLMはGPT-4oなどよりも良い性能を示している

  • 学習に使用しているLLMは1Bと7Bのモデルなので、より小規模なパラメータになっているかも？

• 各フィルタリングステップにおいて、フィルター後のデータを用いてモデルを学習し、評価した

  • 上の説明において、フォーマットの検証のみを適用したデータ、1と2を適用したデータ、全てを適用したデータに分けている
  • 評価結果としては、全てを適用したデータにより学習されたLLMの性能が最も良かった
  • このことから、提案したフィルター方法の有効性が分かる

❓疑問点は何か

• GPTとかのモデルの比較って平等な比較になっているのか疑問だった
• 生成されたデータの多様性の評価は行われていないのが気になった
  • プロンプトのテンプレやデータの持ってき方の工夫で十分なのかな