Kei Moriyama keimoriyama

📄論文情報

• ICML 2024
• Coactive learning for large language models using implicit user feedback

🔑この論文のキーメッセージ

• 人間に文章を編集させることで、その人に合わせたLLMを学習することができる

🎓どういう問題に取り組んだのか

• LLMをオンライン学習により逐次的に更新するためのフレームワークの
• LLMが生成した文章を人間が修正し、その結果を使用してパラメータを更新する

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• LLMをユーザーの知識や好みに合わせるためには、継続的な学習が必要であるため
• プロンプトによるコンテキスト補足では、十分ではないと考えているっぽい

💡問題解決に向けたキーアイデアは何か

• LLMが生成した文章を人間が修正することで、修正後の文章の方が良いというフィードバックが得られる
• これより、あるプロンプトに対する選好データセットが構築できる
• このデータを用いてDPOによりLLMを逐次的に更新する
• このフレームワークを一般化したアルゴリズムや理論的な証明がされている
  • 証明の方は追い切れなかった

👀新たに分かったことは何か

• 提案手法により、LLMが報酬を大きくする方向に学習できていることが分かった
  • フィードバックの形式は報酬モデルと、後半nトークンをExpertモデルにより選択する方法を用いている
• 一対比較などの相対的な評価よりも、編集形式のフィードバックの方が有効である
  • KL距離と報酬値のバランスや、最終的に学習されたモデルと学習前のLLMの一対比較のwin rateでも示されている

❓疑問点は何か

• 編集のフィードバックが後半nトークンなのが気になった
  • n=5や10であったので、現実的ではないのかもしれない
• 学習に必要なデータ数が多い
  • 現実にデプロイするとして、まだ壁がありそう

📄論文情報

• Personalized Steering of Large Language Models: Versatile Steering Vectors Through Bi-directional Preference Optimization
• NeurIPS 2026

🔑この論文のキーメッセージ

• （1, 2文でまとめる）

🎓どういう問題に取り組んだのか

• LLMの内部表現に介入する良いベクトルを学習にすること

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• 既存の内部表現に介入する手法は、出力のトークンとの関係を考慮しきれていないため

💡問題解決に向けたキーアイデアは何か

• DPOと類似した報酬モデル損失関数を提案する
  • この損失において、参照モデルは介入前のモデル、学習するモデルは介入後のモデルとして介入ベクトルを学習する
• 学習においては、正例と負例の報酬値の差が大きくなるように学習を進める

👀新たに分かったことは何か

• ペルソナを考慮したタスクやTruthfulnessなどのタスクを対象として評価した
• 学習した介入ベクトルを用いて正の方向に介入するとスコアが良くなり、負の方向にするとスコアが低下した
  • 既存手法よりもスコアが大きく変化しているので、良いベクトルが学習できていると言える
• また、アンサンブルしても上手く動作することが分かった

📄論文情報

• Faithful Bi-Directional Model Steering via Distribution Matching and Distributed Interchange Interventions
• ICLR 2026

🔑この論文のキーメッセージ

• 情報量を目的関数として使用することで、介入の結果と生成される文章の分布のマッチングを考慮した学習ができる

🎓どういう問題に取り組んだのか

• 勾配法を用いてLLMの内部表現に介入するベクトルを学習するための新しい目的関数を提案した
• 介入するベクトルにはコンセプトという情報を持たせる必要がある

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• 勾配法を使用して介入ベクトルを学習する手法は、過学習や性能低下の問題があるため？
• 学習したいのは、ある入力に対して適切に介入ベクトルを計算するためのモデル
  • このモデルをコンセプトベクトルと言っているのか？

💡問題解決に向けたキーアイデアは何か

• 情報量ベースの目的関数を提案して学習する
• 学習に使用するデータはコンセプトを保持している入力と応答のペアと保持していないペアから構成される
• これらのトークン列に対すJS Divergenceを最小にするように学習を行う
  • 計算においては、入力を入れ変えてかつ介入を行う時の分布と、基のペアの分布との間で計算されている

👀新たに分かったことは何か

• 評価にはAxBenchのConcept500を使用している
• 2Bのモデルの性能は既存手法よりも低い結果であるが、介入する場所毎のスコアの差が小さくなっている
  • 介入する場所に依存しない手法になっていると言える

❓疑問点は何か

📄論文情報

• Inference-Time Personalized Safety Control via Paired Difference-in-Means
• ICLR 2026

🔑この論文のキーメッセージ

• 差分の平均を介入ベクトルとすることで、LLMの安全性を個別最適化できる

🎓どういう問題に取り組んだのか

• LLMが生成する文章の安全性をパーソナライズすること
• この時に、LLMを学習するのではなく、内部表現に介入することで実現する

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• 現在のLLMは全体にとって安全な文章を生成するように学習されている
  • しかし、多様なユーザーの思想などを考慮しきることができていない
• 既存の安全性を個別に最適化する手法は、構造化されたデータや報酬モデルが必要である
  • 介入する手法においても、介入する方向を決めるデータは汎用的な安全性を扱うデータで決定されている

💡問題解決に向けたキーアイデアは何か

• 理論的な解析を基に新しい介入ベクトルを計算する方法を提案した
• 介入ベクトルを計算するためのデータには、あるプロンプトに対するポジティブなデータとネガティブなデータがある
• 既存の介入ベクトルの計算では、それぞれのデータに対する平均ベクトルの差を使用している
• この論文で提案している手法は、差分ベクトルの平均ベクトルを使用している
  • 既存の手法との違いについての理論的な解析がされているが、分からなかった
  • この論文のキモな気がする

👀新たに分かったことは何か

• プロンプトによる条件付けたLLMで生成したデータを使用して評価している
  • ソースのデータは既存のLLMを使用している
• ベンチマークにおけるスコアが既存の手法よりも良い結果であった
  • 良い介入ができているということになる
  • 一方で、評価がLLMによるスコアリングだけというのは気になる
• 有害性などの評価においては、既存の手法が良さそうに見えるが、有用性と合わせてみると、提案手法の方が良い結果になっている

❓疑問点は何か

• LLMによる評価だけというのが気になる

📄論文情報

• Semantics-Adaptive Activation Intervention for LLMs via Dynamic Steering Vectors
• ICLR 2025

🔑この論文のキーメッセージ

• 入力の文章を使用して介入ベクトルを構築することで、LLMの性能が向上する

🎓どういう問題に取り組んだのか

• LLMの入力に応じて、介入ベクトルを適応的に変更すること

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• 既存のLLMの内部表現に介入する手法は、介入ベクトルが固定である
• そのため、様々な入力に対して適切に介入できているとは限らないという課題がある
  • 入力の文脈などにより、入力ベクトルが変化するのに対して、固定の介入ベクトルでは対応することができない

💡問題解決に向けたキーアイデアは何か

• 既存のデータセットで介入するパラメータを決めるためのマスクを作成する
  • 既存のデータセットはあるプロンプトに対する良い応答と悪い応答から構成される
  • 入力と出力のペアを入力した時の最終トークンの内部表現を取得する
  • 良い応答と悪い応答の時の差分ベクトルを計算し、レイヤー毎の平均値を計算する
  • この平均値が大きいtop-Kのパラメータに介入する
• LLMへの入力においてはこのマスクを使用して介入する
  • 介入ベクトルは、プロンプトの最終トークンのActivationを使用する
  • このActivationを上記のマスクでフィルターし、設定された介入量を掛けたベクトルを介入ベクトルとする

👀新たに分かったことは何か

• 選択問題や自由記述のタスクにおいて既存の手法よりも良い性能であった
• タスクによって介入すると良いパラメータが異なる
  • ベンチマークによっては、既存の手法よりも性能が低くなる時がある
• 良いハイパラはタスク依存である
• 小規模なLMにおいては、SFTよりも有効な結果になっている
• Few-shotの設定や他言語の設定においても有効であった

❓疑問点は何か

• 文章を生成する時に、入力の文脈を残しやすくなっているという事になるのか？
  • ロングコンテキスト設定において有効そうな気がする

📄論文情報

🔑この論文のキーメッセージ

• （1, 2文でまとめる）

🎓どういう問題に取り組んだのか

• LLMに介入する時の、介入量を調整することの効果を検証する

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• LLMの内部表現を特定の方向に動かすことで、LLMの応答が改善する
• この現象は、特定のタスクに有効な特徴が局所的に存在していることを示している
• そのため、出力に解釈性を持たせることができるが、モデル間で一貫した結果を得るための方法が存在しない

💡問題解決に向けたキーアイデアは何か

• 勾配法を用いて、介入ベクトルを学習する
  • 介入ベクトルは、トークンの場所ごとに学習する
• 介入ベクトルは{-1,0,1}の値を持つパラメータと介入の方向を決めるベクトルから構成される
  • 一つ目の方法では、ベクトルを勾配法により学習する
  • 二つ目の方法では、ベクトルの変わりにスカラー値を学習する
• 目的関数には、マージンベースの損失関数と、KL情報量とL1ノルムの正則化項がある
  • データセットは、あるプロンプトに対する正答と誤答があり、正答が生成されやすいように設計されている

👀新たに分かったことは何か

• 介入ベクトルの学習をすることで、生成される名詞が良いパターンを示している
  • 相関係数を使って分析している
• 詳しい分析が良く分からなかった

❓疑問点は何か

• 生成できるトークンの長さが限定的である仮定があるのは致命的では？
  • トークンの位置毎にベクトルを学習するというのは筋が良くないと思った
• パラメータ数の比較はポジショントーク臭がした

📄論文情報

• Steerable Chatbots: Personalizing LLMs with Preference-Based Activation Steering
• arXiv

🔑この論文のキーメッセージ

• （1, 2文でまとめる）

🎓どういう問題に取り組んだのか

• 人間の暗黙的な選好情報を反映して、LLMの生成文章を最適化すること

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• 既存の手法で、LLMの出力をパーソナライズするためには、過去のインタラクション結果が必要である。
• この時、新規のユーザーに対して対応することが難しい
• LLMの内部表現に介入する手法は、挙動を制御する手法として提案されている
  • 人間のインタラクションを通してこれを制御することで、cold-start問題に対応する

💡問題解決に向けたキーアイデアは何か

• Probingを使用して、LLMの内部表現に介入する方向を決定する
  • 分析には様々なドメインのデータを使用して、複数の軸のアンサンブルをしている
• それぞれの軸に対して重みが設定されている
  • ユーザーのフィードバック毎にこの重みが更新される

👀新たに分かったことは何か

• 重みを調整する事で良い調整前と比較して良い結果が得られている
  • シミュレーション実験と実実験の両方でその有効性が示されている

❓疑問点は何か

• 重みの更新方法が良く分からなかった

📄論文情報

• Adaptive Acquisition Selection for Bayesian Optimization with Large Language Models
• ICLR 2026

🔑この論文のキーメッセージ

• LLMに獲得関数を選択させることで、ベイズ最適化の効率が上がる

🎓どういう問題に取り組んだのか

• ベイズ最適化に使用する獲得関数をLLMに選択させる手法を提案した
  • LLMを活用することで、ベイズ最適化の状態などのメタ情報を扱うことができるようになっている

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• 獲得関数の性能はベイズ最適化において重要なパーツの一つである
  • そのため、適応的に獲得関数を選択することが性能の向上に繋がる
• 既存の手法では、評価値を元に獲得関数を決定している
  • ベイズ最適化の現在のステップ数などの情報を扱うことができない

💡問題解決に向けたキーアイデアは何か

• プロンプトにベイズ最適化の状態などの様々な情報を与える
• この与えられた情報を元にLLMは、獲得関数を選択する

👀新たに分かったことは何か

• 提案手法により、ベイズ最適化の性能が安定するようになっている
  • LLMを組み込むに当たって、ベイズ最適化の状態を含めることで安定性が向上している
• 性能がLLMの性能に依存する
  • パラメータ数を増やすとその分だけ、性能が向上していた
• LLMの選択する獲得関数には傾向がある
  • 状態を考慮して選択していると言えるかもしれない
  • 探索と活用を考慮して選択していそうな結果が得られている

❓疑問点は何か

• LLMの性能に依存する話ではある
• プロンプト頑張るとICLRに論文が通るような雰囲気を感じる

📄論文情報

• Unleashing LLMs in Bayesian Optimization: Preference-Guided Framework for Scientific Discovery
• ICLR 2026

🔑この論文のキーメッセージ

• LLMにベイズ最適化の探索範囲を推定させることで、探索が効率的になる

🎓どういう問題に取り組んだのか

• ベイズ最適化とLLMを組み合わせるフレームワークを提案する
• ベイズ最適化の一部にLLMを活用するのではなく、最適化プロセスにLLMを組み込む

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• AI4Scienceに向けて、ベイズ最適化とLLMの活用が注目されている
• ベイズ最適化とBOを組み合わせる研究が提案されているが、良い初期値を与えるためや、獲得関数として活用されている
• そのため、最適化プロセスの中に直接組み込まれていない

💡問題解決に向けたキーアイデアは何か

• LLMは良い探索範囲を提案できると仮定する
  • LLMが提案した探索範囲をBOで扱えるように拡張する
  • 提案する点については、プロンプトで指定するようにしている
• 提案した探索範囲を離散値に変換し、ベイズ最適化で扱えるようにしている
• 離散値に変換する時に重みなどのパラメータを設定しているっぽい

👀新たに分かったことは何か

• 実際の環境とシミュレーションを使って実験している
• シミュレーション実験においては、他のベイズ最適化と比較して、最適値に収束するのが早い
  • 加えて、最適値の値が大きくなっている
• 実実験においても同様の結果が得られている
  • LLMにより探索範囲を推定させることで、効率が良くなっている

❓疑問点は何か

• 使用するLLMの性能に依存しそう
• 実際の環境を使った実験があるのは凄い

📄論文情報

• Activation Space Interventions Can Be Transferred Between Large Language Models
• ICML 2025 poster

🔑この論文のキーメッセージ

• AutoEncoderを使うことで、中間表現への介入ベクトルを転移させることができる

🎓どういう問題に取り組んだのか

• ある言語モデルAにおける介入ベクトルが、別の言語モデルBにおいて同じ効果があるのか分析する

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• これまでの言語モデルの研究は言語モデル間の中間表現の類似度に注目してきた
• 一方で、実用的な介入技術においては無視され続けてきたため、実用面における評価が求められている

💡問題解決に向けたキーアイデアは何か

• 介入ベクトルの学習におけるマッピング関数の学習には、オートエンコーダーを使用して学習している
  • 一層の非線形関数を用いたシンプルなものを使っている
• 学習した特徴量を用いて介入するか、特徴量そのものを入れ変えるなどして性能を評価している

👀新たに分かったことは何か

• 転移できているのか?
• 論文中の言葉の意味がよく分からなかった
  • Table 1の結果を見た感じでは、介入によりベンチマークの性能が良くなっている
  • 線形エンコーダーよりも性能が良いので、非線形関数を使うことで有効な特徴量が学習できていると言えるかも
• 他の結果も良さそうだった、よく分からなかったけど

❓疑問点は何か

• 実験に使用しているLLMが小規模な気がする
• タスクが簡単に見える