所属 : 東京大学総合文化研究科広域科学専攻広域システム科学系 学年 : D1
Kei MoriyamaKei Moriyama keimoriyama
D1 @babalablab
README.md
Popular posts
ゴリラ裁判の日を読んだ。 ローズが動物園を相手に、夫を殺されたことについて裁判を起こす話だった。 ある日、人間の子供が動物園の檻の中に入ってしまい、その子供をゴリラが引きずる事件が起きる。 そして、動物園はそのゴリラを殺した。 このゴリラがローズの夫であり、これは不当だとして訴えた所が話の序盤である。
ローズの一生に沿って、自然に話が展開されていくから、ゴリラの視点で話が楽しめた。 言葉を学習する様子だったり、言葉を理解できるからこそ見えてくる他のゴリラとの違いについての考察が面白かった。 特に、ローズが人間の文化などを理解しようとする謙虚な姿勢は、胸を打たれた。 このゴリラの姿勢を見習ってコミュニケーション取れるようにしたいし、ちゃんと言葉にして伝える重要性を痛感させられた。
まさか、プロレスをすることになるとは思わなかったけど。。。
📄論文情報
🔑この論文のキーメッセージ
- LLMに獲得関数を選択させることで、ベイズ最適化の効率が上がる
🎓どういう問題に取り組んだのか
- ベイズ最適化に使用する獲得関数をLLMに選択させる手法を提案した
- LLMを活用することで、ベイズ最適化の状態などのメタ情報を扱うことができるようになっている
🧑🎓その問題に取り組むことがなぜ重要なのか
- 獲得関数の性能はベイズ最適化において重要なパーツの一つである
- そのため、適応的に獲得関数を選択することが性能の向上に繋がる
- 既存の手法では、評価値を元に獲得関数を決定している
- ベイズ最適化の現在のステップ数などの情報を扱うことができない
💡問題解決に向けたキーアイデアは何か
- プロンプトにベイズ最適化の状態などの様々な情報を与える
- この与えられた情報を元にLLMは、獲得関数を選択する
👀新たに分かったことは何か
- 提案手法により、ベイズ最適化の性能が安定するようになっている
- LLMを組み込むに当たって、ベイズ最適化の状態を含めることで安定性が向上している
- 性能がLLMの性能に依存する
- パラメータ数を増やすとその分だけ、性能が向上していた
- LLMの選択する獲得関数には傾向がある
- 状態を考慮して選択していると言えるかもしれない
- 探索と活用を考慮して選択していそうな結果が得られている
❓疑問点は何か
- LLMの性能に依存する話ではある
- プロンプト頑張るとICLRに論文が通るような雰囲気を感じる
📄論文情報
- Unleashing LLMs in Bayesian Optimization: Preference-Guided Framework for Scientific Discovery
- ICLR 2026
🔑この論文のキーメッセージ
- LLMにベイズ最適化の探索範囲を推定させることで、探索が効率的になる
🎓どういう問題に取り組んだのか
- ベイズ最適化とLLMを組み合わせるフレームワークを提案する
- ベイズ最適化の一部にLLMを活用するのではなく、最適化プロセスにLLMを組み込む
🧑🎓その問題に取り組むことがなぜ重要なのか
- AI4Scienceに向けて、ベイズ最適化とLLMの活用が注目されている
- ベイズ最適化とBOを組み合わせる研究が提案されているが、良い初期値を与えるためや、獲得関数として活用されている
- そのため、最適化プロセスの中に直接組み込まれていない
💡問題解決に向けたキーアイデアは何か
- LLMは良い探索範囲を提案できると仮定する
- LLMが提案した探索範囲をBOで扱えるように拡張する
- 提案する点については、プロンプトで指定するようにしている
- 提案した探索範囲を離散値に変換し、ベイズ最適化で扱えるようにしている
- 離散値に変換する時に重みなどのパラメータを設定しているっぽい
👀新たに分かったことは何か
- 実際の環境とシミュレーションを使って実験している
- シミュレーション実験においては、他のベイズ最適化と比較して、最適値に収束するのが早い
- 加えて、最適値の値が大きくなっている
- 実実験においても同様の結果が得られている
- LLMにより探索範囲を推定させることで、効率が良くなっている
❓疑問点は何か
- 使用するLLMの性能に依存しそう
- 実際の環境を使った実験があるのは凄い
📄論文情報
🔑この論文のキーメッセージ
- AutoEncoderを使うことで、中間表現への介入ベクトルを転移させることができる
🎓どういう問題に取り組んだのか
- ある言語モデルAにおける介入ベクトルが、別の言語モデルBにおいて同じ効果があるのか分析する
🧑🎓その問題に取り組むことがなぜ重要なのか
- これまでの言語モデルの研究は言語モデル間の中間表現の類似度に注目してきた
- 一方で、実用的な介入技術においては無視され続けてきたため、実用面における評価が求められている
💡問題解決に向けたキーアイデアは何か
- 介入ベクトルの学習におけるマッピング関数の学習には、オートエンコーダーを使用して学習している
- 一層の非線形関数を用いたシンプルなものを使っている
- 学習した特徴量を用いて介入するか、特徴量そのものを入れ変えるなどして性能を評価している
👀新たに分かったことは何か
- 転移できているのか?
- 論文中の言葉の意味がよく分からなかった
- Table 1の結果を見た感じでは、介入によりベンチマークの性能が良くなっている
- 線形エンコーダーよりも性能が良いので、非線形関数を使うことで有効な特徴量が学習できていると言えるかも
- 他の結果も良さそうだった、よく分からなかったけど
❓疑問点は何か
- 実験に使用しているLLMが小規模な気がする
- タスクが簡単に見える
📄論文情報
🔑この論文のキーメッセージ
- ….?
🎓どういう問題に取り組んだのか
- 一対比較によるフィードバックを用いたベイズ最適化のregret boundを解析した
- この解析結果を元に新しいベイズ最適化のアルゴリズムを提案した
🧑🎓その問題に取り組むことがなぜ重要なのか
- 既存の解析論文では、ある定数がついていたが、この論文でこの定数を減らしても良い事を示した
- 通常のベイズ最適化とは異なり、評価値が一対比較であるため、regret boundの解析が複雑である
💡問題解決に向けたキーアイデアは何か
- よく分からなかった
- 理論的な事を理解するための知識が足りなすぎ
👀新たに分かったことは何か
- 何が分かれば分かるようになるのか分からない
❓疑問点は何か
📄論文情報
🔑この論文のキーメッセージ
- 様々な評価軸に重みを持たせることで、多様な価値観を考慮したLLMを作成することができる
🎓どういう問題に取り組んだのか
- 人間の多様な好みに合わせてLLMを最適化すること
- LLMは与えられたコンテキストに合わせた文章を生成する
- 生成した文章に対してd次元の報酬が与えられる
- この報酬に対する重みを個人に最適化し、LLMの生成文章の条件付ける
🧑🎓その問題に取り組むことがなぜ重要なのか
- 個人の価値観に合わせた文章を生成する技術が求められている
- 一方で、既存の学習手法は、一つの観点からの学習しかできずに、多様で複雑な人間の観点を反映することができない
💡問題解決に向けたキーアイデアは何か
- active learningベースの手法を提案した
- フィードバックの形式は、一対比較になっている
- クエリの選択方法としては、目的関数の期待値が最大になるものを用いている
- この目的関数は、重みなどのパラメータを考慮した関数になっている
- 重みの更新はベイズ推論により推定される
- 報酬の差が最大になるように学習されているっぽい
👀新たに分かったことは何か
- 実験は人間の変わりにLLMを使用して評価している
- 報酬関数は、様々な観点からの評価を行う既存の報酬モデルを使用している
- 人間のプロファイルとして、重みを事前に決めておき、この重みで条件付けしたLLMにより文章を生成している
- 最適化の効率が既存の手法よりも良い結果であった
- win-rateも既存手法より良いので、改善方法として妥当であることが分かる
❓疑問点は何か
- 良さそう。
- 人間の報酬モデルは既知ではないから、実用性があまり無い気がする
- 獲得関数の設計は参考になる
Less