Kei Moriyama / Adaptive Acquisition Selection for Bayesian Optimization with Large Language Models

📄論文情報

• Adaptive Acquisition Selection for Bayesian Optimization with Large Language Models
• ICLR 2026

🔑この論文のキーメッセージ

• LLMに獲得関数を選択させることで、ベイズ最適化の効率が上がる

🎓どういう問題に取り組んだのか

• ベイズ最適化に使用する獲得関数をLLMに選択させる手法を提案した
  • LLMを活用することで、ベイズ最適化の状態などのメタ情報を扱うことができるようになっている

🧑‍🎓その問題に取り組むことがなぜ重要なのか

• 獲得関数の性能はベイズ最適化において重要なパーツの一つである
  • そのため、適応的に獲得関数を選択することが性能の向上に繋がる
• 既存の手法では、評価値を元に獲得関数を決定している
  • ベイズ最適化の現在のステップ数などの情報を扱うことができない

💡問題解決に向けたキーアイデアは何か

• プロンプトにベイズ最適化の状態などの様々な情報を与える
• この与えられた情報を元にLLMは、獲得関数を選択する

👀新たに分かったことは何か

• 提案手法により、ベイズ最適化の性能が安定するようになっている
  • LLMを組み込むに当たって、ベイズ最適化の状態を含めることで安定性が向上している
• 性能がLLMの性能に依存する
  • パラメータ数を増やすとその分だけ、性能が向上していた
• LLMの選択する獲得関数には傾向がある
  • 状態を考慮して選択していると言えるかもしれない
  • 探索と活用を考慮して選択していそうな結果が得られている

❓疑問点は何か

• LLMの性能に依存する話ではある
• プロンプト頑張るとICLRに論文が通るような雰囲気を感じる