📄論文情報
🔑この論文のキーメッセージ
- 人間に文章を編集させることで、その人に合わせたLLMを学習することができる
🎓どういう問題に取り組んだのか
- LLMをオンライン学習により逐次的に更新するためのフレームワークの
- LLMが生成した文章を人間が修正し、その結果を使用してパラメータを更新する
🧑🎓その問題に取り組むことがなぜ重要なのか
- LLMをユーザーの知識や好みに合わせるためには、継続的な学習が必要であるため
- プロンプトによるコンテキスト補足では、十分ではないと考えているっぽい
💡問題解決に向けたキーアイデアは何か
- LLMが生成した文章を人間が修正することで、修正後の文章の方が良いというフィードバックが得られる
- これより、あるプロンプトに対する選好データセットが構築できる
- このデータを用いてDPOによりLLMを逐次的に更新する
- このフレームワークを一般化したアルゴリズムや理論的な証明がされている
- 証明の方は追い切れなかった
👀新たに分かったことは何か
- 提案手法により、LLMが報酬を大きくする方向に学習できていることが分かった
- フィードバックの形式は報酬モデルと、後半nトークンをExpertモデルにより選択する方法を用いている
- 一対比較などの相対的な評価よりも、編集形式のフィードバックの方が有効である
- KL距離と報酬値のバランスや、最終的に学習されたモデルと学習前のLLMの一対比較のwin rateでも示されている
❓疑問点は何か
- 編集のフィードバックが後半nトークンなのが気になった
- n=5や10であったので、現実的ではないのかもしれない
- 学習に必要なデータ数が多い
- 現実にデプロイするとして、まだ壁がありそう