📄論文情報
🔑この論文のキーメッセージ
- LLMが生成する応答を人間が書いた応答を比較することで、LLMが生成する文章のスタイルを合わせることができる。
🎓どういう問題に取り組んだのか
- LLMの内部表現に介入して、生成する文章を個人に最適化すること
🧑🎓その問題に取り組むことがなぜ重要なのか
- ユーザー毎に最適化されたテキストを生成する需要が高まっている
- 既存の手法はRAGやPEFTによる手法が注目されている
- これらの手法は計算コストが高いことや、ユーザー特有の言い回しに影響されやすい
💡問題解決に向けたキーアイデアは何か
- LLMの隠れ層に介入することで、個人に最適化された文章を生成すること
- 前提として、あるユーザーのプロンプトとそれに対する応答がある
- 最初に、LLMはプロンプトに対する応答を生成する
- プロンプトと応答を繋げた文章の最終トークンに該当する特徴量を使って介入する方向の計算をする
- ユーザーの応答を繋げた場合の特徴量をポジティブ、LLMの応答を繋げた場合の特徴量をネガティブとしている
- こうすることで、今のLLMがその人に合わせるためにどれくらい介入すれば良いか計算できる
- 方向の計算には、様々な方法を使用している
- PCAとか、Mean Differenceなどなど
- ユーザーの応答を繋げた場合の特徴量をポジティブ、LLMの応答を繋げた場合の特徴量をネガティブとしている
- ここで計算したベクトルを用いて介入する
👀新たに分かったことは何か
- 個別最適化ベンチマークのLaMPで評価した
- 短文を評価するものと長文を評価するものの二つがある
- 提案手法は、RAGやPEFTの手法よりも良い性能を示している
- 介入量により性能が大きく変わる
- 提案手法により推定された介入ベクトルにおいて正の方向に介入するとユーザーのスタイルを反映しやすくなるが、負の方向にするとスタイルが関係無くなってしまう
❓疑問点は何か
- 実験のスタイルベクトルの計算には何を使用したのだろうか？
- スタイルベクトルの計算方法によって性能が変わったりするのかな