📄論文情報
🔑この論文のキーメッセージ
- 差分の平均を介入ベクトルとすることで、LLMの安全性を個別最適化できる
🎓どういう問題に取り組んだのか
- LLMが生成する文章の安全性をパーソナライズすること
- この時に、LLMを学習するのではなく、内部表現に介入することで実現する
🧑🎓その問題に取り組むことがなぜ重要なのか
- 現在のLLMは全体にとって安全な文章を生成するように学習されている
- しかし、多様なユーザーの思想などを考慮しきることができていない
- 既存の安全性を個別に最適化する手法は、構造化されたデータや報酬モデルが必要である
- 介入する手法においても、介入する方向を決めるデータは汎用的な安全性を扱うデータで決定されている
💡問題解決に向けたキーアイデアは何か
- 理論的な解析を基に新しい介入ベクトルを計算する方法を提案した
- 介入ベクトルを計算するためのデータには、あるプロンプトに対するポジティブなデータとネガティブなデータがある
- 既存の介入ベクトルの計算では、それぞれのデータに対する平均ベクトルの差を使用している
- この論文で提案している手法は、差分ベクトルの平均ベクトルを使用している
- 既存の手法との違いについての理論的な解析がされているが、分からなかった
- この論文のキモな気がする
👀新たに分かったことは何か
- プロンプトによる条件付けたLLMで生成したデータを使用して評価している
- ソースのデータは既存のLLMを使用している
- ベンチマークにおけるスコアが既存の手法よりも良い結果であった
- 良い介入ができているということになる
- 一方で、評価がLLMによるスコアリングだけというのは気になる
- 有害性などの評価においては、既存の手法が良さそうに見えるが、有用性と合わせてみると、提案手法の方が良い結果になっている
❓疑問点は何か
- LLMによる評価だけというのが気になる