📄論文情報
🔑この論文のキーメッセージ
- 入力の文章を使用して介入ベクトルを構築することで、LLMの性能が向上する
🎓どういう問題に取り組んだのか
- LLMの入力に応じて、介入ベクトルを適応的に変更すること
🧑🎓その問題に取り組むことがなぜ重要なのか
- 既存のLLMの内部表現に介入する手法は、介入ベクトルが固定である
- そのため、様々な入力に対して適切に介入できているとは限らないという課題がある
- 入力の文脈などにより、入力ベクトルが変化するのに対して、固定の介入ベクトルでは対応することができない
💡問題解決に向けたキーアイデアは何か
- 既存のデータセットで介入するパラメータを決めるためのマスクを作成する
- 既存のデータセットはあるプロンプトに対する良い応答と悪い応答から構成される
- 入力と出力のペアを入力した時の最終トークンの内部表現を取得する
- 良い応答と悪い応答の時の差分ベクトルを計算し、レイヤー毎の平均値を計算する
- この平均値が大きいtop-Kのパラメータに介入する
- LLMへの入力においてはこのマスクを使用して介入する
- 介入ベクトルは、プロンプトの最終トークンのActivationを使用する
- このActivationを上記のマスクでフィルターし、設定された介入量を掛けたベクトルを介入ベクトルとする
👀新たに分かったことは何か
- 選択問題や自由記述のタスクにおいて既存の手法よりも良い性能であった
- タスクによって介入すると良いパラメータが異なる
- ベンチマークによっては、既存の手法よりも性能が低くなる時がある
- 良いハイパラはタスク依存である
- 小規模なLMにおいては、SFTよりも有効な結果になっている
- Few-shotの設定や他言語の設定においても有効であった
❓疑問点は何か
- 文章を生成する時に、入力の文脈を残しやすくなっているという事になるのか？
- ロングコンテキスト設定において有効そうな気がする