所属 : 東京大学総合文化研究科広域科学専攻広域システム科学系 学年 : D1
Kei MoriyamaKei Moriyama keimoriyama
D1 @babalablab
README.md
Popular posts
「教誨師」を読んだ。 50年の間に死刑執行に立ち会い続けた渡邉普相という人の体験談が書いてある本だった。 紀伊国屋書店が推薦していたので、軽い気持ちで買ってみたが、内容は想像以上だった。
教誨師は死ぬ運命にある死刑囚と対話と続けつつ、最後に執行の瞬間まで立ち会う職業だあるとは知らなかった。 死刑執行を取り囲む人の様子が一番印象に残った。 70年代の死刑の執行は、ある刑務官がハンドルを引くと床が空き、首が締まる仕組みになっている。 なので、現代とは異なり、執行する人にもかなりのストレスがかかる仕組みだった。 執行した人が他の刑務官に声をかけられるまで、放心状態であった描写は何か印象に残っている。
死刑囚との対話の様子は、死刑って本当に必要なのだろうか？と考えてしまった。 うーん、、、
📄論文情報
🔑この論文のキーメッセージ
- 人間に文章を編集させることで、その人に合わせたLLMを学習することができる
🎓どういう問題に取り組んだのか
- LLMをオンライン学習により逐次的に更新するためのフレームワークの
- LLMが生成した文章を人間が修正し、その結果を使用してパラメータを更新する
🧑🎓その問題に取り組むことがなぜ重要なのか
- LLMをユーザーの知識や好みに合わせるためには、継続的な学習が必要であるため
- プロンプトによるコンテキスト補足では、十分ではないと考えているっぽい
💡問題解決に向けたキーアイデアは何か
- LLMが生成した文章を人間が修正することで、修正後の文章の方が良いというフィードバックが得られる
- これより、あるプロンプトに対する選好データセットが構築できる
- このデータを用いてDPOによりLLMを逐次的に更新する
- このフレームワークを一般化したアルゴリズムや理論的な証明がされている
- 証明の方は追い切れなかった
👀新たに分かったことは何か
- 提案手法により、LLMが報酬を大きくする方向に学習できていることが分かった
- フィードバックの形式は報酬モデルと、後半nトークンをExpertモデルにより選択する方法を用いている
- 一対比較などの相対的な評価よりも、編集形式のフィードバックの方が有効である
- KL距離と報酬値のバランスや、最終的に学習されたモデルと学習前のLLMの一対比較のwin rateでも示されている
❓疑問点は何か
- 編集のフィードバックが後半nトークンなのが気になった
- n=5や10であったので、現実的ではないのかもしれない
- 学習に必要なデータ数が多い
- 現実にデプロイするとして、まだ壁がありそう
知性の罠を読んだ。 陰謀論にはまったノーベル賞学者の話などの個人の話に閉じた本だと思っていたら、終盤は組織を対象とした話があり、最後まで面白く読めた。
僕にとってはは学びが多い本だった。 IQなどの知能を計測するための指標の話も良かったが、世間的に賢いとされる人が陥りやすい罠についての話が一番印象的だった。 このような罠にはまらないために、他の人の意見に耳を傾ける謙虚さが必要であるという当たり前のことが書いてあったが、実践できているかと聞かれると微妙だ。 罠にかかる人は、謙虚ではない特徴があるらしく、自分と重なった。 過去に、自分が出した研究アイデアに固執したり、査読の結果について文句を言ったりしていた。 この行動は、本書の中で取り上げられていた謙虚さが無い人の典型的な行動に当てはまるので、刺さった。。。 謙虚さを見につけるようにしていきたい。
チームについての話は、直感を裏切るような話が多かったので、ぜひ本を読んで体感してもらいたい!
📄論文情報
🔑この論文のキーメッセージ
- （1, 2文でまとめる）
🎓どういう問題に取り組んだのか
- LLMの内部表現に介入する良いベクトルを学習にすること
🧑🎓その問題に取り組むことがなぜ重要なのか
- 既存の内部表現に介入する手法は、出力のトークンとの関係を考慮しきれていないため
💡問題解決に向けたキーアイデアは何か
- DPOと類似した報酬モデル損失関数を提案する
- この損失において、参照モデルは介入前のモデル、学習するモデルは介入後のモデルとして介入ベクトルを学習する
- 学習においては、正例と負例の報酬値の差が大きくなるように学習を進める
👀新たに分かったことは何か
- ペルソナを考慮したタスクやTruthfulnessなどのタスクを対象として評価した
- 学習した介入ベクトルを用いて正の方向に介入するとスコアが良くなり、負の方向にするとスコアが低下した
- 既存手法よりもスコアが大きく変化しているので、良いベクトルが学習できていると言える
- また、アンサンブルしても上手く動作することが分かった
📄論文情報
🔑この論文のキーメッセージ
- 情報量を目的関数として使用することで、介入の結果と生成される文章の分布のマッチングを考慮した学習ができる
🎓どういう問題に取り組んだのか
- 勾配法を用いてLLMの内部表現に介入するベクトルを学習するための新しい目的関数を提案した
- 介入するベクトルにはコンセプトという情報を持たせる必要がある
🧑🎓その問題に取り組むことがなぜ重要なのか
- 勾配法を使用して介入ベクトルを学習する手法は、過学習や性能低下の問題があるため？
- 学習したいのは、ある入力に対して適切に介入ベクトルを計算するためのモデル
- このモデルをコンセプトベクトルと言っているのか？
💡問題解決に向けたキーアイデアは何か
- 情報量ベースの目的関数を提案して学習する
- 学習に使用するデータはコンセプトを保持している入力と応答のペアと保持していないペアから構成される
- これらのトークン列に対すJS Divergenceを最小にするように学習を行う
- 計算においては、入力を入れ変えてかつ介入を行う時の分布と、基のペアの分布との間で計算されている
👀新たに分かったことは何か
- 評価にはAxBenchのConcept500を使用している
- 2Bのモデルの性能は既存手法よりも低い結果であるが、介入する場所毎のスコアの差が小さくなっている
- 介入する場所に依存しない手法になっていると言える
❓疑問点は何か
📄論文情報
🔑この論文のキーメッセージ
- 差分の平均を介入ベクトルとすることで、LLMの安全性を個別最適化できる
🎓どういう問題に取り組んだのか
- LLMが生成する文章の安全性をパーソナライズすること
- この時に、LLMを学習するのではなく、内部表現に介入することで実現する
🧑🎓その問題に取り組むことがなぜ重要なのか
- 現在のLLMは全体にとって安全な文章を生成するように学習されている
- しかし、多様なユーザーの思想などを考慮しきることができていない
- 既存の安全性を個別に最適化する手法は、構造化されたデータや報酬モデルが必要である
- 介入する手法においても、介入する方向を決めるデータは汎用的な安全性を扱うデータで決定されている
💡問題解決に向けたキーアイデアは何か
- 理論的な解析を基に新しい介入ベクトルを計算する方法を提案した
- 介入ベクトルを計算するためのデータには、あるプロンプトに対するポジティブなデータとネガティブなデータがある
- 既存の介入ベクトルの計算では、それぞれのデータに対する平均ベクトルの差を使用している
- この論文で提案している手法は、差分ベクトルの平均ベクトルを使用している
- 既存の手法との違いについての理論的な解析がされているが、分からなかった
- この論文のキモな気がする
👀新たに分かったことは何か
- プロンプトによる条件付けたLLMで生成したデータを使用して評価している
- ソースのデータは既存のLLMを使用している
- ベンチマークにおけるスコアが既存の手法よりも良い結果であった
- 良い介入ができているということになる
- 一方で、評価がLLMによるスコアリングだけというのは気になる
- 有害性などの評価においては、既存の手法が良さそうに見えるが、有用性と合わせてみると、提案手法の方が良い結果になっている
❓疑問点は何か
- LLMによる評価だけというのが気になる
Less