Avatar
😀

Organizations

  • 「教誨師」を読んだ。 50年の間に死刑執行に立ち会い続けた渡邉普相という人の体験談が書いてある本だった。 紀伊国屋書店が推薦していたので、軽い気持ちで買ってみたが、内容は想像以上だった。

    教誨師は死ぬ運命にある死刑囚と対話と続けつつ、最後に執行の瞬間まで立ち会う職業だあるとは知らなかった。 死刑執行を取り囲む人の様子が一番印象に残った。 70年代の死刑の執行は、ある刑務官がハンドルを引くと床が空き、首が締まる仕組みになっている。 なので、現代とは異なり、執行する人にもかなりのストレスがかかる仕組みだった。 執行した人が他の刑務官に声をかけられるまで、放心状態であった描写は何か印象に残っている。

    死刑囚との対話の様子は、死刑って本当に必要なのだろうか?と考えてしまった。 うーん、、、

    book Created Sat, 06 Jun 2026 00:00:00 +0900
  • 📄論文情報

    🔑この論文のキーメッセージ

    • 人間に文章を編集させることで、その人に合わせたLLMを学習することができる

    🎓どういう問題に取り組んだのか

    • LLMをオンライン学習により逐次的に更新するためのフレームワークの
    • LLMが生成した文章を人間が修正し、その結果を使用してパラメータを更新する

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • LLMをユーザーの知識や好みに合わせるためには、継続的な学習が必要であるため
    • プロンプトによるコンテキスト補足では、十分ではないと考えているっぽい

    💡問題解決に向けたキーアイデアは何か

    • LLMが生成した文章を人間が修正することで、修正後の文章の方が良いというフィードバックが得られる
    • これより、あるプロンプトに対する選好データセットが構築できる
    • このデータを用いてDPOによりLLMを逐次的に更新する
    • このフレームワークを一般化したアルゴリズムや理論的な証明がされている
      • 証明の方は追い切れなかった

    👀新たに分かったことは何か

    • 提案手法により、LLMが報酬を大きくする方向に学習できていることが分かった
      • フィードバックの形式は報酬モデルと、後半nトークンをExpertモデルにより選択する方法を用いている
    • 一対比較などの相対的な評価よりも、編集形式のフィードバックの方が有効である
      • KL距離と報酬値のバランスや、最終的に学習されたモデルと学習前のLLMの一対比較のwin rateでも示されている

    ❓疑問点は何か

    • 編集のフィードバックが後半nトークンなのが気になった
      • n=5や10であったので、現実的ではないのかもしれない
    • 学習に必要なデータ数が多い
      • 現実にデプロイするとして、まだ壁がありそう
    paper Created Fri, 05 Jun 2026 00:00:00 +0900
  • 知性の罠を読んだ。 陰謀論にはまったノーベル賞学者の話などの個人の話に閉じた本だと思っていたら、終盤は組織を対象とした話があり、最後まで面白く読めた。

    僕にとってはは学びが多い本だった。 IQなどの知能を計測するための指標の話も良かったが、世間的に賢いとされる人が陥りやすい罠についての話が一番印象的だった。 このような罠にはまらないために、他の人の意見に耳を傾ける謙虚さが必要であるという当たり前のことが書いてあったが、実践できているかと聞かれると微妙だ。 罠にかかる人は、謙虚ではない特徴があるらしく、自分と重なった。 過去に、自分が出した研究アイデアに固執したり、査読の結果について文句を言ったりしていた。 この行動は、本書の中で取り上げられていた謙虚さが無い人の典型的な行動に当てはまるので、刺さった。。。 謙虚さを見につけるようにしていきたい。

    チームについての話は、直感を裏切るような話が多かったので、ぜひ本を読んで体感してもらいたい!

    book Created Sat, 16 May 2026 00:00:00 +0200
  • 📄論文情報

    🔑この論文のキーメッセージ

    • (1, 2文でまとめる)

    🎓どういう問題に取り組んだのか

    • LLMの内部表現に介入する良いベクトルを学習にすること

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • 既存の内部表現に介入する手法は、出力のトークンとの関係を考慮しきれていないため

    💡問題解決に向けたキーアイデアは何か

    • DPOと類似した報酬モデル損失関数を提案する
      • この損失において、参照モデルは介入前のモデル、学習するモデルは介入後のモデルとして介入ベクトルを学習する
    • 学習においては、正例と負例の報酬値の差が大きくなるように学習を進める

    👀新たに分かったことは何か

    • ペルソナを考慮したタスクやTruthfulnessなどのタスクを対象として評価した
    • 学習した介入ベクトルを用いて正の方向に介入するとスコアが良くなり、負の方向にするとスコアが低下した
      • 既存手法よりもスコアが大きく変化しているので、良いベクトルが学習できていると言える
    • また、アンサンブルしても上手く動作することが分かった
    paper Created Thu, 23 Apr 2026 00:00:00 +0900
  • 📄論文情報

    🔑この論文のキーメッセージ

    • 情報量を目的関数として使用することで、介入の結果と生成される文章の分布のマッチングを考慮した学習ができる

    🎓どういう問題に取り組んだのか

    • 勾配法を用いてLLMの内部表現に介入するベクトルを学習するための新しい目的関数を提案した
    • 介入するベクトルにはコンセプトという情報を持たせる必要がある

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • 勾配法を使用して介入ベクトルを学習する手法は、過学習や性能低下の問題があるため?
    • 学習したいのは、ある入力に対して適切に介入ベクトルを計算するためのモデル
      • このモデルをコンセプトベクトルと言っているのか?

    💡問題解決に向けたキーアイデアは何か

    • 情報量ベースの目的関数を提案して学習する
    • 学習に使用するデータはコンセプトを保持している入力と応答のペアと保持していないペアから構成される
    • これらのトークン列に対すJS Divergenceを最小にするように学習を行う
      • 計算においては、入力を入れ変えてかつ介入を行う時の分布と、基のペアの分布との間で計算されている

    👀新たに分かったことは何か

    • 評価にはAxBenchのConcept500を使用している
    • 2Bのモデルの性能は既存手法よりも低い結果であるが、介入する場所毎のスコアの差が小さくなっている
      • 介入する場所に依存しない手法になっていると言える

    ❓疑問点は何か

    paper Created Fri, 17 Apr 2026 00:00:00 +0900
  • 📄論文情報

    🔑この論文のキーメッセージ

    • 差分の平均を介入ベクトルとすることで、LLMの安全性を個別最適化できる

    🎓どういう問題に取り組んだのか

    • LLMが生成する文章の安全性をパーソナライズすること
    • この時に、LLMを学習するのではなく、内部表現に介入することで実現する

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • 現在のLLMは全体にとって安全な文章を生成するように学習されている
      • しかし、多様なユーザーの思想などを考慮しきることができていない
    • 既存の安全性を個別に最適化する手法は、構造化されたデータや報酬モデルが必要である
      • 介入する手法においても、介入する方向を決めるデータは汎用的な安全性を扱うデータで決定されている

    💡問題解決に向けたキーアイデアは何か

    • 理論的な解析を基に新しい介入ベクトルを計算する方法を提案した
    • 介入ベクトルを計算するためのデータには、あるプロンプトに対するポジティブなデータとネガティブなデータがある
    • 既存の介入ベクトルの計算では、それぞれのデータに対する平均ベクトルの差を使用している
    • この論文で提案している手法は、差分ベクトルの平均ベクトルを使用している
      • 既存の手法との違いについての理論的な解析がされているが、分からなかった
      • この論文のキモな気がする

    👀新たに分かったことは何か

    • プロンプトによる条件付けたLLMで生成したデータを使用して評価している
      • ソースのデータは既存のLLMを使用している
    • ベンチマークにおけるスコアが既存の手法よりも良い結果であった
      • 良い介入ができているということになる
      • 一方で、評価がLLMによるスコアリングだけというのは気になる
    • 有害性などの評価においては、既存の手法が良さそうに見えるが、有用性と合わせてみると、提案手法の方が良い結果になっている

    ❓疑問点は何か

    • LLMによる評価だけというのが気になる
    paper Created Fri, 17 Apr 2026 00:00:00 +0900
  • 📄論文情報

    🔑この論文のキーメッセージ

    • 入力の文章を使用して介入ベクトルを構築することで、LLMの性能が向上する

    🎓どういう問題に取り組んだのか

    • LLMの入力に応じて、介入ベクトルを適応的に変更すること

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • 既存のLLMの内部表現に介入する手法は、介入ベクトルが固定である
    • そのため、様々な入力に対して適切に介入できているとは限らないという課題がある
      • 入力の文脈などにより、入力ベクトルが変化するのに対して、固定の介入ベクトルでは対応することができない

    💡問題解決に向けたキーアイデアは何か

    • 既存のデータセットで介入するパラメータを決めるためのマスクを作成する
      • 既存のデータセットはあるプロンプトに対する良い応答と悪い応答から構成される
      • 入力と出力のペアを入力した時の最終トークンの内部表現を取得する
      • 良い応答と悪い応答の時の差分ベクトルを計算し、レイヤー毎の平均値を計算する
      • この平均値が大きいtop-Kのパラメータに介入する
    • LLMへの入力においてはこのマスクを使用して介入する
      • 介入ベクトルは、プロンプトの最終トークンのActivationを使用する
      • このActivationを上記のマスクでフィルターし、設定された介入量を掛けたベクトルを介入ベクトルとする

    👀新たに分かったことは何か

    • 選択問題や自由記述のタスクにおいて既存の手法よりも良い性能であった
    • タスクによって介入すると良いパラメータが異なる
      • ベンチマークによっては、既存の手法よりも性能が低くなる時がある
    • 良いハイパラはタスク依存である
    • 小規模なLMにおいては、SFTよりも有効な結果になっている
    • Few-shotの設定や他言語の設定においても有効であった

    ❓疑問点は何か

    • 文章を生成する時に、入力の文脈を残しやすくなっているという事になるのか?
      • ロングコンテキスト設定において有効そうな気がする
    paper Created Thu, 16 Apr 2026 00:00:00 +0900
  • 📄論文情報

    🔑この論文のキーメッセージ

    • (1, 2文でまとめる)

    🎓どういう問題に取り組んだのか

    • LLMに介入する時の、介入量を調整することの効果を検証する

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • LLMの内部表現を特定の方向に動かすことで、LLMの応答が改善する
    • この現象は、特定のタスクに有効な特徴が局所的に存在していることを示している
    • そのため、出力に解釈性を持たせることができるが、モデル間で一貫した結果を得るための方法が存在しない

    💡問題解決に向けたキーアイデアは何か

    • 勾配法を用いて、介入ベクトルを学習する
      • 介入ベクトルは、トークンの場所ごとに学習する
    • 介入ベクトルは{-1,0,1}の値を持つパラメータと介入の方向を決めるベクトルから構成される
      • 一つ目の方法では、ベクトルを勾配法により学習する
      • 二つ目の方法では、ベクトルの変わりにスカラー値を学習する
    • 目的関数には、マージンベースの損失関数と、KL情報量とL1ノルムの正則化項がある
      • データセットは、あるプロンプトに対する正答と誤答があり、正答が生成されやすいように設計されている

    👀新たに分かったことは何か

    • 介入ベクトルの学習をすることで、生成される名詞が良いパターンを示している
      • 相関係数を使って分析している
    • 詳しい分析が良く分からなかった

    ❓疑問点は何か

    • 生成できるトークンの長さが限定的である仮定があるのは致命的では?
      • トークンの位置毎にベクトルを学習するというのは筋が良くないと思った
    • パラメータ数の比較はポジショントーク臭がした
    paper Created Wed, 15 Apr 2026 00:00:00 +0900
  • 📄論文情報

    🔑この論文のキーメッセージ

    • (1, 2文でまとめる)

    🎓どういう問題に取り組んだのか

    • 人間の暗黙的な選好情報を反映して、LLMの生成文章を最適化すること

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • 既存の手法で、LLMの出力をパーソナライズするためには、過去のインタラクション結果が必要である。
    • この時、新規のユーザーに対して対応することが難しい
    • LLMの内部表現に介入する手法は、挙動を制御する手法として提案されている
      • 人間のインタラクションを通してこれを制御することで、cold-start問題に対応する

    💡問題解決に向けたキーアイデアは何か

    • Probingを使用して、LLMの内部表現に介入する方向を決定する
      • 分析には様々なドメインのデータを使用して、複数の軸のアンサンブルをしている
    • それぞれの軸に対して重みが設定されている
      • ユーザーのフィードバック毎にこの重みが更新される

    👀新たに分かったことは何か

    • 重みを調整する事で良い調整前と比較して良い結果が得られている
      • シミュレーション実験と実実験の両方でその有効性が示されている

    ❓疑問点は何か

    • 重みの更新方法が良く分からなかった
    paper Created Wed, 15 Apr 2026 00:00:00 +0900
  • ゴリラ裁判の日を読んだ。 ローズが動物園を相手に、夫を殺されたことについて裁判を起こす話だった。 ある日、人間の子供が動物園の檻の中に入ってしまい、その子供をゴリラが引きずる事件が起きる。 そして、動物園はそのゴリラを殺した。 このゴリラがローズの夫であり、これは不当だとして訴えた所が話の序盤である。

    ローズの一生に沿って、自然に話が展開されていくから、ゴリラの視点で話が楽しめた。 言葉を学習する様子だったり、言葉を理解できるからこそ見えてくる他のゴリラとの違いについての考察が面白かった。 特に、ローズが人間の文化などを理解しようとする謙虚な姿勢は、胸を打たれた。 このゴリラの姿勢を見習ってコミュニケーション取れるようにしたいし、ちゃんと言葉にして伝える重要性を痛感させられた。

    まさか、プロレスをすることになるとは思わなかったけど。。。

    book Created Sun, 12 Apr 2026 00:00:00 +0900
Next