Avatar
😀

Organizations

  • 中山七里の「夜がどれほど暗くても」を読んだ。 とある週刊誌の副編集長の息子が、ストーカー行為をし、無理心中したという疑いがあるという所から物語が始まる。 ここから、副編集長の身の周りで起きる様々な出来事がきつかった。 本当にありそうな所がとてもエグかったな。

    ネットで叩かれるだけではなく、様々な嫌がらせを受ける。 特に被害者の遺族から襲われてから、大きく物語が動いていき、一気に読ませられた。 殺人事件のトリックというよりも、副編集長の心の動きを追うというような楽しみ方ができて、ある意味新鮮だった。 さすがの筆力だった。

    book Created Mon, 05 Jan 2026 00:00:00 +0900
  • 過疎ビジネスを読んだ。 福島県国見町で救急車のリース事業が始まることになった。 財源は企業版のふるさと納税が当てられている。 このビジネスから、「誰も」注目しない過疎地域に巣喰うコンサルや行政の実態を暴いた本である。

    著者は新聞社の記者で、新聞や経済誌で書いた内容を基に書かれている。 企業や人名はほとんどが実名で書かれていて、著者の気概を感じた。 実際にコンサルから有名弁護士事務所を通して、起訴するという文面を受け取りながら、これは中々だった。

    コンサルや首長のせいにして解決という話ではない。 国の政策が大本になるのだが、選挙により選ばれた首長やスキームを考えついたコンサルへの監視について機能していないことも一因になる。 説教臭いけど、興味を持つことが大事なのではないかと思った。 全部に興味を持つのは大変だから、何か軸を定めて判断できるようにしてきたい。

    book Created Sun, 04 Jan 2026 00:00:00 +0900
  • ネット怪談の民族学を読んだ。 「くねくね」や「きさらぎ駅」などの2チャンネルのスレッドで話題になった怪談を民族学的に分析している本だった。

    本の中で、様々なネット怪談の具体例を話の流れをスレのリアクションと共に説明されていて分かりやすかった。 ある話について、他の人も同じような体験があることや話を知っているというリアクションがあるのは興味深かった。 ただ、僕がネット怪談にあまり触れてこなかったからか、怪談の話はほとんど知らなかった。 どれか一つでも、話の流れや内容を知っていれば、「そんな話あったな〜」というような楽しみ方ができると思う。 これに加えて分析が加わるので、より内容を憶えていられるような気がした。

    面白かったと思った点は二つある。 一つは、田舎の因習系のホラーコンテンツについては、偏見や差別があるという指摘がされているという点である。 最近はこのようなコンテンツは作られていないらしい。 この話は、暗黙的なバイアスが自分の中にあることを明らかにされて、はっとした。 加えて、民族学者が田舎に調査に行き、世間に公表することで、いわゆる遅れた文化が知らるようになった背景を知ると何とも言えない気持ちになった。

    もう一つは、怪談が作られる過程を分析している所だ。 ある画像やテキストから、勝手に物語を追加してく過程が共通していた。 日本だけではなく、スレンダーマンなどの外国にも見られるというのが興味深かった。

    book Created Sat, 03 Jan 2026 00:00:00 +0900
  • 虚の伽藍を読んだ。 いやー、面白かった。 400ページくらいあるが、一気に読んでしまった。

    主人公は、日本仏教の最大宗派で働く僧侶の陵玄。 この僧侶が、京都の土地に関する書類が不足している所から話が始まる。 同時に京都闇社会と繋っていく。。。という内容の小説である。

    第一部と第二部に分かれていて、一部では陵玄が組織の不正を暴き、出世する話だ。た。 二部では、宗派内の権力争いの様子が書かれている。

    陵玄は、仏のためと言いながら、様々な悪事に手を染めていく様子にぞっとした。 二部の権力争いの内容としては、選挙の票集めの事だ。 この票集めの道中で、一部で繋った闇社会の人間を易々と切り捨てていく。 ほとんどの人が死んでいく様子を見ながら、ここまで人が変わるのかと思った。 選挙に陵玄は勝つのだが、選挙の一番のライバルである親友を自殺に追い込むのは見ていられなかった。 この一部と二部の陵玄の豹変っぷりが味わえてとても良かった。

    book Created Fri, 02 Jan 2026 00:00:00 +0900
  • 📄論文情報

    🔑この論文のキーメッセージ

    • LLMが生成する応答を人間が書いた応答を比較することで、LLMが生成する文章のスタイルを合わせることができる。

    🎓どういう問題に取り組んだのか

    • LLMの内部表現に介入して、生成する文章を個人に最適化すること

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • ユーザー毎に最適化されたテキストを生成する需要が高まっている
    • 既存の手法はRAGやPEFTによる手法が注目されている
      • これらの手法は計算コストが高いことや、ユーザー特有の言い回しに影響されやすい

    💡問題解決に向けたキーアイデアは何か

    • LLMの隠れ層に介入することで、個人に最適化された文章を生成すること
    • 前提として、あるユーザーのプロンプトとそれに対する応答がある
    • 最初に、LLMはプロンプトに対する応答を生成する
    • プロンプトと応答を繋げた文章の最終トークンに該当する特徴量を使って介入する方向の計算をする
      • ユーザーの応答を繋げた場合の特徴量をポジティブ、LLMの応答を繋げた場合の特徴量をネガティブとしている
        • こうすることで、今のLLMがその人に合わせるためにどれくらい介入すれば良いか計算できる
      • 方向の計算には、様々な方法を使用している
      • PCAとか、Mean Differenceなどなど
    • ここで計算したベクトルを用いて介入する

    👀新たに分かったことは何か

    • 個別最適化ベンチマークのLaMPで評価した
      • 短文を評価するものと長文を評価するものの二つがある
    • 提案手法は、RAGやPEFTの手法よりも良い性能を示している
    • 介入量により性能が大きく変わる
      • 提案手法により推定された介入ベクトルにおいて正の方向に介入するとユーザーのスタイルを反映しやすくなるが、負の方向にするとスタイルが関係無くなってしまう

    ❓疑問点は何か

    • 実験のスタイルベクトルの計算には何を使用したのだろうか?
      • スタイルベクトルの計算方法によって性能が変わったりするのかな
    paper Created Thu, 25 Dec 2025 00:00:00 +0900
  • よい対立・悪い対立を呼んだ。 よい対立は、健全な対立と呼ばれている。 本の中には以下のように書かれている。

    自らを守り、互いを理解し合い、向上してくために欠かせないもの、それが健全な対立だ。

    これに対して、悪い対立は不健全な対立と呼ばれ、本の中では以下のように書かれていた。

    「善と悪」「わたしたちと彼ら」といった、相反する関係が明確になった時に起こるのが不健全な対立だ。

    この二項対立的な構図は色々な所で見たことある気がした。

    悪い対立に落ちてしまっても、よい対立に戻ることができるようになる事例が紹介されていて希望が持てた。 でも、これを実践するため、これまでの言説や行動を変える必要がある。 周りの人々は、突然の本人の変化を止めようと説得してきたりしてきていた。 二つの異なる事例で、同じような行動を周りの人が取っていて「なるほどなあ」となった。 本当に、よい対立に戻ることの難しさを感じた。

    二項対立的に考えて、人にレッテルを貼る所があるので、気をつけていきたい。 そういう人に対して冷たく当たるのではなく、きちんと意見を交換できるような謙虚な姿勢を取れるようになりたい。 まずは、人の話をきちんと聞くことから始める。

    book Created Thu, 25 Dec 2025 00:00:00 +0900
  • 📄論文情報

    🔑この論文のキーメッセージ

    • (1, 2文でまとめる)

    🎓どういう問題に取り組んだのか

    • Vison-Languageモデル(VLM)の内部表現に介入することで、ハルシネーションを防ぐこと
      • ここでのハルシネーションは、画像に写っていない物体についてモデルが言及する現象を指す

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • VLMのハルシネーションを防ぐことは、実用上重要
    • 既存の手法はデータの品質や損失関数の工夫などでこれに対処してきた
      • 学習に必要な計算コストが大きいため、実地に適応するために時間がかかる
    • 他の学習無しの手法では画像の優先度を上げるようにしているが、画像内のAttentionなどの特定の仮定に依存している

    💡問題解決に向けたキーアイデアは何か

    • MSCOCOを使用して、VLMの中間表現をProbingする。
      • ハルシネーションをしているかどうかは、トークンがMSCOCOのクラスの単語がそれの類義語を含むかどうかで判定している
    • 介入するベクトルは、ハルシネーションが無いトークンの中間表現の平均ベクトルからハルシネーションしているトークンの中間表現の平均ベクトルを引いたベクトルを用いる
    • 文章の生成時には、正の方向と負の方向に介入した二つのモデルが生成するロジットを足したものを使用している
      • 介入する量は個別に設定している

    👀新たに分かったことは何か

    • ベンチマークにおける評価では、正解率とF1スコアが改善している
      • 使用するデータはハルシネーションのベンチマーク
      • 既存のハルシネーション対策をする手法よりも良くなっている
      • 既存の画像理解ベンチマークにおいても他の手法と同等の性能になっている
    • 介入量毎の性能を見ると、正の方向への介入量はパフォーマンスに大きく影響する

    ❓疑問点は何か

    • ハイパラの量が増えているのは良いのか?
    • 著者らも言及しているが、カテゴリ名などはMSCOCOに依存している
      • これ難しい問題だと思った
    paper Created Wed, 24 Dec 2025 00:00:00 +0900
  • 📄論文情報

    🔑この論文のキーメッセージ

    • 対照学習を使用することで、LLMの特徴と応答の一致度が向上する

    🎓どういう問題に取り組んだのか

    • LLMの内部表現と出力文章の一致度を揃えるようにモデルを調整すること

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • LLMが割り当てる確率には、間違いの応答に高い確率を割り当てるなどの課題がある
    • 正確な応答に高い確率を割り当てるために、内部表現を調整する手法では複数の好ましい特性に対応することが難しい

    💡問題解決に向けたキーアイデアは何か

    1. トークン単位でLLMの最終層に摂動を加える
      • 勾配を使用して摂動を加える
      • 損失関数は隠れ層の状態から正解トークンを予測する確率のクロスエントロピーを使用している
      • パラメータを更新する時と逆方向の勾配を摂動として加える
      • 摂動を加えた時のロジットを2.で使用する
      • この摂動を加えるステップはS回行う
    2. この摂動に影響のある特徴を抽出する
      • 特徴量はトークン毎に抽出する
      • このでも特徴量とは、ロジットや勾配のL2ノルムなどを指す
      • この特徴量に対して平均などの統計処理を加えた値を最終的な特徴量とする
    3. この特徴量から確信度(確率のことか?)を予測する分類器を学習する
      • 分類器は二つ用いる
      • トークンの特徴量毎に正解、不正解を予測する分類器と文章単位で予測する分類器
        • 文章単位で予測する分類器は、トークン単位の分類器が抽出した特徴量を連結した特徴量を使用して予測している
        • このでの特徴量は、モデルの最終出力を指す
      • トークン単位の分類器はMLP、文章単位の分類器は畳み込みを使用している
      • 目的関数はmax-margin損失を使用する
        • 負例はロジットの値を基に決めている

    👀新たに分かったことは何か

    • 評価は選択問題を対象とした
    • 評価指標には、Expected Calibration ErrorとBarier Scoreを使用している
    • 分類問題においては、ECEが他の指標よりもよく改善している
      • 加えて、正解率などの指標も改善することが分かった
    • 生成タスクにおいても改善できることが分かった

    ❓疑問点は何か

    • 他のドメインにおける有効性が気になる
    • 最終層だけで有効だったのかな
      • 他のレイヤーの効果も気になる
    paper Created Tue, 23 Dec 2025 00:00:00 +0900
  • イランの地下世界を読んだ。 イランで生活している著者が一般市民の生活の様子やイスラム社会を描いている。

    中東情勢といえばきな臭い印象があるが、この本を読んで視点が変わった所か興味すら出てきた。 スカーフの話は面白かった。 ここで言うスカーフは、イスラム教の戒律において女性が身につけるための布である。 この布を公共の場で外すことで、イスラム社会やイラン政権などへの抵抗を示すこともできる。 それに対して、スカーフさえ着けてればイスラム社会で出世することができたりするらしい。 このような人達を著者は「イスラム・ヤクザ」と呼んでいて、面白かった。

    スカーフを巡る話だけでも十分にイランやイスラム社会への興味が向けられて良かった。 他にも、イスラム教で禁止されている酒や肉の話などがあった。 イランが多民族であることが関係していて、世界は単純ではないということを改めて実感できた。

    book Created Sun, 21 Dec 2025 00:00:00 +0900
  • 面白かった。

    この本を読む前は、カウンセリングについて話を傾聴する程度の印象しかなかった。 序盤に、カウンセリングについての説明が以下のようにされている。

    カウンセリングとは、心の問題に苦しんでいる人に対して、心理的に理解して、それに即して必要な心理学的介入を行う専門的な営みである。

    この文章が、本文中にあるカウンセリングの具体例や、説明を通してとてもよく理解できた気がする。 特に四章の冒険としてのカウンセリングのエピソードは、カウンセリングに専門知識が必要であることが実感できた。

    心の変化に二種類あると捉えているのは視点だった。 科学的な変化と文学的な変化の両方がある。 科学的な変化とは脳内物質の変化による心の変化、文学的な変化とは、過去に意味付けを行い物語ることで今を認識する事を通して心を変化させる。 科学的な変化は直感的に受け入れることができたけど、今でも文学的な変化について腹落ちして理解できているかは怪しい。 この変化を小説では描いているのでは?というような気もしてきて、色んな発見がある本だった。

    book Created Tue, 09 Dec 2025 00:00:00 +0900