Avatar
😀

Organizations

  • ゴリラ裁判の日を読んだ。 ローズが動物園を相手に、夫を殺されたことについて裁判を起こす話だった。 ある日、人間の子供が動物園の檻の中に入ってしまい、その子供をゴリラが引きずる事件が起きる。 そして、動物園はそのゴリラを殺した。 このゴリラがローズの夫であり、これは不当だとして訴えた所が話の序盤である。

    ローズの一生に沿って、自然に話が展開されていくから、ゴリラの視点で話が楽しめた。 言葉を学習する様子だったり、言葉を理解できるからこそ見えてくる他のゴリラとの違いについての考察が面白かった。 特に、ローズが人間の文化などを理解しようとする謙虚な姿勢は、胸を打たれた。 このゴリラの姿勢を見習ってコミュニケーション取れるようにしたいし、ちゃんと言葉にして伝える重要性を痛感させられた。

    まさか、プロレスをすることになるとは思わなかったけど。。。

    book Created Sun, 12 Apr 2026 00:00:00 +0900
  • 📄論文情報

    🔑この論文のキーメッセージ

    • LLMに獲得関数を選択させることで、ベイズ最適化の効率が上がる

    🎓どういう問題に取り組んだのか

    • ベイズ最適化に使用する獲得関数をLLMに選択させる手法を提案した
      • LLMを活用することで、ベイズ最適化の状態などのメタ情報を扱うことができるようになっている

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • 獲得関数の性能はベイズ最適化において重要なパーツの一つである
      • そのため、適応的に獲得関数を選択することが性能の向上に繋がる
    • 既存の手法では、評価値を元に獲得関数を決定している
      • ベイズ最適化の現在のステップ数などの情報を扱うことができない

    💡問題解決に向けたキーアイデアは何か

    • プロンプトにベイズ最適化の状態などの様々な情報を与える
    • この与えられた情報を元にLLMは、獲得関数を選択する

    👀新たに分かったことは何か

    • 提案手法により、ベイズ最適化の性能が安定するようになっている
      • LLMを組み込むに当たって、ベイズ最適化の状態を含めることで安定性が向上している
    • 性能がLLMの性能に依存する
      • パラメータ数を増やすとその分だけ、性能が向上していた
    • LLMの選択する獲得関数には傾向がある
      • 状態を考慮して選択していると言えるかもしれない
      • 探索と活用を考慮して選択していそうな結果が得られている

    ❓疑問点は何か

    • LLMの性能に依存する話ではある
    • プロンプト頑張るとICLRに論文が通るような雰囲気を感じる
    paper Created Fri, 10 Apr 2026 00:00:00 +0900
  • 📄論文情報

    🔑この論文のキーメッセージ

    • LLMにベイズ最適化の探索範囲を推定させることで、探索が効率的になる

    🎓どういう問題に取り組んだのか

    • ベイズ最適化とLLMを組み合わせるフレームワークを提案する
    • ベイズ最適化の一部にLLMを活用するのではなく、最適化プロセスにLLMを組み込む

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • AI4Scienceに向けて、ベイズ最適化とLLMの活用が注目されている
    • ベイズ最適化とBOを組み合わせる研究が提案されているが、良い初期値を与えるためや、獲得関数として活用されている
    • そのため、最適化プロセスの中に直接組み込まれていない

    💡問題解決に向けたキーアイデアは何か

    • LLMは良い探索範囲を提案できると仮定する
      • LLMが提案した探索範囲をBOで扱えるように拡張する
      • 提案する点については、プロンプトで指定するようにしている
    • 提案した探索範囲を離散値に変換し、ベイズ最適化で扱えるようにしている
    • 離散値に変換する時に重みなどのパラメータを設定しているっぽい

    👀新たに分かったことは何か

    • 実際の環境とシミュレーションを使って実験している
    • シミュレーション実験においては、他のベイズ最適化と比較して、最適値に収束するのが早い
      • 加えて、最適値の値が大きくなっている
    • 実実験においても同様の結果が得られている
      • LLMにより探索範囲を推定させることで、効率が良くなっている

    ❓疑問点は何か

    • 使用するLLMの性能に依存しそう
    • 実際の環境を使った実験があるのは凄い
    paper Created Fri, 10 Apr 2026 00:00:00 +0900
  • 📄論文情報

    🔑この論文のキーメッセージ

    • AutoEncoderを使うことで、中間表現への介入ベクトルを転移させることができる

    🎓どういう問題に取り組んだのか

    • ある言語モデルAにおける介入ベクトルが、別の言語モデルBにおいて同じ効果があるのか分析する

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • これまでの言語モデルの研究は言語モデル間の中間表現の類似度に注目してきた
    • 一方で、実用的な介入技術においては無視され続けてきたため、実用面における評価が求められている

    💡問題解決に向けたキーアイデアは何か

    • 介入ベクトルの学習におけるマッピング関数の学習には、オートエンコーダーを使用して学習している
      • 一層の非線形関数を用いたシンプルなものを使っている
    • 学習した特徴量を用いて介入するか、特徴量そのものを入れ変えるなどして性能を評価している

    👀新たに分かったことは何か

    • 転移できているのか?
    • 論文中の言葉の意味がよく分からなかった
      • Table 1の結果を見た感じでは、介入によりベンチマークの性能が良くなっている
      • 線形エンコーダーよりも性能が良いので、非線形関数を使うことで有効な特徴量が学習できていると言えるかも
    • 他の結果も良さそうだった、よく分からなかったけど

    ❓疑問点は何か

    • 実験に使用しているLLMが小規模な気がする
    • タスクが簡単に見える
    paper Created Tue, 07 Apr 2026 00:00:00 +0900
  • 📄論文情報

    🔑この論文のキーメッセージ

    • ….?

    🎓どういう問題に取り組んだのか

    • 一対比較によるフィードバックを用いたベイズ最適化のregret boundを解析した
    • この解析結果を元に新しいベイズ最適化のアルゴリズムを提案した

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • 既存の解析論文では、ある定数がついていたが、この論文でこの定数を減らしても良い事を示した
    • 通常のベイズ最適化とは異なり、評価値が一対比較であるため、regret boundの解析が複雑である

    💡問題解決に向けたキーアイデアは何か

    • よく分からなかった
    • 理論的な事を理解するための知識が足りなすぎ

    👀新たに分かったことは何か

    • 何が分かれば分かるようになるのか分からない

    ❓疑問点は何か

    paper Created Fri, 03 Apr 2026 00:00:00 +0900
  • 📄論文情報

    🔑この論文のキーメッセージ

    • 様々な評価軸に重みを持たせることで、多様な価値観を考慮したLLMを作成することができる

    🎓どういう問題に取り組んだのか

    • 人間の多様な好みに合わせてLLMを最適化すること
      • LLMは与えられたコンテキストに合わせた文章を生成する
      • 生成した文章に対してd次元の報酬が与えられる
      • この報酬に対する重みを個人に最適化し、LLMの生成文章の条件付ける

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • 個人の価値観に合わせた文章を生成する技術が求められている
    • 一方で、既存の学習手法は、一つの観点からの学習しかできずに、多様で複雑な人間の観点を反映することができない

    💡問題解決に向けたキーアイデアは何か

    • active learningベースの手法を提案した
    • フィードバックの形式は、一対比較になっている
    • クエリの選択方法としては、目的関数の期待値が最大になるものを用いている
      • この目的関数は、重みなどのパラメータを考慮した関数になっている
    • 重みの更新はベイズ推論により推定される
      • 報酬の差が最大になるように学習されているっぽい

    👀新たに分かったことは何か

    • 実験は人間の変わりにLLMを使用して評価している
    • 報酬関数は、様々な観点からの評価を行う既存の報酬モデルを使用している
      • 人間のプロファイルとして、重みを事前に決めておき、この重みで条件付けしたLLMにより文章を生成している
    • 最適化の効率が既存の手法よりも良い結果であった
      • win-rateも既存手法より良いので、改善方法として妥当であることが分かる

    ❓疑問点は何か

    • 良さそう。
    • 人間の報酬モデルは既知ではないから、実用性があまり無い気がする
    • 獲得関数の設計は参考になる
    paper Created Fri, 03 Apr 2026 00:00:00 +0900
  • マーブル館殺人事件を読んだ。 ヨルガオ殺人事件の続編で、三作品目の小説だ。# [copilot:gpt-4.1] Generating commit message…

    ヨルガオ殺人事件から数年立ち、イギリスに戻ってきた主人公がアティカス・ピュントシリーズの続編を担当するという場面から話が始まる。

    カササギ殺人事件とヨルガオ殺人事件はとても面白いから、期待が膨らんでいたが、期待通りのミステリだった。 いつも通りの小説内小説という形を取りつつ、その世界観が相互に関係しているという考えるだけでも混乱しそうな内容なのに、ここまでの完成度の作者の筆力は凄い。

    ヨルガオ殺人事件に隠された謎や、その裏で動く別の事件、そして小説内の謎など一冊でたくさんの要素が楽しめた。 これまで通りアナグラムがトリックに含まれているから、日本語で謎を解くことは難しいという点だけが悔まれる。 英語で読むしか無いのか??? 個人的には、主人公の前職周りの話が一番面白かった。 ここで、カササギの話が関わってくりとは予想外の展開だし、その先の展開も予想外で一気に読んでしまった。

    book Created Sat, 21 Mar 2026 00:00:00 +0900
  • 失われた貌を読んだ。 このミスの一位だったから気になって読んだ。

    山奥のある場所で、顔が潰され、手が切られるなどして身元を特定できなくなった遺体が発見された。 この殺人事件を担当することになった刑事の一週間を描く物語になっている。

    面白かったと思うけど、素直にそうとは言い切れない。 作中の謎や出来事が全て事件に関わっていくように繋がっていく話の流れは凄かった。 ミステリーとしての謎解きと警察としての捜査を上手く繋げられている点が上手だったと思う。 だけど、帯の推薦文が煽り過ぎだった。 期待値だけがはね上がり、この期待値をどこに落ち付かせれば良いのか。。となってしまった。

    book Created Tue, 24 Feb 2026 00:00:00 +0900
  • #+TITLE 魚が存在しない理由

    「魚が存在しない理由」を読んだ。 アメリカの生物学者で、スタンフォード大学初代学長のデイヴィッド・スター・ジョーダンと著者を巡る話だった。 タイトルが気になって手に取っり、生物学についての内容を期待していたが、良い意味で裏切られた。

    ジョーダンは、様々な新種の魚を大量に発見した優秀な生物学者であった。 そして、スタンフォードの学長に就任した後も、標本を作り続けた。 落雷により標本が燃えてしまっても、地震によりめちゃくちゃになっても。 著者は、何がジョーダンをここまで執着させたのかに興味を持ったことをきっかけに、彼の人生を調査してる。

    ほとんどが、ジョーダンと著者の人生で、魚類が存在しない理由については後半に少しだけ語られる。 この構成が見事だった。 前半まではジョーダンの功績が説明されるが、後半部分からその影の部分が語られる。 ジョーダンの死後に明らかになる、魚類という分類が恣意的に定義されていたという事実は、色々な事を考えさせられた。 悔しいことに、これが上手く自分の中で言語化できない。。。

    読む人によって感想が違う気がして、良い本だった。

    book Created Wed, 18 Feb 2026 00:00:00 +0900
  • まぐさ桶の犬を読んだ。 この本を読もうとしたきっかけは、このミスで5位にランクインしていたことだ。 本を読む前は知らなかったが、シリーズ物の最新作らしい。

    本屋件探偵の葉村晶が、近所の人の付き沿いを依頼される。 その人の親族である富豪から人探しを依頼される。 しかし、探す人の周囲の人間が、失踪していたり、不審な死を遂げていたりする所に気づく所から話が始まる。 本当に冒頭の文章では、主人公の葉村が死にかける所から始まる。

    謎が謎を呼ぶ展開で、読んでいて飽きなかった。 次々と表れる癖の強い人間達の裏事情が後半で暴露されたり、暴かれたりしていた。 人の名前や関係性を把握するのが大変だったけど、何となくの理解でガンガン読み進めた。

    それでも楽しめたのは、この本が持つ独特の雰囲気なのかもしれない。 主人公の葉村の皮肉っぽい視点や痛む体の描写が、何となく読みやすさに繋っているのかもしれない。 謎解きの間に、この描写があるから読めたのかも。

    book Created Thu, 12 Feb 2026 00:00:00 +0900
Next