Avatar
😀

Organizations

  • 文化系のための野球入門を読んだ。 日本に野球が持ち込まれてから、現代までどのような変遷を辿ってきたのかを解説しつつ、批評している本だった。

    野球という一つの題材を、ジェンダーや歴史、社会など色々な側面から論じていて、面白かった。 野球が元々サブカル的なものであったことや、甲子園が成立に至るまでの経緯など、知らなかったことが多かった。 甲子園は、明るいニュースを生み出す必要があって企画された側面があったことや、球場のスタンド?に入ることができる女子が1人までという規定があるというのは知らなかった。 この規定については、甲子園の伝統とやらを守るという本音が隠れているという指摘など、ジェンダー論などにも踏み込んでいて、そこまで分析できるんだという視点が新しく得られた。

    野球だけではなく、体育や他のスポーツについて論じている点も学びになった。 他のスポーツを同じように分析してみると、どのような結論が出てくるのか興味がある。 野球と比較されがちなサッカーについてはどうなんだろうか。

    book Created Tue, 13 Jan 2026 00:00:00 +0900
  • 📄論文情報

    🔑この論文のキーメッセージ

    • NLPとエージェントタスクの損失関数の重み付き和を使うことで、NLPタスクの性能を維持しつつ、エージェントタスクの性能が向上する。

    🎓どういう問題に取り組んだのか

    • LLMのエージェント性能を向上させるためのデータセット構築、学習パイプラインを提案した

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • 既存のエージェントタスクの手法はプロンプトや特定のエージェントタスク偏っている
    • NLPにおけるタスクの能力を維持しつつ、エージェントタスクの能力を向上する必要がある

    💡問題解決に向けたキーアイデアは何か

    • データセットの構築には、self-instrcutを使用している
      • 既存のデータセットにあるユーザーとエージェントのインタラクションの続きを、GPT-4により生成する
      • 最終的なエージェントの行動の結果は報酬として評価される
        • この報酬は、タスク毎に設計されていて、報酬の値を基にフィルタリングをしている
    • 学習に使用するデータセットは、上記の方法で構築されたデータセットと指示学習用のものの二つを用いる
      • 損失関数には、それぞれのデータセットに対するクロスエントロピーの重み付け和を使用している

    👀新たに分かったことは何か

    • held-in、heol-outなタスクにおいてGPT-4や3.5と同等の性能を示した
      • これが公平な比較になっているかは分からない
    • 公開されているLlamaよりも基本的なエラーが減少している
    • 学習には、エージェントタスクだけではなく、指示学習用のデータも混ぜた方が汎化性能が向上する
      • 出力を見た感じでは、想定しているエージェントタスクと違うのかも?

    ❓疑問点は何か

    • 損失関数を混ぜることと、継続学習でどちらが有効なのか気になった
    paper Created Mon, 12 Jan 2026 00:00:00 +0900
  • 📄論文情報

    🔑この論文のキーメッセージ

    • 事前学習にコーディングタスクを混ぜることで、実用的なLLMを学習することができる。

    🎓どういう問題に取り組んだのか

    • 一つのLLMで、言語とプログラミングの能力をバランス良く学習すること

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • LLMの実環境用のインタラクションにおいて、APIを活用する必要がある
      • チャット機能や推論だけではなく、プログラムを適切に構築する能力も必要になっている
    • ChatGPTなどのClosedなLLMでは、チャット機能とプログラムの両方を実現できている
    • 一方で、Llamaなどのモデルは、それぞれのタスク専用のLLMを公開するに留まっている

    💡問題解決に向けたキーアイデアは何か

    • 事前学習とインストラクションチューニングに分けて学習する。
      • 事前学習では、コーディングタスクとテキストの割合を10:1にして学習している
        • 学習に使用したプログラムはThe Stackデータセットを活用している
      • インストラクションチューニングは既存の複数のデータセットを混ぜて使用している
        • ここのデータはテキストのみ
        • そこまで工夫している点ではないのかも?

    👀新たに分かったことは何か

    • 事前学習にコーディングタスクを混ぜて学習し、インストラクションチューニングを適用することで、自然言語を対象とした推論能力を維持しつつ、コーディングタスクにおける性能が向上している
      • プログラミングだけではなく、APIを使用した推論についても性能が向上している。
      • 事前学習が有効であると言えるのかもしれない。

    ❓疑問点は何か

    • 査読でも指摘されていたけど、事前学習のタスクの割合がどれくらい有効なのか分からない
      • 著者らは継続学習して、調べているらしい
      • この辺のバランスを良い感じに調整できたら熱い気がする
    paper Created Mon, 12 Jan 2026 00:00:00 +0900
  • 📄論文情報

    🔑この論文のキーメッセージ

    • データ拡張にAPIを用いることで、下流タスクにおける性能が向上する。

    🎓どういう問題に取り組んだのか

    • 自己教師有り学習により、外部ツールをLLMが使用する方法を学習する
      • 評価と違う点があるから、読み違えているかも
    • テキストデータから、Tool Callingデータセットを作成する

    🧑‍🎓その問題に取り組むことがなぜ重要なのか

    • 既存の手法は、大規模な人手アノテーションが必要であることや、特定のタスクのみを対象としている
    • そのため、学習したLLMの応用先が限られるという課題がある

    💡問題解決に向けたキーアイデアは何か

    • データ拡張にはテキストデータを用いる
      • 疑似APIをLLMを用いて生成する
        • 疑似APIの形式は QA(c)-> r のような感じ
        • 使用するタスクとしては、QAや計算問題を用いている
      • 生成された疑似APIを実行する
        • 実行は、LLMやPythonなどの環境ですることを想定している
      • フィルタリングには、重み付きクロスエントロピーを基準として用いている
        • 生成されたトークンの損失と、何も生成されなかった時の損失の差が閾値よりも大きい時、データセットに含むようにしている
    • 推論時には、 -> トークンが生成されるまでデコーディングを行う
      • ここでAPIの呼び出しが入るため、APIの結果を挿入して、デコーディングを再開する

    👀新たに分かったことは何か

    • QAや数学タスクにおける性能が向上した
      • 下流タスクにおける性能が向上している
    • Tool Callの評価が無いのが気になる
      • 目的がTool Callingの性能向上ではなく、Tool Callingを通した性能向上になるのかも

    ❓疑問点は何か

    • 評価のやり方が適切であるかどうか分からない
      • API callを実際にしているのか?
      • 下流タスクにおいて外部ツールを呼び出せるなら性能の向上は必然では?とも思う。
    • このデータ拡張のやり方は面白いと思った。
    paper Created Mon, 12 Jan 2026 00:00:00 +0900
  • 都市伝説解体センターをクリアした。 主人公は、不思議な力を持つピュアな大学生。 この主人公が、都市伝説解体センターという機関で様々な事件や謎を解決していくノベルゲームだ。

    序盤は退屈な感じがしていたけど、後半の展開は見事だった。 SNSと通した調査があるの何?って思いながら進めていたのだが、これにも意味があるので、心を折らずに最後までやって欲しい。 普通の事件を都市伝説と関連付けながら解決していくだけのゲームだと思っていたら、最後に怒涛の伏線回収があり、とても良かった。 全ての謎に理由があるというのがすっきりした。 全部で6章あり、最後の事件は全ての謎が繋り、事件の謎や能力の理由が明かされた。 最後の展開は完全に予想外だった。

    ストーリーも良かったけど、ピクセルをベースにしたデザインが気に入った。 あざみやジャスミンの表情や動いている様子が刺さった。 個人的にピクセルアートが好きなのだが、それを上手くアニメーションに落とし込めているように見えた。

    後で、全部見返すと、気付いていない伏線がたくさんありそうなとても良いゲームだった。 疑問としては、センター長の電話がどうなっているのか分からなかった。 ノベライズして欲しいなあ。

    game Created Mon, 12 Jan 2026 00:00:00 +0900
  • 伊坂幸太郎のマイクロスパイ・アンサンブルを読んだ。 猪苗代湖で行なわれているロックフェスにおいて、毎年配布される冊子で連載されているものを文庫化したらしい。 これにちなんで、小説の舞台は猪苗代湖が中心になっている

    話の内容としては、ある機関のスパイと社会人の物語。 二人が住んでいる世界は別物のように書かれているが、実は繋っている。 どちらかが取った行動が、どちらかの世界に影響している様子が面白かった。 社会人の世界において、社会人の友達が猪苗代湖で無くしたものが、スパイの世界では宝物として引き上げられて、最終的に見つかる所や、社会人の世界で地面に置いたコップがスパイの命を助けたりしている。 この奇妙な偶然の一致が話を進めていく様子は、何か暖かい気持ちになった。

    book Created Wed, 07 Jan 2026 00:00:00 +0900
  • 中山七里の「夜がどれほど暗くても」を読んだ。 とある週刊誌の副編集長の息子が、ストーカー行為をし、無理心中したという疑いがあるという所から物語が始まる。 ここから、副編集長の身の周りで起きる様々な出来事がきつかった。 本当にありそうな所がとてもエグかったな。

    ネットで叩かれるだけではなく、様々な嫌がらせを受ける。 特に被害者の遺族から襲われてから、大きく物語が動いていき、一気に読ませられた。 殺人事件のトリックというよりも、副編集長の心の動きを追うというような楽しみ方ができて、ある意味新鮮だった。 さすがの筆力だった。

    book Created Mon, 05 Jan 2026 00:00:00 +0900
  • 過疎ビジネスを読んだ。 福島県国見町で救急車のリース事業が始まることになった。 財源は企業版のふるさと納税が当てられている。 このビジネスから、「誰も」注目しない過疎地域に巣喰うコンサルや行政の実態を暴いた本である。

    著者は新聞社の記者で、新聞や経済誌で書いた内容を基に書かれている。 企業や人名はほとんどが実名で書かれていて、著者の気概を感じた。 実際にコンサルから有名弁護士事務所を通して、起訴するという文面を受け取りながら、これは中々だった。

    コンサルや首長のせいにして解決という話ではない。 国の政策が大本になるのだが、選挙により選ばれた首長やスキームを考えついたコンサルへの監視について機能していないことも一因になる。 説教臭いけど、興味を持つことが大事なのではないかと思った。 全部に興味を持つのは大変だから、何か軸を定めて判断できるようにしてきたい。

    book Created Sun, 04 Jan 2026 00:00:00 +0900
  • ネット怪談の民族学を読んだ。 「くねくね」や「きさらぎ駅」などの2チャンネルのスレッドで話題になった怪談を民族学的に分析している本だった。

    本の中で、様々なネット怪談の具体例を話の流れをスレのリアクションと共に説明されていて分かりやすかった。 ある話について、他の人も同じような体験があることや話を知っているというリアクションがあるのは興味深かった。 ただ、僕がネット怪談にあまり触れてこなかったからか、怪談の話はほとんど知らなかった。 どれか一つでも、話の流れや内容を知っていれば、「そんな話あったな〜」というような楽しみ方ができると思う。 これに加えて分析が加わるので、より内容を憶えていられるような気がした。

    面白かったと思った点は二つある。 一つは、田舎の因習系のホラーコンテンツについては、偏見や差別があるという指摘がされているという点である。 最近はこのようなコンテンツは作られていないらしい。 この話は、暗黙的なバイアスが自分の中にあることを明らかにされて、はっとした。 加えて、民族学者が田舎に調査に行き、世間に公表することで、いわゆる遅れた文化が知らるようになった背景を知ると何とも言えない気持ちになった。

    もう一つは、怪談が作られる過程を分析している所だ。 ある画像やテキストから、勝手に物語を追加してく過程が共通していた。 日本だけではなく、スレンダーマンなどの外国にも見られるというのが興味深かった。

    book Created Sat, 03 Jan 2026 00:00:00 +0900
  • 虚の伽藍を読んだ。 いやー、面白かった。 400ページくらいあるが、一気に読んでしまった。

    主人公は、日本仏教の最大宗派で働く僧侶の陵玄。 この僧侶が、京都の土地に関する書類が不足している所から話が始まる。 同時に京都闇社会と繋っていく。。。という内容の小説である。

    第一部と第二部に分かれていて、一部では陵玄が組織の不正を暴き、出世する話だ。た。 二部では、宗派内の権力争いの様子が書かれている。

    陵玄は、仏のためと言いながら、様々な悪事に手を染めていく様子にぞっとした。 二部の権力争いの内容としては、選挙の票集めの事だ。 この票集めの道中で、一部で繋った闇社会の人間を易々と切り捨てていく。 ほとんどの人が死んでいく様子を見ながら、ここまで人が変わるのかと思った。 選挙に陵玄は勝つのだが、選挙の一番のライバルである親友を自殺に追い込むのは見ていられなかった。 この一部と二部の陵玄の豹変っぷりが味わえてとても良かった。

    book Created Fri, 02 Jan 2026 00:00:00 +0900