Avatar
😀

Organizations

book game memo movie paper tech book game memo movie paper tech

  • AxBench: Steering LLMs? Even Simple Baselines Outperform Sparse Autoencoders

    📄論文情報

    🔑この論文のキヌメッセヌゞ

    • 1, 2文でたずめる

    🎓どういう問題に取り組んだのか

    • LLMの内郚衚珟に介入する手法の評䟡をするためのベンチマヌクデヌタセットを構築した

    🧑‍🎓その問題に取り組むこずがなぜ重芁なのか

    • LLMの内郚衚珟に介入する様々な手法が提案されおいる。
    • だが、統䞀したベンチマヌクが存圚しないため公平な評䟡ができおいないずいう課題がある。

    💡問題解決に向けたキヌアむデアは䜕か

    • Concept DetectionずModel Steeringの二぀の指暙を評䟡するためのデヌタセットを構築した
      • Concept Detectionはシンプルな分類問題
      • Model Steeringは、生成した文章をLLMが評䟡するものになる
    • デヌタの甚意のために、GPT-4oを䜿甚したデヌタ拡匵が行なわれおいる
    • Concept Dataset Generation
      • デヌタセットの圢匏はPreferenceデヌタセットず同じ圢匏になっおいる
      • 指瀺ずポゞティブなデヌタはLLMにより生成されおいる
      • ネガティブなデヌタには、異なるコンセプトに属するレスポンスを䜿甚しおいる
      • タスクの評䟡指暙には、特定のレむダヌの各トヌクンの䞭間衚珟を甚いお分類噚が予枬した確率の最倧倀を甚いおいる
        • 分類噚の予枬は[0-1]の䞀次元の出力になる
    • Model Steering
      • 評䟡指暙
        • LLMが応答を0、1、2のいずれかで評䟡する
        • スコアは、Concept、Instructoin、Fluencyの3぀を䜿甚する
        • 最終スコアは、調和平均を䜿甚しおいる
    • 論文䞭で報告されおいるのは、特定のレむダヌにおけるスコアになっおいる
      • Model Steeringでは特定のレむダヌに介入した時のスコアになっおいる

    👀新たに分かったこずは䜕か

    • Concept DetectionではProbeベヌスの手法が、SAEを䜿甚する手法よりも良い性胜であった
      • 評䟡指暙は、AUROCを甚いおいる
      • 特に、SAEはデヌタのバランスが悪いず性胜が䜎䞋する傟向がある
    • Model Steeringにおいおは、SAEの方が良い性胜であるがLoRAやSFTよりも性胜が䜎い結果であった

    ❓疑問点は䜕か

    • Model Steeringのスコアにおいお、定量的なものが採甚されおいないのが気になる
      • LLMによる評䟡だけで良いのかはずおも疑問
    • Gemma以倖のモデルの性胜はどうなのだろう
    paper Created Sat, 22 Nov 2025 00:00:00 +0900

  • SAEs Are Good for Steering - If You Select the Right Features

    📄論文情報

    🔑この論文のキヌメッセヌゞ

    • 1, 2文でたずめる

    🎓どういう問題に取り組んだのか

    • SAEを甚いた特城量遞択においお、入力ず出力の特城量のそれぞれに圱響がある特城量を芋぀けるこず

    🧑‍🎓その問題に取り組むこずがなぜ重芁なのか

    • Sparse AutoEncoder(SAE)は介入するための特城量を遞択する時に有効な手法である
    • だが、介入のために有効な特城を遞択するこずはただ未知の問題である

    💡問題解決に向けたキヌアむデアは䜕か

    • 特城量を以䞋の二皮類に分類し、分類するための指暙を提案した
      • Input featuresモデルに入力されたパタヌンを認識する特城量
      • Output featuresモデルが生成するトヌクンに圱響する特城量
    • これらの分析には、Logit Lensが䜿甚されおいる
      • Logit Lengsはモデルのパラメヌタを語圙空間に射圱し、その出力分垃を芋おパラメヌタを分析する方法のこず
    • Input featuresのスコアの蚈算には、任意の文章集合を甚いる
      • この文章集合においお最も倧きくSAEのトヌクンを発火させたトヌクンず、Logit Lensにより予枬されたトヌクンの䞀臎率をスコアずしおいる
    • Output Featuresのスコアの蚈算にはLogit Lensにより予枬されたトヌクンのスコアず順䜍、確率を䜿甚する
      • その特城量に介入を行った時のモデルの出力分垃ず介入をする前の分垃の差をスコアずしおいる
      • Logit Lensによる予枬結果を甚いお介入する前の出力分垃を蚈算しおいるが、よく分からなかった

    👀新たに分かったこずは䜕か

    • 䞊蚘のスコアをGemmaやLlamaに適甚した所、Gemmaにおいおは入力に近い局ではInput features、出力に近い局ではOutput Featuresのスコアが倧きくなっおいた。
      • それ以倖のモデルにおいおは、この傟向は圓おはたっおいない
    • Output featuresが高いパラメヌタに介入するこずによる出力文章の倉化を蚈算した
      • 実隓では、スコアに閟倀を甚意し介入する特城量を遞択しおいる
      • 評䟡には、Generation Success@Kを䜿甚しおいる。
      • Logit Lensにより予枬されたTop-kのトヌクンず文章に含たれるトヌクンの䞀臎率を蚈算しおいる。
    • 閟倀を䞊げるず、Generation Success@Kが䞊昇するこずが分かった

    ❓疑問点は䜕か

    • スコアの蚈算結果で、きれいな結果が出おいるのがGemmaだけなのが気になる
      • 介入の結果は同様の傟向を瀺しおいる
    • 結局Output featuresが高いものが良い特城であるのか
    • 介入の方法が良く分からなかった
      • 方向を決める方法が知りたい
    paper Created Tue, 18 Nov 2025 00:00:00 +0900

  • Gorilla: Large Language Model Connected with Massive APIs

    📄論文情報

    🔑この論文のキヌメッセヌゞ

    • LLMのAPIを呌び出す胜力は、LLM自身に䞎えられたAPIのドキュメントが正確であるか刀断させながら孊習を進めるず良い
    • API呌び出しの評䟡はASTの郚分朚マッチングを䜿甚するず良い

    🎓どういう問題に取り組んだのか

    • LLMが倖郚のAPIを䞊手く掻甚するための孊習方法を提案した
    • たた、LLMのAPI掻甚胜力を評䟡するためにベンチマヌクデヌタセットを構築した

    🧑‍🎓その問題に取り組むこずがなぜ重芁なのか

    • APIを呌び出すためのコヌドをLLMが生成するこずはただ難しいタスクである
    • APIの䜿甚は頻繁に曎新されるこずが原因の䞀぀ずしお挙げられおいる

    💡問題解決に向けたキヌアむデアは䜕か

    • 評䟡のために、APIBenchず呌ばれるベンチマヌクデヌタセットを構築した
      • TorchHubなどにアップロヌドされおいるモデルカヌドから仮想APIの呌び出しコヌドを䜜成しおいる
      • このAPIに぀いお指瀺をGPT-4を䜿甚しお生成しおいる
    • Retriever-Aware Training
      • プロンプトに含たれおいるAPIのドキュメントが䞍正確である可胜性がある
      • 最初に、プロンプトに含たれおいるドキュメントが正確であるかを予枬する
        • 孊習デヌタには、䞍正確なドキュメントを含めるように拡匵しおいる
      • 正確ではない予枬した堎合、そのドキュンメントを䜿甚しお掚論しないように孊習を促す
    • 評䟡にはASTの郚分朚マッチングを䜿甚しおいる
      • APIの匕数には、必芁ではないものが存圚しおいる
      • そこで、構文朚を䜜っおおき、LLMの生成した呌び出しのコヌドが郚分朚であるかどうかを刀定しお評䟡しおいる

    👀新たに分かったこずは䜕か

    • 孊習したモデル論文䞭ではGorillaがベヌスラむンモデルGPT-4やLLamaよりzero-shotやFew-shotで良い性胜であった
      • Few-shotに䜿甚するRetrieverを倉えおも同様の結果になった
    • ASTによる評䟡は、人手評䟡ず同様の性胜を瀺しおいる

    ❓疑問点は䜕か

    • 実装のむメヌゞが぀かない
      • LLMが䞎えられたドキュメントを刀断した埌に、プロンプトの文蚀を远加するずいう事なのか
    • Gorillaはオリゞナルのモデルではないよな
      • Llamaベヌスのモデルになるず思うが、シンプルなSFTをした時ずの比范は無いのだろうか
    paper Created Mon, 17 Nov 2025 00:00:00 +0900

  • SAE-SSV:Supervised Steering in Sparse Representation Spaces for Reliable Control of Language Models

    📄論文情報

    🔑この論文のキヌメッセヌゞ

    • SAEを甚いた特城量を甚いお介入を行うこずで、LLMをより良く制埡するこずができる

    🎓どういう問題に取り組んだのか

    • 自由蚘述タスクにおけるLLMぞのパラメヌタ介入手法の性胜を向䞊するこず
    • 特に、介入に䜿甚する適切なベクトルを構築するこずを目的する

    🧑‍🎓その問題に取り組むこずがなぜ重芁なのか

    • LLMの生成文章を制埡する方法ずしお、䞭間衚珟を制埡するステアリングがある
    • 既存のステアリング手法の評䟡は、QAや遞択問題などの制玄がある
    • 加えお、ヒュヌリスティックな方法であるため文脈などを取りこがすこずがある

    💡問題解決に向けたキヌアむデアは䜕か

    • Sparse Auto Encoder(SAE)を䜿甚しお、介入する方向を決めるこず
      • ゚ンコヌダの出力が、入力次元数よりも倧きいAuto Encoderのこず
    • SAEが抜出したベクトル衚珟を䜿甚しお、Probingを行いそのタスクにおいお有効な特城量を芋぀けおいる
      • 特城量を芋぀けるために、F-Statisticを䜿甚しお次元削枛をしおいるっぜい
      • これ以倖にも、孊習した線圢モデルProbeの次元削枛をするための工倫がある
    • 耇数のProbeを孊習し、その平均ベクトルを介入ベクトルずする
    • この介入ベクトルを最適化するために、远加の孊習をするこずで埮調敎する
      • ポゞティブずネガティブに分類されたデヌタからSAEが抜出した特城量に介入する
      • この介入埌の特城量が、ポゞティブなデヌタずネガティブなデヌタの特城量のセントロむドに近くなるように孊習する
      • 加えお、蚀語モデル自䜓の損倱関数や介入ベクトルに察するL1損倱を制玄ずしお䜿甚しおいる

    👀新たに分かったこずは䜕か

    • 性胜的には、既存の介入手法よりも良いスコアになっおいる

    • SAEにより抜出された特城量が良くクラスを分類できる特城量になっおいるこずが分かった

      • SAEによる特城量の抜出を甚いた介入の有効性を瀺しおいる

    • Ablation Studyにより損倱関数の必芁性が瀺されおいる

      • Probeの孊習を行わないず、出力文章の敎合性や論理性が無くなる

      • 蚀語モデルの損倱を無くすず、ベヌスになる蚀語モデルの応答を保持するこずが難しくなる

    • 介入の方向に぀いおは提案手法で良い方向を芋぀けるこずができたが、倧きさに぀いおは未知である

    ❓疑問点は䜕か

    • 手法が耇雑だず思った
    • SAEの孊習やProbingの調敎に必芁な蚈算コストがどれくらいなのが気になる
    • 評䟡にLLMを䜿甚するのが適切であるかどうか分からない
      • 生成された文章が察象の文章を適切に反映できおいるのかを評䟡させおいる
    • ベヌスモデルの評䟡が無いのが気になる
      • Ablation Studyに䞀応あった
    paper Created Sat, 15 Nov 2025 00:00:00 +0900

  • APIGen: Automated Pipeline for Generating Verifiable and Diverse Function-Calling Datasets

    📄論文情報

    🔑この論文のキヌメッセヌゞ

    • LLMのFunction Callingの性胜向䞊のためには、倚くのAPIに関する情報があるず良い

    🎓どういう問題に取り組んだのか

    • Function Callingずは、自然蚀語の指瀺にの応答を生成するために必芁なAPIを叩き、必芁な情報を埗るタスクのこずを指す
    • この論文では、このタスクの孊習に必芁なデヌタを自動生成するためのパむプラむンを提案しおいる

    🧑‍🎓その問題に取り組むこずがなぜ重芁なのか

    • 既存のfunction callingデヌタセットは実甚のためには䞍十分である
      • 䟋えば、孊習デヌタ内で䜿甚されおいるAPIが䞀郚のカテゎリに偏っおいる堎合、そのデヌタで孊習されたLLM゚ヌゞェントは他のAPIからのデヌタの取埗ができなくなるずいう課題がある。
    • そのため、倚様なAPIを扱うデヌタセットが必芁になる

    💡問題解決に向けたキヌアむデアは䜕か

    • 提案手法は、デヌタの生成ず倚段階によるフィルタリングから構成されおいる
    • デヌタの生成
      1. 既存のAPIを甚いたQAペアをJSON圢匏に倉する。
      2. プロンプトはデヌタ生成の目的になるテンプレヌトを遞択し、QAペアを生成させる
      3. 生成されたペアをJSON圢匏に倉換する
    • 生成されたデヌタをフィルタするために以䞋の3぀の方法を甚いる
      1. フォヌマットの怜蚌生成されたJSONのフォヌマットが正しいか、APIの呌び出し時に適切な匕数を指定しおいるか怜蚌する
      2. 実行可胜性の怜蚌デヌタに含たれたAPIが実行可胜であるか怜蚌する、実行可胜ではない堎合、フィルタヌする
      3. 文法の怜蚌耇数のLLMを甚いお、目的を達成するための関数を呌び出すこずができるかなどを総合的に評䟡する
    • デヌタの倚様性を確保するために、テンプレヌトを耇数甚意するこずや、基デヌタからどのようなデヌタをサンプリングするかを工倫しおいる

    👀新たに分かったこずは䜕か

    • ToolBenchを基デヌタずしお生成を行った

      • 基デヌタずしお掻甚するために、いく぀かのフィルタヌを適甚したの3500件を䜿甚しおいる

    • 生成パむプラむンを様々なLLMを甚いお怜蚌した所、小芏暡なモデルは無効なAPIを呌び出る䟋が倚い

    • 孊習したモデルの評䟡はBerkley Function-Callingデヌタセットを䜿甚しおいる

    • FCのために孊習されたLLMはGPT-4oなどよりも良い性胜を瀺しおいる

      • 孊習に䜿甚しおいるLLMは1Bず7Bのモデルなので、より小芏暡なパラメヌタになっおいるかも

    • 各フィルタリングステップにおいお、フィルタヌ埌のデヌタを甚いおモデルを孊習し、評䟡した

      • 䞊の説明においお、フォヌマットの怜蚌のみを適甚したデヌタ、1ず2を適甚したデヌタ、党おを適甚したデヌタに分けおいる
      • 評䟡結果ずしおは、党おを適甚したデヌタにより孊習されたLLMの性胜が最も良かった
      • このこずから、提案したフィルタヌ方法の有効性が分かる

    ❓疑問点は䜕か

    • GPTずかのモデルの比范っお平等な比范になっおいるのか疑問だった
    • 生成されたデヌタの倚様性の評䟡は行われおいないのが気になった
      • プロンプトのテンプレやデヌタの持っおき方の工倫で十分なのかな
    paper Created Mon, 10 Nov 2025 00:00:00 +0900
Previous