LLM-eval-survey を評価基盤として使えるか: 論文付属リポジトリの実態

このリポジトリが埋めている穴は何か

LLM の評価に関する情報は、arXiv、ベンチマークの公式サイト、モデル提供元のブログなどに散在している。同じ「ChatGPT の性能を測る」という目的でも、感情分析、自然言語推論、常識推論、医療応用では参照すべき論文がまったく異なる。LLM-eval-survey は、この散在した文献を survey 論文の章立てに沿って一箇所に並べたものである。README の冒頭には「A collection of papers and resources related to evaluations on large language models」とあり、リポジトリの役割は論文の収集と分類だと明示されている。読者として想定されているのは、評価研究の全体像を短時間で把握したい人、あるいは自分の評価設計が既存研究のどこに位置するかを確認したい人である。コードを動かすためのリポジトリではない。

What to evaluate という分類軸の作り

README の目次は、What to evaluate と Where to evaluate という二つの大きな軸で構成されている。What to evaluate の下には自然言語処理、Robustness, ethics, biases, and trustworthiness、社会科学、自然科学と工学、医療応用、エージェント応用、その他の応用が並ぶ。自然言語処理はさらに自然言語理解、推論などに分かれ、自然言語理解の下には感情分析、テキスト分類、自然言語推論、その他という小見出しが付く。各項目は番号付きの論文リストで、著者名、会議名または arXiv、年、そして paper へのリンクが記載される。たとえば感情分析の項目には Bang らのマルチタスク評価、Laskar らのベンチマーク横断研究、Liang らの Holistic Evaluation of Language Models などが並ぶ。分類は survey 論文の構成をそのまま反映しており、リポジトリ単体で独自の分類を提案しているわけではない。

Where to evaluate とフレームワーク図が示す範囲

目次には Where to evaluate という節が置かれ、評価をどの環境やデータ上で行うかという観点が survey の一部として扱われている。README には framework_new.png という構成図が埋め込まれており、評価の対象・手法・場面を整理した全体像が図で示される。ただし、この図が何をどう結びつけているかの説明は README の本文にはない。図の内容を正確に把握するには arXiv の論文本文を参照する必要がある。リポジトリの README だけを読んで評価設計の判断材料にするには情報が足りない、というのがここでの率直な評価である。

導入はリンクを辿るだけ、動かすものは無い

このリポジトリにはインストール手順も設定ファイルも評価スクリプトも含まれていない。README に記載されている操作は、目次から該当節へ移動し、各論文の paper リンクを開くことだけである。論文リストの更新は pull request と issue で受け付けると README に書かれており、貢献者は acknowledgements に記載されるという運用が示されている。関連プロジェクトとして microsoft/promptbench と llm-eval.github.io へのリンクが置かれているが、これらは別リポジトリであり、LLM-eval-survey 側に取り込み手順はない。したがって「clone して実行する」という種類の導入は存在しない。文献調査の出発点として README を開き、必要なら論文を取得する、という使い方になる。

鮮度管理をリポジトリ側が引き受けている構造

README には、arXiv の論文をリアルタイムには更新できないため最新の更新はこのリポジトリを参照するよう求める注記がある。つまり論文とリポジトリの間に鮮度の差が生じることを、プロジェクト自身が認めている。News and updates には 2023 年 7 月の第一版公開、同年 12 月の第二版公開と中国語ブログの案内が記録されている。以降の更新履歴は README からは読み取れない。文献リストとして使う場合、自分が参照する分野の項目がどの時点までの論文を含むのかは、README だけでは判断できない。これは収集型リポジトリに共通する制約で、網羅性を前提にした調査には向かない。

PromptBench との役割の違い

関連プロジェクトとして挙げられている microsoft/promptbench は、README の説明では LLM のロバスト性評価のためのプロンプトベンチマークである。LLM-eval-survey が論文の分類とリンクを提供するのに対し、PromptBench は評価を実行するためのコード側の道具立てだという違いがある。評価手法を調べる段階では LLM-eval-survey の分類が役に立つが、実際にモデルへ入力してスコアを取る段階では PromptBench のような実行基盤が必要になる。両者は競合せず、調査と実行という工程の別を担っている。注意点として、LLM-eval-survey の README は PromptBench の使い方や対応モデルについての説明を含まない。リンク先のリポジトリで別途確認する必要がある。

ライセンスと保守コストの見えない部分

提供された情報にはライセンスの記載がない。リポジトリのライセンスが不明な状態では、論文リストを社内文書や公開資料へ転載する際の条件を判断できない。各論文自体のライセンスは個別に異なるため、リストの転載と論文本文の再利用は別の問題として扱う必要がある。保守についても、README は pull request と issue を歓迎すると書くだけで、更新頻度や担当体制には触れていない。最終 push の日付は確認できるが、それが内容の更新を意味するのか、リンク切れの修正程度なのかは判断材料がない。文献リストを業務の参照元にするなら、特定の分野について自分で網羅性を確認する作業を別途見込んでおくべきである。

編集部の結論

このリポジトリは、LLM 評価の研究動向を俯瞰したい研究者や、社内で評価指標を設計する前に既存研究の地図が欲しいエンジニアに向いている。逆に、ベンチマークの実行環境やスコア集計ツールを求めている場合には向かない。README にはインストール手順も評価スクリプトも存在せず、実体は survey 論文に沿って整理された論文リンク集である。採用を検討するなら、まず arXiv の 2307.03109 とリポジトリの What to evaluate 以下の分類が一致しているか、そして自分が知りたい領域（医療、エージェント、社会科など）がどの程度の粒度で列挙されているかを確認する。ライセンスが明示されていないため、論文リストを社内資料へ転載する用途では、リポジトリ側のライセンス表記を確認するまで二次利用の判断はできない。

公式情報源

1. Issues
2. MLGroupJLU/LLM-eval-survey on GitHub
3. Project website
4. README