LLM-eval-survey: eine kuratierte Literaturliste zur Evaluation großer Sprachmodelle

Ein Index, kein Evaluationswerkzeug

Das Repository beschreibt sich selbst als Sammlung von Papieren und Ressourcen zur Evaluation großer Sprachmodelle. Es enthält nach der vorliegenden Struktur keine ausführbaren Skripte, keine Testdaten und keine Metriken. Wer hier klickt, landet bei arXiv-Abstracts, SSRN-Papieren oder Projektseiten. Das ist die zentrale Erwartungskorrektur: Der Name legt nahe, es handle sich um eine Evaluationsumgebung. Tatsächlich ist es die Begleitseite einer Übersichtsarbeit mit dem Titel A Survey on Evaluation of Large Language Models, veröffentlicht auf arXiv unter der Kennung 2307.03109. Nutzergruppe sind demnach Forschende, Doktorandinnen und Doktoranden sowie Ingenieure, die eine Landkarte des Feldes brauchen, bevor sie selbst messen. Wer eine Zahl für ein konkretes Modell sucht, bekommt sie hier nicht geliefert, sondern nur den Verweis auf eine Arbeit, die sie möglicherweise enthält.

Gliederung nach Survey-Kapiteln

Die Papers sind laut README nach der Struktur der Survey organisiert. Das Inhaltsverzeichnis zeigt zwei Hauptachsen. Die erste heißt What to evaluate und fächert sich auf in Natural language processing, Robustness, ethics, biases, and trustworthiness, Social science, Natural science and engineering, Medical applications, Agent applications und Other applications. Die zweite Achse heißt Where to evaluate. Innerhalb der NLP-Sektion gibt es Unterpunkte wie Natural language understanding mit Sentiment analysis, Text classification, Natural language inference und Others, danach Reasoning. Jeder Eintrag folgt dem gleichen Muster: Titel, Autorenangabe, Venue und Jahr, dann ein Link auf das Papier. Diese flache Struktur ist bewusst einfach gehalten. Sie erlaubt es, per Sprungmarke direkt in ein Themenfeld zu gehen, ohne eine Suchfunktion. Der Preis dafür ist, dass es keine Querverweise zwischen den Abschnitten gibt und keine Bewertung der gelisteten Arbeiten.

Was im Repository tatsächlich steht

Die README beginnt mit einem Logo, einer Autorenliste mit Affiliationen (Jilin University, Microsoft Research, Institute of Automation der CAS, Carnegie Mellon, Westlake University, Peking University, University of Illinois, HKUST) und dem Hinweis auf die arXiv-Arbeit. Es folgen zwei verlinkte Nachbarprojekte: PromptBench, beschrieben als Prompt-Benchmark für Robustheitsevaluation, und eine Seite namens LLM-eval. Ein Framework-Bild wird eingebunden, imgs/framework_new.png, dessen Inhalt aus der README nicht hervorgeht. Ein News-Abschnitt nennt zwei Daten: den 7. Juli 2023 für die erste arXiv-Version und den 12. Juli 2023 für die zweite Version samt chinesischem Blogbeitrag auf Zhihu. Danach folgt die eigentliche Liste. Der Abschnitt zu Sentiment analysis enthält sieben Einträge, darunter Holistic Evaluation of Language Models von Percy Liang et al. und eine Arbeit zu ChatGPT als Sentiment-Analysator. Das ist der gesamte sichtbare Inhalt. Alles Weitere ist Verweise.

Der Hinweis auf die Versionslücke

Bemerkenswert offen ist eine Formulierung im README: Da die arXiv-Arbeit nicht in Echtzeit aktualisiert werden könne, solle man für die neuesten Ergänzungen dieses Repository heranziehen, und die Arbeit werde möglicherweise später nachgezogen. Das ist eine relevante Einschränkung für jeden, der zitieren will. Wer eine Arbeit zitiert, die nur im Repository steht, zitiert eine Liste, nicht eine begutachtete Publikation. Umgekehrt gilt: Wenn die arXiv-Version und das Repository auseinanderlaufen, ist unklar, welche Fassung den aktuellen Stand der Survey darstellt. Das README lädt ausdrücklich Pull Requests und Issues ein und verspricht, Beiträge in den Acknowledgements zu nennen. Das Modell ist also kollaborativ, aber ohne Redaktionsprozess, der aus der README ersichtlich wäre.

Inbetriebnahme: klonen und lesen

Es gibt nichts zu installieren. Der übliche Weg ist ein Klon des Repositories vom Standardbranch main, etwa mit git clone https://github.com/MLGroupJLU/LLM-eval-survey, danach öffnet man README.md im Editor oder Browser. Es gibt laut Repository-Angaben keine Releases, also auch keine versionierten Stände, an denen man sich festhalten könnte. Es gibt keine Konfigurationsdateien, keine Umgebungsvariablen und keine Kommandozeilenparameter. Für die Einbindung in einen eigenen Katalog ist die relevante Datei die README selbst; die Struktur besteht aus Markdown-Überschriften, nummerierten Listen und Link-Einträgen der Form [paper](URL). Wer die Liste maschinell weiterverarbeiten will, muss die Markdown-Struktur selbst parsen, ein offizielles Exportformat ist nicht dokumentiert. Das Framework-Bild unter imgs/framework_new.png ist der einzige visuelle Bestandteil, der über die reine Linkliste hinausgeht.

Grenzen und Fehlanwendungen

Die erste Grenze ist die fehlende Bewertung. Einträge stehen unkommentiert nebeneinander. Eine Vorstudie mit sieben Beispielen und eine große, mehrsprachige Untersuchung erscheinen im gleichen Listenformat. Wer wissen will, welche Arbeit methodisch trägt, bekommt hier keinen Hinweis. Die zweite Grenze ist die Abdeckung: Die sichtbare Liste ist stark auf das Jahr 2023 und auf ChatGPT-bezogene Arbeiten konzentriert. Ob spätere Jahre nachgetragen wurden, lässt sich aus dem vorliegenden Material nicht belegen. Die dritte Grenze ist die Zielsetzung. Das Repository beantwortet die Frage, was es an Evaluationsliteratur gibt, nicht die Frage, wie ein bestimmtes Modell abschneidet. Wer eine Regressionsprüfung in einer CI-Pipeline braucht oder zwei Modellversionen vergleichen will, wird hier nicht fündig, weil keine ausführbare Komponente existiert. Auch als Zitationsquelle für eine Behauptung über Modellqualität taugt die Liste nicht, da sie selbst keine Messungen enthält.

Alternative mit umgekehrtem Ansatz

Der direkteste Gegenentwurf ist lm-evaluation-harness aus dem Umfeld von EleutherAI. Beide beschäftigen sich mit LLM-Evaluation, aber auf entgegengesetzte Weise. lm-evaluation-harness ist ausführbar: Man installiert ein Paket, ruft eine Aufgabe über einen Aufgabennamen auf und bekommt eine Metrik auf einem festen Datensatz. Die Ergebnisse sind reproduzierbar, solange Modell, Version und Aufgabendefinition identisch sind. LLM-eval-survey liefert dagegen keine Punkte, sondern Verweise auf Arbeiten, die ihrerseits unterschiedliche Datensätze, Prompt-Formate und Auswertungsregeln verwenden. Der Unterschied liegt nicht im Umfang, sondern in der Verbindlichkeit: eine Zahl mit definierter Herkunft gegen eine Leseliste ohne definierte Herkunft. Wer beides braucht, nutzt das Repository zur Orientierung und das Harness zur Messung. Das README verweist selbst auf PromptBench als verwandtes Projekt, was die Nähe zu ausführbaren Ansätzen zeigt, ohne dass dieses Repository selbst einen solchen bietet.

Pflegeaufwand, Lizenz und was zu prüfen bleibt

Der Pflegeaufwand für Nutzende ist gering: klonen, lesen, Links folgen. Der Aufwand liegt bei den Betreuenden, denn die Liste wächst nur durch Pull Requests, und das README verspricht eine Nennung in den Acknowledgements als Gegenleistung. Ein Upgrade im Sinne einer Version gibt es nicht, da keine Releases veröffentlicht sind; ein git pull holt schlicht den aktuellen Stand von main. Die Lizenz ist im vorliegenden Material nicht angegeben, weder als Datei noch im Text. Das ist ein konkretes Problem für alle, die die Struktur oder Teile der Liste in eigene Dokumentation übernehmen wollen: Ohne Lizenzangabe fehlt die Grundlage für eine rechtssichere Weiterverwendung, und die verlinkten Papiere haben ohnehin eigene Rechte bei arXiv oder den Verlagen. Vor einer Übernahme sollte man das klären. Ebenso zu prüfen ist, ob die Liste noch aktiv ergänzt wird, denn das README selbst weist darauf hin, dass die arXiv-Fassung hinterherhinkt und das Repository die aktuellere Quelle sein soll.

Redaktionelles Fazit

Wer eine schnelle Orientierung über die Evaluationsliteratur zu großen Sprachmodellen braucht und bereit ist, die verlinkten Arbeiten selbst zu lesen, findet hier eine brauchbare Startliste. Wer eine ausführbare Testsuite, feste Metriken oder reproduzierbare Zahlen sucht, ist hier falsch und sollte stattdessen zu einem Framework wie lm-evaluation-harness greifen. Vor der Nutzung zu prüfen: ob die Lizenz des Repositories eine Übernahme der Struktur erlaubt, ob die Liste noch aktiv gepflegt wird (letzter Push laut Repository-Angabe im September 2026), und ob die verlinkten arXiv-Versionen die sind, auf die man sich berufen will. Die Struktur des Repositories ist der eigentliche Beitrag: die Survey selbst liegt auf arXiv und wird dort nicht laufend nachgezogen, das Repository dient laut README als aktuellere Quelle.

Offizielle Quellen

1. Issues
2. MLGroupJLU/LLM-eval-survey on GitHub
3. Project website
4. README