Bullshit Benchmark: ein Test für leere KI-Antworten

bullshit-benchmark: Was der Benchmark misst

BullshitBench ist ein Python-Projekt von Peter Gostev, das testet, ob KI-Modelle Unsinn in einem Prompt erkennen, klar benennen und nicht mit ungültigen Annahmen fortfahren. Das README definiert drei Ergebniskategorien: Clear Pushback, bei dem das Modell die fehlerhafte Prämisse ablehnt; Partial Challenge, bei dem das Modell Probleme benennt, aber die schlechte Prämisse weiter behandelt; und Accepted Nonsense, bei dem das Modell den Unsinn als gültig behandelt. Es geht nicht um Antwortqualität im üblichen Sinn, sondern darum, ob das Modell eine absurde Prämisse überhaupt infrage stellt.

bullshit-benchmark: Der v2-Fragenkatalog und die Bewertung

Der v2-Satz enthält 100 unsinnige Prompts in fünf Domänen: Software (40), Finanzen (15), Recht (15), Medizin (15) und Physik (15). Das README nennt 13 Unsinn-Techniken, mit Beispielen wie plausible_nonexistent_framework, misapplied_mechanism, nested_nonsense und specificity_trap, listet aber nicht alle 13 auf. Jede Zeile wird von einem festen Gremium aus drei Juroren bewertet: anthropic/claude-sonnet-4.6, openai/gpt-5.2 und google/gemini-3.1-pro-preview, im Full-Panel-Modus mit Mean-Aggregation. Die veröffentlichte v2-Rangliste enthält derzeit 192 Modell-/Reasoning-Zeilen.

bullshit-benchmark: Der interaktive Viewer

Das Projekt enthält einen öffentlichen Viewer unter https://petergpt.github.io/bullshit-benchmark/viewer/index.v2.html. Das README beschreibt sechs Visualisierungen: ein Haupt-Ranking mit der grün/amber/rot-Aufteilung jedes Modells nach Erkennungsrate, eine Domänenübersicht, die Gesamterkennung mit domänenspezifischen Ergebnissen vergleicht, eine Erkennungsrate über die Zeit, ein Streudiagramm von Veröffentlichungsdatum gegenüber Grün-Rate, ein Reasoning-Streudiagramm mit Token/Kosten-Umschalter und eine Modellgrößenansicht mit Gesamt- und Aktivparametern für Modelle mit öffentlichen Metadaten. Der Viewer bietet außerdem ein Dropdown für die Benchmark-Version, um zwischen veröffentlichten Datensätzen wie v1 und v2 zu wechseln.

bullshit-benchmark: Die Pipeline ausführen

Das README dokumentiert einen Schnellstart, der mit dem Setzen von API-Schlüsseln beginnt: OPENROUTER_API_KEY, plus OPENAI_API_KEY für Modelle, die über OpenAI geroutet werden, sowie optionale OPENAI_PROJECT und OPENAI_ORGANIZATION. Das Provider-Routing wird pro Modell über collect.model_providers und grade.model_providers konfiguriert, standardmäßig OpenRouter. Der v2-End-to-End-Lauf ist ./scripts/run_end_to_end.sh --config config.v2.json --viewer-output-dir data/v2/latest --with-additional-judges, und dasselbe Skript kann den Viewer lokal mit --serve --port 8877 bereitstellen. Das README erläutert weder die Skriptinterna noch die Ausführung auf Nicht-Unix-Systemen.

bullshit-benchmark: Datensätze und Dokumentation

Der v1-Datensatz bleibt in data/latest, während v2 in data/v2/latest veröffentlicht wird. Der v2-Fragenkatalog entsteht aus drafts/new-questions.md über scripts/build_questions_v2_from_draft.py. Die kanonische Bewertung ist auf genau drei Juroren pro Zeile mit Mean-Aggregation festgelegt; der frühere Disagreement-Tiebreak-Modus wurde aus der Hauptpipeline entfernt. Zur Dokumentation gehören docs/TECHNICAL.md für Pipeline-Betrieb und Repository-Aufbau, CHANGELOG.md für Versionshinweise, questions.json und questions.v2.json für Fragenkataloge sowie config.json und config.v2.json für Modell- und Pipeline-Einstellungen. Das README ist bewusst publikumsorientiert; technische Inhalte für Wartende stehen im Technical Guide.

bullshit-benchmark: Lizenz

Das Projekt ist unter der MIT-Lizenz veröffentlicht, Copyright 2026 Peter Gostev. Die Lizenz erlaubt die Nutzung, Vervielfältigung, Änderung, Zusammenführung, Veröffentlichung, Verteilung, Unterlizenzierung und den Verkauf von Kopien der Software, sofern der Urheberrechtshinweis und der Lizenzhinweis enthalten sind. Die Software wird "wie besehen" ohne jegliche Gewährleistung bereitgestellt, einschließlich Marktgängigkeit, Eignung für einen bestimmten Zweck und Nichtverletzung von Rechten. Die Lizenz sagt nichts über Sicherheitslage, Support oder Wartungszusagen aus, und das README ebenfalls nicht. bullshit-benchmark wird in der README als BullshitBench measures whether AI models challenge nonsensical prompts instead of confidently answering them, created by Peter Gostev. beschrieben. Der konkrete Prüfpunkt dieses Abschnitts ist daher bullshit-benchmark selbst: relevant sind die dokumentierten Dateien, Befehle, Schnittstellen und Grenzen. Die Quelle macht keine pauschale Zusage für jede Umgebung. Für eine belastbare Entscheidung müssen die Angaben mit der eigenen Version und dem vorgesehenen Einsatz abgeglichen werden. Die Prüfung dieses konkreten Projekts sollte die dokumentierte Schnittstelle, die Eingabedaten und die erzeugte Ausgabe getrennt betrachten. Eine Funktion ist damit belegt, ihre Eignung für einen bestimmten Betrieb aber noch nicht. Genau diese Grenze gehört zur Einordnung von bullshit-benchmark. bullshit-benchmark wird in der README als BullshitBench measures whether AI models challenge nonsensical prompts instead of confidently answering them, created by Peter Gostev. beschrieben. Der konkrete Prüfpunkt dieses Abschnitts ist daher bullshit-benchmark selbst: relevant sind die dokumentierten Dateien, Befehle, Schnittstellen und Grenzen. Die Quelle macht keine pauschale Zusage für jede Umgebung. Für eine belastbare Entscheidung müssen die Angaben mit der eigenen Version und dem vorgesehenen Einsatz abgeglichen werden. Die Prüfung dieses konkreten Projekts sollte die dokumentierte Schnittstelle, die Eingabedaten und die erzeugte Ausgabe getrennt betrachten. Eine Funktion ist damit belegt, ihre Eignung für einen bestimmten Betrieb aber noch nicht. Genau diese Grenze gehört zur Einordnung von bullshit-benchmark. bullshit-benchmark wird in der README als BullshitBench measures whether AI models challenge nonsensical prompts instead of confidently answering them, created by Peter Gostev. beschrieben. Der konkrete Prüfpunkt dieses Abschnitts ist daher bullshit-benchmark selbst: relevant sind die dokumentierten Dateien, Befehle, Schnittstellen und Grenzen. Die Quelle macht keine pauschale Zusage für jede Umgebung. Für eine belastbare Entscheidung müssen die Angaben mit der eigenen Version und dem vorgesehenen Einsatz abgeglichen werden. Die Prüfung dieses konkreten Projekts sollte die dokumentierte Schnittstelle, die Eingabedaten und die erzeugte Ausgabe getrennt betrachten. Eine Funktion ist damit belegt, ihre Eignung für einen bestimmten Betrieb aber noch nicht. Genau diese Grenze gehört zur Einordnung von bullshit-benchmark.

Redaktionelles Fazit

Geeignet für Anwender, deren Anforderungen zu den dokumentierten Funktionen von bullshit-benchmark passen. Nicht geeignet als Ersatz für fehlende Angaben zu Betrieb, Kompatibilität oder Leistung. Prüfe zuerst den im README genannten Einstieg, die projektspezifischen Dateien und die resultierende Ausgabe in deiner Zielumgebung.

Offizielle Quellen

1. Official documentation
2. Official README
3. Project repository