BullshitBench v2 はモデルの反論能力をどう測るか
petergpt/bullshit-benchmarkは実運用向けに使える実用的なオープンソース実装で、再利用可能な導入ルートを持つプロジェクトです。
ひと目でわかる
- これは何？
- もっともらしい誤りや無意味な主張にモデルが反論できるかを評価するベンチマーク。データ形式、評価軸、再現時の依存条件を確認する。
- 誰に向いている？
- v2 のビューアと公開データセットは 2026-07-31 時点で更新されており、README には deepseek-v4-flash-0731 リビジョンの追加と310行の応答データが記録されている。そのリビジョンの具体的なスコアは記載されているが、他のモデルの詳細なランキングやデータセットの全体像、その後のメンテナンス計画については、公開ビューアや CHANGELOG で確認する必要がある。
- 商用利用できる？
- できます。MIT は寛容なライセンスで、著作権表示とライセンス表示を残せば、使用・改変・販売が可能です。
- 今もメンテナンスされている？
- されています。最後のコミットは 2 日前です。
- 何の言語で書かれている？
- 主に Python です（GitHub の言語統計による）。
回答はプロジェクトの GitHub データ（最終同期：2026年9月14日）と当サイトの分析に基づくもので、法的助言ではありません。
オープンソース詳細解説
ベンチマークが測定するもの
BullshitBench は、Peter Gostev が作成した Python プロジェクトで、AI モデルがプロンプト内のナンセンスを検出し、明確に指摘し、無効な前提に基づいて回答を続けないかをテストする。README は結果を3つのカテゴリに分類している：Clear Pushback（壊れた前提を明確に拒否）、Partial Challenge（問題を指摘するが悪い前提にまだ関与する）、Accepted Nonsense（ナンセンスを有効なものとして扱う）。このベンチマークは通常の回答品質ではなく、モデルがそもそも不合理な前提に挑戦するかどうかに焦点を当てている。
v2 の問題セットと評価方法
v2 セットは100件のナンセンスなプロンプトで構成され、5つのドメインに分かれている：ソフトウェア（40）、金融（15）、法律（15）、医療（15）、物理（15）。README は13のナンセンス技術に言及し、例として plausible_nonexistent_framework、misapplied_mechanism、nested_nonsense、specificity_trap を挙げているが、全13種は列挙していない。各行は3つの判定者（anthropic/claude-sonnet-4.6、openai/gpt-5.2、google/gemini-3.1-pro-preview）による full パネルモードと mean 集計で固定評価される。公開されている v2 リーダーボードは現在192のモデル/推論行を含む。
インタラクティブビューア
プロジェクトには公開ビューアがあり、https://petergpt.github.io/bullshit-benchmark/viewer/index.v2.html でアクセスできる。README は6つの可視化を説明している：検出率によるモデル別の緑/琥珀/赤の割合を示すメインビュー、全体とドメイン別の検出率を比較するドメインランドスケープ、リリース日別の検出率の推移、リリース日と緑率の散布図、トークン/コストのトグルを備えた推論散布図、公開メタデータを持つモデルの総パラメータ数とアクティブパラメータ数をプロットしたモデルサイズビュー。ビューアには v1 と v2 などの公開データセットを切り替えるドロップダウンもある。
パイプラインの実行
README はクイックスタートとして、APIキーの設定から始める手順を記載している：OPENROUTER_API_KEY、OpenAI 経由でルーティングされるモデルに必要な OPENAI_API_KEY、オプションの OPENAI_PROJECT と OPENAI_ORGANIZATION。プロバイダーのルーティングは collect.model_providers と grade.model_providers でモデルごとに設定され、デフォルトは OpenRouter。v2 のエンドツーエンド実行は ./scripts/run_end_to_end.sh --config config.v2.json --viewer-output-dir data/v2/latest --with-additional-judges で、同じスクリプトで --serve --port 8877 を使ってビューアをローカルで提供できる。README はスクリプトの内部実装や非Unix環境での実行方法については説明していない。
データセットとドキュメント
v1 データセットは data/latest に残り、v2 は data/v2/latest に公開される。v2 の問題セットは scripts/build_questions_v2_from_draft.py によって drafts/new-questions.md から生成される。正規の評価は各行につき正確に3人の判定者による平均集計に固定され、旧来の不一致タイブレーク方式はメインパイプラインから廃止された。ドキュメントには docs/TECHNICAL.md（パイプライン運用とリポジトリ構成）、CHANGELOG.md（リリースノート）、questions.json と questions.v2.json（問題セット）、config.json と config.v2.json（モデルとパイプライン設定）がある。README は意図的に読者向けであり、メンテナー向けの内容は技術ガイドに置かれている。
BullshitBench のライセンス
プロジェクトは MIT ライセンスでリリースされており、著作権は 2026 Peter Gostev。ライセンスは、著作権表示と許可表示を保持することを条件に、ソフトウェアのコピーの使用、複製、変更、統合、公開、配布、サブライセンス、販売を許可する。ソフトウェアは「現状のまま」提供され、商品性、特定目的への適合性、非侵害を含むいかなる種類の保証もない。ライセンスはセキュリティ体制、サポート、保守の約束については何も述べておらず、README も同様である。
再現時は README のベンチマーク用データと評価スクリプトを同じ版から取得し、モデルの回答、判定、集計値を分けて保存する必要がある。反論できたかという二値の結果だけでは、根拠を示した回答と偶然の否定を区別できない。README が定める入力形式と採点条件を固定し、プロンプトやモデル名を記録したうえで比較するのが、このリポジトリの測定結果を読み違えない方法になる。
評価者を変えたときに判定が揺れるかも確認したい。ナンセンスな主張、事実誤認、答えのない問いを分けた入力集合を用意し、正解ラベルの根拠を人間が読める形で残す。集計値だけを広告のように引用せず、失敗した設問とモデルの応答を確認することで、反論能力を測っているのか、単に否定語へ反応しているのかを見分けられる。
ベンチマークの結果を社内評価へ利用するなら、正解ラベルを作った人とモデルを評価する人を分け、判定理由の一致も確認する。設問数が少ない場合は一問の誤判定が割合を大きく動かすため、全体の数字に加えてカテゴリ別の件数を残す。README の主張を別のモデルやプロンプトへ拡張する場合、その変更は元の結果とは別の実験として扱う必要がある。
編集部の結論
v2 のビューアと公開データセットは 2026-07-31 時点で更新されており、README には deepseek-v4-flash-0731 リビジョンの追加と310行の応答データが記録されている。そのリビジョンの具体的なスコアは記載されているが、他のモデルの詳細なランキングやデータセットの全体像、その後のメンテナンス計画については、公開ビューアや CHANGELOG で確認する必要がある。
コミュニティノート