llm-datasets を読む: ポストトレーニング用データセット選定の実務ガイド
Curated list of datasets and tools for post-training.
ひと目でわかる
- これは何？
- SFT と推論データセットを目的別に整理したキュレーションリスト。ライセンスとトークン規模の記載に偏りがあり、採否判断にはリンク先の一次情報を確認する必要がある。
- 誰に向いている？
- 自分で SFT 用の混合データを組み立てる個人や小規模チームに向く。逆に、ライセンス条件が厳格な商用製品に組み込む予定がある場合や、単一ドメインだけを深く扱いたい場合には、このリストは出発点にしかならない。
- 商用利用できる？
- 許可なしにはできません。GitHub はこのリポジトリにライセンスファイルを見つけていません。ライセンスがなければ、原則としてすべての権利が留保され、コードを読むことはできても再利用はできません。使う前に README を確認するか、作者に問い合わせてください。
- 今もメンテナンスされている？
- されています。最後のコミットは 139 日前です。
- 何の言語で書かれている？
- GitHub はこのリポジトリの主な言語を示していません。
回答はプロジェクトの GitHub データ（最終同期：2026年9月15日）と当サイトの分析に基づくもので、法的助言ではありません。
オープンソース詳細解説
このリストが埋めている空白
ポストトレーニング用データセットは Hugging Face 上に無数にあり、名前と規模だけでは何に向くのか判断できない。llm-datasets はそれを、汎用・数学・科学・コードといった用途別の表に落とし込み、各行に公開時期、サンプル数、thinking の有無、そして短い注記を付ける形で整理している。対象読者は、SFT や推論モデル向けの蒸留データを自分で選び、混合比を決めようとしている開発者だ。データセットそのものを配布するリポジトリではなく、選定の入口を提供するキュレーションに徹している点が重要で、実体はすべて外部リンク先にある。
README の表が持つ列の意味
各表は Dataset、#、Thinking、Notes の4列で構成される。Dataset 列には Hugging Face のデータセット URL と公開年月が入り、# 列はサンプル数、Thinking 列は推論トレースを含むかどうかを Yes / No / Mixed で示す。Notes 列が最も情報量が多く、ライセンス、生成元モデル、カバー領域、関連データセットへのリンクがここに詰め込まれている。たとえば Nemotron-Cascade-2-SFT-Data の行では NVIDIA Open Model License と明記され、DeepSeek-V3.2、GPT-OSS-120B、Qwen3 から応答を生成したこと、数学・科学・チャット・指示追従・コーディングエージェント・SWE を対象とすることが書かれている。逆に言えば、ライセンスは Notes 列にしか書かれていない行もあり、表を斜め読みすると見落とす。
良質なデータセットの定義をどう置いているか
README は冒頭で Accuracy、Diversity、Complexity の3つを品質基準として挙げている。Accuracy は事実として正しく指示に関連していること、Diversity は分布外に出ないための網羅性、Complexity はマルチターン・多言語・段階的推論の有無だと説明される。品質確保の手段として、人手レビュー、ルールベースフィルタリングのようなヒューリスティック、judge LLM や reward model によるスコアリングを組み合わせる必要があるとしている。ここで注意したいのは、この3基準がリスト内の各行で検証されているわけではないという点だ。表の Thinking 列やサンプル数は基準の一部を間接的に示すが、Accuracy や Diversity を裏付ける数値は各行には載っていない。
ライセンス表記の読み方と落とし穴
README は「Unless specified otherwise, all datasets listed here are under permissive licenses (Apache 2.0, MIT, CC-BY-4.0, etc.)」と注記する。しかし実際の表を追うと、Dolci-Instruct-SFT は CC-BY-NC-4.0、MegaScience は CC-BY-NC-SA-4.0、Nemotron-Math-Proofs-v1 は CC-BY-SA-4.0、Nemotron 系の一部は NVIDIA Open Model License と、条件付きのものが複数並ぶ。つまり「指定がなければ寛容なライセンス」という前提は、指定がある行では成立しない。商用利用の可否、ShareAlike の継承義務、独自ライセンスの再配布条件は、この README だけでは判断できず、各データセットカードを開いて確認するしかない。ここはリストの限界として明確に認識しておくべき部分だ。
規模の数字をどう扱うか
サンプル数は 226k の Nemotron-Science-v1 から 15.87M の Nemotron-Cascade-2-SFT-Data まで、表ごとに桁が大きく異なる。ただしサンプル数はトークン数ではない。KIMI-K2.5-1000000x の行だけは「~5B tokens」とトークン量で記述されており、他の行はあくまで件数だ。同じ 100 万件でも応答長が違えば学習に使えるトークン量は変わるため、件数だけを横並びで比較して混合比を決めるのは危険である。README もトークン数を統一して載せてはいないので、実際の配分を決める段階ではリンク先でトークナイザを通した見積もりを取る必要がある。
ドメイン別の表をどう使うか
汎用・数学・科学・コードという区分は、モデルに何を学ばせたいかで引く表を決める設計になっている。汎用表の open-perfectblend は論文の再現として位置づけられ、チャット・数学・コード・指示追従を混ぜたベースラインだと説明される。数学表の OpenThoughts3-1.2M は 850k 数学、250k コード、100k 科学という内訳が Notes に書かれており、単一ドメインの表にいながら実際は混合データであることが読み取れる。NuminaMath-CoT は AI Math Olympiad の progress prize で使われたと記され、ツール統合推論版の NuminaMath-TIR も併記される。こうした内訳や系譜の情報は Notes にしかないので、表の区分だけで中身を判断すると取り違える。
代替手段との違い
同じ目的の手段として、Hugging Face Hub のデータセット検索とフィルタがある。違いは明確で、Hub はサンプル数やタスクタグで機械的に絞り込めるが、どのデータセットがどのモデルの学習に使われたか、どの論文の再現か、といった文脈は返さない。llm-datasets は逆に、キュレーターが選んだ行に限定される代わりに、生成元モデルや関連データセットへのリンクを注記として持つ。網羅性を取るか、文脈付きの少数精鋭を取るかの違いだ。もう一つの選択肢は、Hugging Face 上で公開されているデータセットカードを直接読み、ライセンスと構成を自分で確認する方法で、こちらは一次情報に当たれるが、比較対象を横断して並べる手間はすべて自分で負うことになる。
採用前に確認する手順
このリストを出発点にするなら、まず目的のドメインの表を選び、候補行の Notes からライセンス種別を書き出す。次に Dataset 列の URL を開き、データセットカードのライセンス表記と README の記載が一致するかを照合する。Thinking 列が Yes のものは推論トレースを含むため、蒸留先モデルのフォーマットと噛み合うかを確認する必要がある。混合比を決める段階では、件数ではなくトークン数に換算してから配分を検討する。README にはデータセットの取得コマンドやローダの設定例は載っていないので、読み込み方法は各データセットカード側の記載に従うことになる。
編集部の結論
自分で SFT 用の混合データを組み立てる個人や小規模チームに向く。逆に、ライセンス条件が厳格な商用製品に組み込む予定がある場合や、単一ドメインだけを深く扱いたい場合には、このリストは出発点にしかならない。採用前に確認すべきは、各エントリの Notes 欄に書かれたライセンス表記と、リンク先 Hugging Face データセットカードの実ライセンスが一致しているかどうか。README は「Unless specified otherwise, all datasets listed here are under permissive licenses」と断っているが、実際には CC-BY-NC-4.0 や NVIDIA Open Model License のように非商用・独自条件のものが本文中に混在している。
コミュニティノート