ファインチューニング JSONL 検証ツール

動作のしくみ

• 各行は messages 配列を持つ JSON オブジェクトでなければなりません。ロールは system、user、assistant、tool、function のいずれかで、どの例にも学習対象となる assistant メッセージが少なくとも 1 つ必要です。
• アップロード時の検証で拒否される点をチェックします。未知のキー、空のコンテンツ、0 か 1 以外の weight や assistant 以外のメッセージに付いた weight、id、name、JSON の引数のいずれかが欠けたツール呼び出し、そしてどの先行する呼び出しにも対応しない tool_call_id を持つツールの返答です。
• 旧来の prompt/completion 形式や選好（DPO）データなど、そもそも形式が違うファイルも見分け、何百ものエラーを並べる代わりにその旨を伝えます。
• トークン数はノートブックの計算式を o200k_base で適用して数えます。トークン上限を超える例は学習時に切り詰められるため警告し、課金トークン数は切り詰め後の合計にデフォルトのエポック数を掛けたものです。

よくある質問

例はいくつ必要ですか？

10 件未満だと API が受け付けません。OpenAI は、よく選んだ 50〜100 件から始め、結果が改善する場合にだけ追加することを勧めています。デフォルトのエポック数はファイルの大きさに応じて変わり、ほとんどのファイルでは 3、非常に小さいファイルではそれより多く（最大 25）、非常に大きいファイルでは少なくなります。このツールもこのルールを適用しています。

トークン上限の設定は何をするものですか？

ベースモデルが学習できる最も長い例の長さです。OpenAI は gpt-4o と gpt-4o-mini について 65,536 トークンと記載しており、ここでもそれをデフォルトにしています。これより長い例は学習時に上限で切られるため、末尾、多くの場合は assistant の回答が失われます。選んだモデルのドキュメントに記載された上限を設定してください。

トークン数は OpenAI の数と完全に一致しますか？

近い値にはなりますが、常に完全一致するわけではありません。ノートブックの計算式におけるメッセージごとのオーバーヘッドは近似値で、ツール定義は JSON テキストとして数えています。長すぎる例を見つけたり費用を見積もったりするのに使ってください。最終的な数値は、ジョブ自身が報告する学習トークン数です。

DPO や強化学習ファインチューニングのファイルもチェックできますか？

いいえ。検証するのは教師ありのチャット形式です。preferred_output と non_preferred_output を含む選好データのファイルは検出してその旨を報告するので、すべての行が失敗する理由は分かりますが、その形式自体の構造はチェックしません。

別の呼び方

• ファインチューニング JSONL
• JSONL 検証
• OpenAI ファインチューニング データ形式
• 学習データ チェック
• fine-tuning jsonl
• ファインチューニング トークン数