小さな GPT から LLM へ

私たちの小さな GPT は「江山古馆响幽幽，山鸟无人见白头」のような句を書けます。しかし「床前明月光の次の句は？」と聞いても、この数文字の続きとして詩を一首書くだけです。できることは一つだけ、続きを書くことだからです。

DeepSeek や ChatGPT の土台も同じ構造なのに、質問に答え、コードを書き、求めに応じて文章を直せます。間に何が足りないのでしょうか。この課ではコードを書かず、この道のりをいくつかのステップに分けてはっきり説明します。

第一歩：規模

まず数字を比べてみましょう（LLM の数字は論文の要旨から引用しています）。

                     参数            训练数据
我们的小 GPT         161 万          155 万个字符，训练了约 8 遍
GPT-3（2020）        1750 亿         （论文正文给出了数据量，这里不展开）
DeepSeek-V3（2024）  6710 亿，       14.8 万亿个词元
                     每个词元用 370 亿

DeepSeek-V3 のパラメータは私たちの 40 万倍以上、学習データはおよそ 1000 万倍です。その完全な学習には 278.8 万 H800 GPU 時間が使われました。私たちのモデルは CPU 一つで 7 分学習しただけです。

規模がもたらすのは「上手に書ける」ことだけではありません。GPT-3 の論文（『Language Models are Few-Shot Learners』）は、モデルが十分に大きくなると、専用の学習をしなくても、プロンプトにいくつか例を示すだけで翻訳、質疑応答、算数といったタスクをこなせることを見出しました。これがモジュール 02 第 2 課の few-shot プロンプトで、それが機能するのは規模のおかげなのです。

どれくらいの大きさなら十分なのでしょうか。2022 年の DeepMind の Chinchilla の論文がこの問題を研究しました。結論は、計算資源が一定なら、モデルのパラメータと学習データは同じ比率で増やすべきだ、というものです。彼らは 700 億パラメータのモデルを 4 倍のデータで学習させ、2800 億パラメータの Gopher や 1750 億パラメータの GPT-3 を全面的に上回りました。それ以前の多くの LLM は「モデルが大きすぎ、データが少なすぎ」だったのです。

モジュール 08 第 6 課でも似たことを見ました。データを 100 枚から 898 枚に増やすと、効果の向上はほかのどんなテクニックもはるかに上回りました。

第二歩：事前学習

私たちが唐詩でしたことを事前学習と呼びます。大量の文章を使い、モデルにトークンを一つずつ予測させ続けるのです。本物の事前学習では、Web ページ、書籍、コード、論文などあらゆる文章を使い、大量のクレンジングと重複排除を経ています。

事前学習を終えて得られるものをベースモデル（base model）と呼びます。膨大な文章から言語、知識、ある程度の推論能力を学んでいますが、ふるまいはやはり「続きを書く」ことだけです。質問を与えると、さらに多くの質問を書き続けるかもしれません。Web ページでは、ある質問の後に別の質問が続くことがよくあるからです。

これが私たちの小さな GPT の今の状態で、ただ唐詩しか読んでいないだけです。

第三歩：指示チューニング

モデルに「続きを書く」のではなく「答える」ようにさせるには、会話の形式を教える必要があります。やり方は単純です。「質問 → よい回答」の例を大量に用意し、学習を続けます。

<用户>床前明月光的下一句是什么？
<助手>疑是地上霜。出自李白的《静夜思》。

学習の方法は事前学習とまったく同じで、やはり次のトークンを予測するのですが、データがこうした会話に替わり、しかもふつうは「アシスタント」の部分でだけ損失を計算します。このステップを指示チューニング、あるいは教師ありファインチューニング（Supervised Fine-Tuning、SFT）と呼びます。

指示チューニングのデータは事前学習よりずっと少ないのですが、品質への要求はとても高いのです。モデルの知識は主に事前学習から来ていて、指示チューニングが教えるのは「その知識を使って人にどう応じるか」です。

第 10 モジュールで、ファインチューニングを自分の手で一度やってみます。

第四歩：選好アライメント

指示チューニングの後、モデルは質問に答えるようになりますが、回答の質はばらばらです。くどいこともあれば、でっち上げることも、有害なこともあります。

「よい回答」をすべて例として書き出すのは難しいのですが、人が二つの回答のどちらがよいかを比べるのは簡単です。そこで四つ目のステップが生まれました。同じ質問に対してモデルにいくつか回答を生成させ、人に順位を付けてもらい、その順位を使ってモデルを学習させ、人が好む回答を書く傾向を強めるのです。このステップをアライメント（alignment）と呼び、最初に広く知られた方法は人間のフィードバックによる強化学習（RLHF）です。

その効果はどれほどでしょうか。OpenAI は 2022 年の論文（『Training language models to follow instructions with human feedback』）で、指示チューニングと人間のフィードバックで学習させた 13 億パラメータの InstructGPT が、人による評価で 1750 億パラメータの GPT-3 より好まれたと報告しています。パラメータは 100 分の 1 です。ChatGPT はこの道に沿って作られました。

LLM が「会話が上手」なのは主にこの後の二つのステップのおかげで、「物知り」なのは主に一つ目のステップのおかげです。

第五歩：強化学習で推論を鍛える

2025 年の DeepSeek-R1 の論文（『DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning』）は、さらに一歩進みました。そのやり方はこうです。数学やプログラミングのように答えを自動でチェックできる問題をモデルに出し、正解なら報酬を与え、不正解なら与えず、強化学習で繰り返し学習させるのです。

論文によれば、この報酬だけで、人が書いた解答の過程がなくても、モデルは振り返り、検証、別の考え方を試すといった推論のやり方を自分で身につけました。モジュール 01 で触れた「思考モード」、モデルが先に推論を出力してから答えを出すものは、この種の学習の産物です。

私たちの小さな GPT に足りないもの

私たちの GPT を振り返ると、二つ目のステップを終えたところで、ただ規模がずっと小さく、データが唐詩だけです。この課のステップに従えば、もっと「アシスタント」らしくするには、まだ次のものが必要です。

• より多く、より多様なデータ：唐詩しか読んでいなければ、唐詩しか書けません。
• より大きなモデル：161 万個のパラメータでは、たいした知識は入りません。
• 指示チューニングとアライメント：ひたすら続きを書くのではなく、求めに応じて応えられるようにすること。

ほかにも工学上の問題が大量にあります。何千枚もの GPU で同時に学習させるにはどうするか。学習の過程を何か月も止めずに動かし続けるにはどうするか。十数兆トークンのデータをどうクレンジングするか。これらはこのコースの範囲を超えています。しかしモデルそのものは、あなたはもう自分の手で組み立てたのです。

練習問題

1. オープンソースのモデルのモデルカード（たとえば Hugging Face の Qwen や DeepSeek のモデル）を一つ見つけ、パラメータ数と学習データ量を探し、どんな版（ベース、指示、推論など）を区別しているかを見てください。
2. ベースモデルを使える環境があれば（多くのオープンソースモデルはベース版も公開しています）、それと対応する指示版に同じ質問をして、回答を比べてください。
3. Chinchilla の論文の結論によれば、モデルのパラメータを倍にするなら学習データも倍にすべきです。私たちの小さな GPT のパラメータを 10 倍にしたら、この 3.5 万首の詩だけで足りると思いますか。学習させてみて、検証の損失を見てください。

確認テスト

1. ベースモデルと指示モデルはどう違いますか？

ベースモデルは事前学習を経ただけで、ふるまいは前の文章に続けて書くことです。質問を与えても、答えるとは限りません。指示モデルはベースモデルの上に、大量の「質問 → 回答」の会話データでファインチューニングしたもので、会話の形式に従ってユーザーに応えることを身につけています。

2. 指示チューニングと事前学習の学習方法はどう違いますか？

方法は基本的に同じで、どちらも次のトークンを予測し、交差エントロピーを損失にします。違うのはデータです。事前学習は膨大な普通の文章を使い、指示チューニングは量はずっと少ないけれど品質のとても高い会話データを使い、しかもふつうは回答の部分でだけ損失を計算します。

3. InstructGPT の実験は何を示していますか？

13 億パラメータの InstructGPT が、指示チューニングと人間のフィードバックで学習させた後、人による評価で 1750 億パラメータの GPT-3 より好まれました。「使いやすいかどうか」にとっては、学習の方法とデータのほうが、モデルの規模より重要な場合があることを示しています。