Transformer をゼロから実装する

モジュール 01 で、LLM がすることは一つだけ、次のトークンを予測することだと言いました。このモジュールでは、それをするモデルを自分の手で作ります。

GPT をゼロから書きます。トークナイザー、アテンション、マルチヘッド、位置エンコーディング、Transformer ブロックをすべて手書きし、既成のモデルライブラリは使いません。そして『全唐詩』から選んだ 3 万 5 千首の近体詩で学習させます。パラメータはわずか 161 万個で、ノートパソコンの CPU で 7 分ほど学習させれば、それらしい五言詩や七言詩を書けるようになります。

ChatGPT や DeepSeek との違いは主に規模と学習方法にあり、原理は同じです。このモジュールを終えれば、本物の LLM のコードの主要な構造を読めるようになります。

なぜこの順番なのか

モデルの入力はトークンなので、まずトークナイズです。次にアテンションで、これが Transformer の核心です。第 3 課でマルチヘッドと位置の情報を補い、第 4 課ですべての部品を完全なモデルに組み立てます。第 5 課でそれを学習させ、第 6 課でそれを使って文章を生成し、推論で最も重要な最適化である KV キャッシュを説明します。最後の課ではコードを書かず、私たちの小さな GPT から本当に会話できる LLM までの間に、あといくつのステップがあるのかを扱います。

このモジュールのコードはすべて code/09-transformer/ にあり、gpt.py がこの後の課で共通して使うモデルです。先にモジュール 08、特に誤差逆伝播法、PyTorch、交差エントロピーを学んでおく必要があります。

修了の目安

• バイトレベルの BPE トークナイザーを手書きでき、データが少ないとなぜ細かく切られてしまうのかを説明できる。
• 因果マスクとスケーリングを備えたアテンションを書け、q、k、v のそれぞれの役割を説明できる。
• マルチヘッドアテンションと位置エンコーディングがなぜ必要なのか、そして因果マスクそのものが順序の情報を漏らしていることを説明できる。
• gpt.py を一節ずつ読み解き、各部分にパラメータがいくつあるかを計算できる。
• 自分のパソコンで詩を書く小さな GPT を学習させ、損失の曲線と生成結果から、それが学んでいるのか暗唱しているのかを判断できる。
• 温度、top-k、KV キャッシュを説明し、KV キャッシュによる高速化の効果を測れる。
• 事前学習、指示チューニング、選好アライメントがそれぞれ何をしているのかを説明できる。