ニューラルネットワークの基礎

第 2 部「LLM をゼロから理解する」はここから始まります。

第 1 部では、LLM はあなたにとって一つの API でした。文章を送り、文章を受け取る。このパートではそれを開いて、どうやって学習されているのかを理解します。このモジュールでまず土台を固めます。モデルがどれほど大きくても、学習の核心となるステップは同じで、損失を計算し、勾配を計算し、パラメータを更新する、です。このモジュールでは、最も小さな例でこのステップを自分の手で一通りやってみます。

GPU は要りません。すべてのコードは普通のノートパソコンの CPU で数秒で動き終わります。数学は高校の微分しか使わず、どの式もコードと数値で確かめます。

なぜこの順番なのか

まず numpy で手書きし、それから PyTorch に替えます。第 1 課から第 3 課まではディープラーニングのフレームワークを一切使いません。一本の直線で「学習は何を探しているのか」を、勾配降下法で「どうやって探すのか」を、誤差逆伝播法で「勾配はどこから来るのか」を理解します。これがあれば、第 4 課の PyTorch はブラックボックスではなくなり、どの関数も裏で何をしているのかがわかります。

後の二つの課では本物のデータを扱います。第 5 課は分類タスクで、softmax と交差エントロピーを導入します。これらは次のモジュールで GPT にそのまま使います。第 6 課は過学習を扱います。どんなモデルを学習させても出会う問題です。

修了の目安

• 「学習」が何をしているかを説明できる。損失ができるだけ小さくなるパラメータの組を探すこと。
• 勾配降下法のループを手書きでき、学習率が小さすぎるとき、大きすぎるときにそれぞれどうなるか、そしてなぜ入力を標準化すべきかを説明できる。
• 連鎖律で誤差逆伝播法を説明でき、自分で書いた勾配の計算を数値微分で確かめられる。
• PyTorch で完全な学習ループを書ける。モデル、損失関数、オプティマイザ、勾配のゼロ化、逆伝播、パラメータの更新。
• 分類タスクでなぜ softmax と交差エントロピーを使うのか、10 クラス分類のネットワークの学習開始時の損失がおよそいくつになるかを説明できる。
• 学習のログから過学習を見抜き、いくつかの対策それぞれの効果と限界を説明できる。