llm-internals を読む前に知っておくこと: 動画とブログで学ぶ LLM 内部構造

このリポジトリが埋めようとしている穴

LLM の解説は二極化しやすい。片方は API の呼び方やプロンプトの書き方に終始し、もう片方は論文の数式を前提知識として置いていく。llm-internals はその中間を狙っている。README の冒頭には「Learn LLM internals step by step - from tokenization to attention to inference optimization.」とあり、トークナイズから推論最適化までを段階的に並べる方針が示されている。対象読者は、Transformer という言葉は知っているが、Q と K と V が実際に何を計算しているのかを自分の手で追ったことがない層だ。リポジトリ自体はコード集ではなく、各トピックの解説記事と動画への索引として機能する。README には「This series will continue to grow as I write more blogs and create more videos on new topics.」と書かれており、完成品ではなく継続的に追加される教材群の入口だと位置づけられている。

README は目次であって本文ではない

このリポジトリを評価するとき最初に押さえるべき点は、中身の大半が外部リンクだということだ。各章は見出しと箇条書きのトピック一覧、そして outcomeschool.com のブログ記事か YouTube 動画へのリンクで構成されている。たとえば BPE の章は「What is Tokenization?」「The Problem: How to Break Text into Tokens?」「How BPE Works: Step by Step」といった項目を並べたうえで、outcomeschool.com の該当記事へ誘導する。つまり GitHub 上のリポジトリは学習経路の設計図であり、説明の本体は別ドメインにある。リポジトリを clone しても解説文は手に入らない。この構造は、社内で教材を共有したい場合にリンク先の可用性へ依存することを意味する。README の記述から確認できるのは目次の範囲であり、各記事の本文の質や正確さはこのリポジトリからは判断できない。

数値例で数式を追わせる進め方

扱うトピックの選び方には一貫した傾向がある。注意機構の章では「Math behind Attention - Q, K, and V」として、注意の式、単語からベクトルへの変換、Q・K・V 行列の作成、Q x K^T の計算、スケーリング、softmax、注意重みと V の積、という順序が明示されている。スケーリング因子の章も「Why Do Dot Products Grow with dₖ?」から「Proving It Step by Step: Variance of the Dot Product is dₖ」まで、分散の計算を段階的に踏む構成だ。逆伝播の章には「Step-by-step numeric example」と「Backpropagation in Python」が並び、クロスエントロピーの章にも「Step-by-Step Numeric Example」がある。抽象的な定義を示して終わるのではなく、小さな数値で手計算できる粒度まで分解する方針が読み取れる。数式が苦手な読者には向かないが、逆に数式だけでは腑に落ちなかった読者にとっては再挑戦の材料になる。

トピックの並びと依存関係

章立ては下流から上流へ積み上がる。最初に LLM 全体の位置づけとして RAG、MCP、エージェント、ファインチューニング、量子化を一望する動画が置かれ、次にトークナイズ、BPE、注意機構の数式、√dₖ スケーリング、因果マスキング、逆伝播、クロスエントロピー、Transformer アーキテクチャ、フィードフォワードネットワークと続く。因果マスキングの章は「Without Causal Masking」「With Causal Masking」「Implementation of Causal Masking」「The Causal Mask Matrix」という順で、未来のトークンが見えてしまう問題を先に提示してから実装へ進む。Transformer の章はエンコーダとデコーダの両方、残差接続、レイヤー正規化、3 種類の変種までを一つの記事で扱う。前の章の内容を前提に次の章が積まれるため、順番を飛ばすと因果マスキングやスケーリングの議論が唐突に感じられる可能性がある。

動かすための手順が書かれていないという制約

このリポジトリには、インストール手順も設定ファイルもテストも、README からは確認できない。pip install すべきパッケージ名、実行すべきコマンド、config のキー、ディレクトリ構成の説明は提示されていない。逆伝播の章に「Backpropagation in Python」という項目があるため記事側にはコードが含まれると推測できるが、そのコードがリポジトリ内のファイルとして存在するのか、記事中のスニペットなのかは README からは分からない。したがって「clone して動かす」という使い方を想定している読者には、このリポジトリは応えない。学習教材として読むか、あるいは自分の手元で NumPy などを使って数値例を再実装するかのどちらかになる。再実装する場合の依存関係は読者自身が決めることになる。

解説リポジトリという選択と、コード中心の教材との違い

同じ「LLM を学ぶ」目的でも、アプローチは分かれる。たとえば Karpathy の nanoGPT は、学習ループやモデル定義を含む動作するコードを読み、実行し、書き換えることで理解を進める。対して llm-internals は、数式と数値例を記事と動画で説明することに重心を置く。前者は GPU やデータセットの準備という前提条件を伴い、後者はブラウザと手計算で完結する。どちらが優れているという話ではなく、得られる理解の種類が違う。コードを動かして損失が下がる様子を見たいなら nanoGPT 側が適し、softmax の前でなぜスケーリングが必要なのかを紙の上で確かめたいなら llm-internals の記事群が適する。両方を往復する使い方も成立する。

メンテナンス状況とライセンスの扱い

リポジトリはアーカイブされておらず、最終 push は 2026-09-01 と記録されている。README には「This series will continue to grow」とあり、著者である Outcome School の創業者 Amit Shekhar が継続的に記事と動画を追加する方針を示している。ただし GitHub 側の更新は、新しい記事へのリンクを目次に足す作業が中心になると考えられる。リリースは取得されておらず、バージョン番号で固定して参照する類のものではない。ライセンスは Apache-2.0 で、リポジトリ内のファイルに適用される。リンク先のブログ記事や YouTube 動画は別のプラットフォーム上にあり、その利用条件は Apache-2.0 の対象外だ。社内資料へ引用・転載する場合は、リンク先それぞれの条件を確認する必要がある。ここでは法的助言はできない。

読む順番をどう決めるか

全体を最初から通す必要はない。注意機構の数式だけを復習したいなら、Q・K・V の記事と √dₖ スケーリングの記事を続けて読むと、スコアの計算から softmax の飽和までが一続きになる。因果マスキングは、マスクなしで未来が見える例から入る構成なので、実装の詳細だけを知りたい読者には前半が冗長に感じられるかもしれない。逆伝播とクロスエントロピーは、ニューラルネットワークの学習そのものを追いたい場合に読む。Transformer の章は個別トピックの後ろに置くほうが、エンコーダとデコーダの違いや残差接続の役割が頭に入りやすい。どの章も数値例を挟むため、読むだけでなく手を動かす前提で時間を見積もっておきたい。

編集部の結論

数式と実装の両方を自分の手で追いたい個人学習者、および社内勉強会の題材を探している担当者には向く。逆に、動くコードやベンチマーク、ライブラリとしての API を期待する人には向かない。README には実行可能なスクリプトの記載がないため、採用判断の前にリポジトリのファイル一覧を確認し、本文が外部ブログと YouTube に置かれている構成であることを把握しておきたい。Apache-2.0 はリポジトリ内の成果物に適用されるライセンスであり、リンク先の動画やブログ記事の利用条件は別に確認する必要がある。

公式情報源

1. amitshekhariitbhu/llm-internals on GitHub
2. Issues
3. License: Apache-2.0
4. Project website
5. README