AI エンジニアリング実践コース：LLM の呼び出しから GPT の自作まで
開発者向けの無料 AI コース。まず LLM で使えるものを作り、それからニューラルネットワークと Transformer をゼロから実装して、なぜ動くのかを理解します。
コードと実行結果は実際に動かしたときのまま載せているため、コメントと出力は中国語です。
このコースは前半と後半に分かれています。
前半では LLM を使う方法を学びます。API の呼び出し、プロンプトの書き方、ナレッジベース Q&A、エージェント、そして最後に評価と公開まで。修了すれば、実際に人に使ってもらえる AI アプリを一人で作れるようになります。
後半では LLM を理解することを目指します。numpy で勾配降下法と誤差逆伝播法を手書きし、PyTorch で小さな GPT をゼロから組み立てて唐詩を書くよう学習させ、LoRA ファインチューニングも自分の手でやってみます。修了後に「アテンション」「KV キャッシュ」「量子化」といった言葉を見れば、頭に浮かぶのはぼんやりしたイメージではなく具体的なコードになるはずです。
前半と後半は別々に学べます。アプリを作りたいだけなら第 1 部で十分ですし、すでにアプリを作っていて仕組みを補いたいなら、第 2 部から始めてもかまいません。
コースを貫くプロジェクト
第 1 部のほとんどの課では、一つのものを作り続けます。オープンソースライブラリ httpx の質問に答えるアシスタントで、RepoBot と呼んでいます。
最初はチャットができるだけのコマンドラインプログラムですが、やがてプロジェクトのドキュメントを読んで質問に答えられるようになり、次に自分でドキュメントを検索しソースコードを調べるようになり、最後には評価セット、ログ、ガードレールを備えた Web サービスになります。モジュールごとに一つずつ機能が加わっていくので、AI アプリが一歩ずつ育っていく様子を見ることができます。
第1部：大規模言語モデルでつくる
API 呼び出し、プロンプト、RAG、エージェント、評価と公開までを、実際の Q&A アシスタントを作りながら学びます。
学習ルートを選び、Python 環境を整え、LLM の API キーを取得して、最初の呼び出しを済ませます。
3 レッスンモジュール 01LLM とは何か数学は一切使わず、実験を通して LLM の基本的な事実を理解します。トークン、次トークン予測、温度、コンテキストとコスト、埋め込み、そしてモデルの選び方。
6 レッスンモジュール 02プロンプト比較実験を通して、プロンプトの構成、few-shot、考えてから答えさせる方法、JSON 出力を説明し、最後にプロンプトを一括テストする小さなツールを作ります。
5 レッスンモジュール 03API でアプリを作る1 回の呼び出しから本物のプログラムへ。マルチターン会話、ストリーミング出力、ツール呼び出し、エラー時のリトライと費用の記録を扱い、最後にコースを貫くプロジェクト RepoBot の第 1 版を作ります。
5 レッスンモジュール 04RAG、モデルにあなたの資料を読ませる検索拡張生成のシステムをゼロから組み立てます。ドキュメントの分割、ベクトル検索、キーワード検索、クエリの書き換え、リランキング、引用つきの回答と評価。最後に RepoBot に httpx のドキュメントを読ませます。
7 レッスンモジュール 05エージェントまずエージェントが本当に必要かを考え、それからゼロから手書きします。ツールの設計、計画と自己チェック、記憶、マルチエージェント、MCP とセキュリティ。最後に RepoBot が自分でソースコードを調べられるようにします。
9 レッスンモジュール 06評価と公開評価セットを作り、モデルを評価者にして較正し、各ステップのログを記録し、コスト削減と高速化を行い、入出力のガードレールを加え、最後に RepoBot を Web サービスにして公開します。
6 レッスンモジュール 07AI でコードを書くAI コーディングツールにはどんな形があり、それぞれ何に向いているのか。プロジェクトの説明ファイルで AI にプロジェクトを理解させる方法。そして信頼できるワークフロー：先に受け入れ基準を決め、小さなステップで変更し、AI の自己申告ではなくテストで完了を判断する。
3 レッスン第2部：大規模言語モデルをゼロから理解する
誤差逆伝播を手で書き、小さな GPT をゼロから実装して訓練し、LoRA による微調整とローカル実行まで進みます。
一本の直線から始め、勾配降下法と誤差逆伝播法を手書きして最初の小さなネットワークを学習させ、それから PyTorch に替えて手書き数字を認識し、過学習とその対策を自分の目で確かめます。
6 レッスンモジュール 09Transformer をゼロから実装するトークナイザーとアテンションを手書きし、完全な小さな GPT を組み立て、3 万首を超える唐詩で詩を書けるように学習させます。さらに生成、KV キャッシュ、そして小さな GPT から本物の LLM まで何が足りないのかを扱います。
7 レッスンモジュール 10ファインチューニングとローカルデプロイまずいつファインチューニングすべきかを考え、それから LoRA を手書きし、peft で小さなオープンソースモデルをファインチューニングし、メモリを見積もり、量子化を手書きし、Ollama で自分のパソコンで動かし、最後に vLLM のようなサービス用フレームワークが何を解決しているのかを理解します。
5 レッスンモジュール 11修了プロジェクトコース全体で学んだことを使って、自分でテーマを選んだ AI プロジェクトを一人でやり遂げます。完成の基準を決め、使えるものを作り、評価でそれがどれほどよいかを示し、最後に人に読んでもらえるようにきちんと書きます。
1 レッスン事前に必要な知識
- Python の基礎：関数、リスト、辞書、クラス。
pipかuvでパッケージをインストールできること。 - コマンドラインの基本：
cd、スクリプトの実行。 - 数学：第 1 部ではまったく不要です。第 2 部で使う微分と行列の掛け算は課の中で一から説明するので、高校数学で足ります。
GPU は不要です。第 1 部は最初から最後まで API を呼ぶだけで、第 2 部の実験もすべて普通のノートパソコンの CPU で完結します。小さな GPT の学習は約 7 分、5 億パラメータのオープンソースモデルのファインチューニングは十数秒です。第 10 モジュール最後の課の vLLM だけは NVIDIA GPU 搭載のサーバーが必要で、課の中で説明します。
費用
第 1 部では LLM の API を呼び出します。標準では DeepSeek を使い、第 1 部の例と練習問題をすべて実行しても、費用はたいてい 10 人民元（約 1.4 ドル）以内です（2026 年 9 月の料金による）。OpenAI 互換の API を持つ他のサービスに切り替えてもかまいませんし、Ollama でローカル実行すれば完全に無料です（ただし性能は落ちます）。第 2 部は API を呼ばないので費用はかかりません。
コードの場所
各課のコードは code/ の下の対応するモジュールのディレクトリにあり、RepoBot の四つの版は projects/repobot/ にあります。課に載っている出力はすべて教材執筆時に実際に実行して得たもので、各課の冒頭に実行日とモデルまたはソフトウェアのバージョンを記しています。API を呼ばないコードは乱数シードを固定してあるので、同じか非常に近い数値が得られるはずです。
効果的な学び方
各課のコードは自分でタイプし、少なくとも一度は自分で実行してください。それから課末の練習問題、特に「1 か所変えて何が起きるか見る」タイプの問題に取り組みましょう。読むだけで手を動かさなければ、このコースの価値は大半が失われてしまいます。