ファインチューニングとローカルデプロイ

モジュール 09 では小さな GPT をゼロから学習させました。現実には、LLM をゼロから学習させることはほとんどなく、他の人が学習させたオープンソースモデルを使います。そのまま動かすか、それをもとにファインチューニングするかです。このモジュールはこの二つを扱います。

実験はすべてノートパソコンの CPU で行います。ファインチューニングするのはパラメータがわずか 5 億の Qwen2.5-0.5B-Instruct で、学習は十数秒で済みます。より大きなモデルには GPU が必要で、どれだけの GPU メモリが必要かの見積もり方も課の中で説明します。

なぜこの順番なのか

第 1 課ではまず冷や水を浴びせます。たいていの場合ファインチューニングは不要で、プロンプトと RAG のほうが向いています。本当に必要なときのために、第 2 課ではモジュール 09 の小さな GPT で LoRA を手書きし、原理を理解します。第 3 課では本物のオープンソースモデルに替えて、transformers と peft でやってみて、ファインチューニングの副作用もじっくり見ます。

後の二つの課はデプロイです。第 4 課ではまずメモリの見積もり方を身につけ、量子化を手書きし、それから Ollama で自分のパソコンでモデルを動かします。第 5 課では多くのユーザーに同時にサービスを提供するときの問題と、vLLM がそれをどう解決しているかを扱います。

コードは code/10-finetune-deploy/ にあります。第 2、4、5 課はモジュール 09 で学習させたモデルを使うので、先にモジュール 09 を終えておく必要があります。

修了の目安

• 要件を前に、プロンプト、RAG、ファインチューニングのどれを使うべきかを判断し、理由を説明できる。
• LoRA の層を手書きでき、なぜ B を 0 で初期化するのか、LoRA がなぜ元の重みにマージし直せるのかを説明できる。
• peft でオープンソースモデルに LoRA を付けて学習させ、回答の部分でだけ損失を計算し、見たことのない質問と普通の質問で効果と副作用をチェックできる。
• パラメータ数と精度から、モデルがどれだけのメモリを占めるかを見積もれ、KV キャッシュの計算方法を説明できる。
• 対称量子化とグループ量子化を説明でき、8 ビット、4 ビット、2 ビットでおおよそどんな影響が出るかを説明できる。
• Ollama でローカルモデルを動かし、第 1 部のコードを環境変数をいくつか変えるだけでそれを呼び出せるようにできる。
• モデルサービスがなぜリクエストをまとめて処理するのか、そしてスループットとレイテンシの間のトレードオフを説明できる。