LLM とは何か

このモジュールでは、ニューラルネットワークの内部でどんな計算が行われているかは扱いません。それは第 2 部の話です。ここで扱うのは、使う側が必ず知っておくべき事実だけです。モデルには何が見えているのか、出力はどうやって生まれるのか、お金はどこにかかるのか。

どの課も実験に基づいて話を進めます。DeepSeek のトークナイザーで中国語の文を自分の手で分割し、logprobs パラメータでモデルが各ステップでどの語の間で迷っているかを見て、実際の確率分布を手元に持ってきて numpy で温度をシミュレーションし、httpx のドキュメント全体を 1 回のリクエストに詰め込んでキャッシュでどれだけ節約できるかを確かめます。ネットで広まっている説と違う実験結果もありましたが、すべてありのままに書いています。

なぜこの順番なのか

まずトークンを扱います。料金、コンテキストの長さ、出力の上限と、この後のすべてがトークン単位で決まるからです。次に、モデルがトークンを一つずつ生成して回答を作る仕組みを説明します。これでハルシネーションとランダム性が説明できます。温度は「確率に従ってくじを引く」ことの上に成り立っているので、第 3 課に置きました。第 4 課ではそれまでの知識をお金とコンテキストに結びつけます。第 5 課の埋め込みは別の種類のモデルで、文章を生成するのではなく文章をベクトルに変えます。モジュール 04 の RAG で使います。最後の課では、自分のタスクに合ったモデルの選び方を扱い、それまでの知識をすべて使います。

修了の目安

• 文章を渡されたら、トークナイザーでトークン数を数え、それをモデルに送るといくらかかるか見積もれる。
• 同じ質問を 2 回すると回答が違う理由と、温度 0 でも完全に同じになるとは限らない理由を説明できる。
• モデルが具体的なバージョン番号や API パラメータを示したとき、確認が必要だとわかり、どこで確認すればよいかも知っている。
• usage から 1 回の呼び出しの費用を計算する関数を、キャッシュヒット分も含めて書ける。
• 自分で用意した 20 問を使って、二つのモデルのどちらが自分のタスクに向いているか比較できる。