RAG、モデルにあなたの資料を読ませる

RepoBot v1 は「httpx は既定でリダイレクトに従うか」に間違え、バージョンの経緯までこしらえました。このモジュールでこの問題を解決します。答える前に、まず httpx の公式ドキュメントから関係する段落を見つけ、ドキュメントに沿って答え、出典をユーザーに伝えるようにするのです。

モジュール全体で、フレームワークはほとんど使いません。分割、ベクトル検索、BM25、融合、引用のチェックは、どれも自分で書き、それぞれ数十行です。すべての検索方法を同じ 20 問で評価するので、何か一つ加えるたびに数字が具体的にどれだけ変わるかがわかります。中にはよく言われる説と違う結果もあります。たとえば私たちのデータでは、ハイブリッド検索はキーワード検索単独よりよくはならず、最も大きな改善は安価なクエリの書き換え一回から来ました。

なぜこの順番なのか

第 1 課ではまず手作業の例で「資料を与えれば正解できる」ことを示し、RAG の流れと適用範囲を説明します。第 2 課から第 4 課では、流れの順に「資料を探す」ステップを固めます。まず分割、次に検索、そして検索の改善です。第 5 課は「資料を使う」ステップを扱います。モデルに引用つきで答えさせ、わからないときは正直にわからないと言わせます。第 6 課ではシステム全体を評価します。検索だけでなく、回答そのものもです。第 7 課でこれらを RepoBot に組み込みます。

修了の目安

• ドキュメントの構造に沿って分割でき、分割の問題（たとえばコードブロックが途中で切られる）を見つけて直せる。
• フレームワークを使わずにベクトル検索と BM25 を書き、RRF で両者を融合できる。
• 自分のドキュメント用に検索の評価問題を用意し、ヒット率と MRR を計算して、それをもとに検索方法を選べる。
• モデルに検索された資料だけに基づいて答えさせ、出典を明記させ、引用が有効かどうかをプログラムでチェックできる。
• RepoBot v2 が v1 の間違えた質問に正しく答え、ドキュメントの出典を示せる。