評価と公開

AI アプリが自分のパソコンで動くことと、人に使ってもらえることの間には、まだ大きな距離があります。うまく答えられているのか、変更したら悪くなっていないか、問題が起きたら原因を突き止められるか、毎月いくらかかるのか、悪用されないか。そうしたことを知る必要があります。

このモジュールはこれらの問いに答えます。最初の二つの課は評価です。問題を用意し、モデルを評価者にして、人のラベルで評価者が信頼できるかを確かめます。第 3 課はログ、第 4 課はコスト削減と高速化、第 5 課はガードレールです。最後の課で、すべてを RepoBot に組み込んで Web サービスにします。

なぜこの順番なのか

評価を一番前に置いたのは、この後のあらゆる変更（コストの最適化、ガードレールの追加、Web サービス化）で、効果が悪くなっていないことを評価で確かめる必要があるからです。ログを最適化の前に置いたのは、お金と時間がどこにかかっているかを先に知らなければ、何を最適化すべきかがわからないからです。ガードレールを最後にしたのは、ガードレールはリクエストを止めるので、正常な質問を巻き添えにしていないことを評価セットで確かめる必要があるからです。

修了の目安

• 自分のアプリのために、正常、境界、拒否、インジェクションの各ケースをカバーする評価セットを用意し、コマンド一つで実行できる。
• LLM 評価者のプロンプトを書き、数十件の人のラベルで、評価者の判断が人とどれだけ一致するかを確かめられる。
• エージェントに追跡ログを加え、ログから各リクエストのステップ数、所要時間、費用を計算できる。
• コスト削減や高速化の方法を少なくとも三つ挙げ、自分のアプリでその効果を測れる。
• 入力の分類ガードレールと出力のマスキングガードレールを実装し、それぞれが何を防げないかを知っている。
• RepoBot v4 が自分のパソコンで Web サービスとして動き、公開前にまだ何が足りないかを説明できる。