评估与上线

一个 AI 应用能在你的电脑上跑起来，离能交给别人用还差很远。你需要知道它答得好不好、改了之后有没有变差、出了问题能不能查到原因、每个月要花多少钱、会不会被人滥用。

这个模块回答这些问题。前两课做评估：准备题目、让模型当评委，并且用人工标注检查评委靠不靠谱。第 3 课做日志，第 4 课省钱提速，第 5 课加护栏。最后一课把所有东西装进 RepoBot，做成一个网页服务。

为什么是这个顺序

评估放在最前面，因为后面的每一项改动（优化成本、加护栏、改成网页服务），都要用它来确认效果没有变差。日志放在优化之前，因为要先知道钱花在哪里、时间花在哪里，才知道该优化什么。护栏在最后，因为它会拦截请求，需要评估集来确认它没有误伤正常的问题。

学完的标准

• 能为自己的应用准备一份覆盖正常、边界、拒答、注入各类情况的评估集，并一条命令跑完。
• 能写出模型评委的提示词，并用几十条人工标注检查它和人的判断有多一致。
• 能给智能体加上追踪日志，并从日志里算出每个请求的步数、耗时和花费。
• 能说出至少三种省钱或提速的办法，并在自己的应用上量出效果。
• 能实现输入分类护栏和输出脱敏护栏，知道它们各自防不住什么。
• RepoBot v4 在你的电脑上以网页服务的形式运行，并能说出上线前还缺哪些东西。