ACE 评测：给 AI Agent 装一个会反思的 Skillbook，而不是更大的上下文窗口

一个反复犯错的 Agent，问题不在模型，在记忆

用过 AI Agent 的人都有这个体验：上一轮它刚学会某件事，下一轮新会话里又忘了。模型本身没有错，错在它没有跨会话的持久记忆。ACE 要解决的就是这个问题。它不是一个模型，也不是一个向量数据库，而是一套让 Agent 从执行痕迹中提取策略、并把策略保存下来的机制。它的目标用户很明确：那些在生产环境里跑 Agent、却需要手工修复重复错误的团队。README 里那句「AI agents don't learn from experience」是它的出发点，也是它存在的理由。

Skillbook 不是缓存，是经过筛选的经验库

ACE 的核心数据结构叫 Skillbook，翻译过来就是技能书。它不是一个简单的键值存储，而是一个会进化的策略集合。每次任务执行后，三个角色协同工作：Agent 负责执行并应用 Skillbook 里的策略，Reflector 分析执行痕迹，找出哪些动作有效、哪些失败，SkillManager 则负责增删改 Skillbook 中的策略。这个设计的关键在于，不是所有经验都会被写入。SkillManager 会做筛选，避免 Skillbook 变成垃圾堆。README 给出的例子很直观：Agent 声称存在海马 emoji，Reflector 反思这个错误，提取一条策略，下一次 Agent 就能正确回答。整个过程不需要人工干预。

递归反思：用代码而不是摘要来学习

ACE 最特别的地方是 Recursive Reflector，README 称其为关键创新。传统的 trace 分析是一次性总结，把长日志压缩成一段文字。ACE 的做法不同，它会让 Reflector 写 Python 代码，在沙箱环境里执行这些代码，以编程方式搜索 trace 中的模式。这意味着反思不是凭印象，而是通过实际运行代码来发现规律。这个设计有代价：每次反思都需要一个沙箱执行环境，这增加了基础设施的复杂度。如果你只是在本地跑一个脚本，这个沙箱可能不成问题，但在生产环境里，你需要确保沙箱的安全性和资源隔离。

从安装到第一次学习：实际命令与配置

安装 ACE 只需要一条命令：uv add ace-framework。README 提供了两种配置方式。方式 A 是交互式设置，运行 ace setup，它会引导你选择模型、输入 API key 并验证连接。方式 B 是手动配置，你需要自己设置环境变量，比如 export OPENAI_API_KEY="your-key"，或者用 ANTHROPIC_API_KEY，README 声称支持 100 多个 provider。配置完成后，Python 代码的使用非常直接：先创建 ACELiteLLM 实例，指定模型，比如 agent = ACELiteLLM(model="gpt-4o-mini")，然后调用 agent.ask() 提问。如果答案不对，用 agent.learn_from_feedback("There is no seahorse emoji in Unicode.") 喂一条纠正信息，ACE 会从中提取策略并更新 Skillbook。之后再用 agent.ask()，就能看到改进。最后可以用 agent.get_strategies() 查看学到了什么。整个过程不需要微调，不需要训练数据，也不需要向量数据库，这是 ACE 的一个明确卖点。

性能数字背后的含义：一致性翻倍但成本要算清

README 给出了三个性能指标。第一个是在 Tau2 航空基准上，通过学习 15 条策略、在没有奖励信号的情况下，通过率翻倍，达到 2x consistency。第二个是浏览器自动化任务中，经过 10 次运行的学习曲线，token 消耗减少 49%。第三个是 Claude Code 用 1.5 美元的学习成本，把 14k 行代码翻译成 TypeScript，零构建错误。这些数字看起来不错，但要注意它们的上下文。第一个指标说的是 pass^4，这个符号在 README 里没有解释，可能是四次运行都通过才算成功的严格指标。第二个指标暗示学习过程本身有成本，10 次运行的学习曲线意味着你至少要跑 10 次才能省下 token。第三个指标的成本是 1.5 美元，但那是针对特定任务的。这些数字来自项目方自己的测试，不是独立验证。在你自己的场景里，效果可能完全不同。

ACE 的边界：什么时候它是错误的工具

ACE 不是万能的。首先，它需要一个 Reflector 来分析 trace，这意味着每次任务执行后都要有额外的计算开销。如果你的 Agent 只是做一次性的简单查询，这个反思过程反而会拖慢响应。其次，递归反思依赖沙箱执行 Python 代码，这引入了安全风险。如果你的 trace 数据包含敏感信息，把代码执行放在沙箱里不等于数据绝对安全。第三，ACE 的策略提取依赖 LLM 的判断，如果模型本身对某个领域理解不足，学到的策略可能也是错的。最后，README 提到 v0.12.0 是一次 RR/Skillbook v2 重写，这说明 Skillbook 的结构还在演进。如果你在生产环境依赖 ACE，版本升级可能会破坏已有的策略格式，你需要为迁移留出时间。

替代方案：托管服务与自建记忆的取舍

ACE 的替代方案不是另一个开源库，而是它背后的托管服务 Kayba。README 明确说 ACE 是 Kayba 的开源引擎，如果你不想自己管理学习循环，Kayba 可以帮你处理从失败调查到修复 PR 的整个过程。这个替代方案的差异在于运维责任：用 ACE，你需要自己部署、监控、处理沙箱和 Skillbook 升级；用 Kayba，这些都由托管方负责，但你的 trace 数据会发送到 Kayba 的服务。对于数据合规要求高的团队，这是一个关键区别。另一个替代方向是自己在 Agent 里实现记忆机制，比如用向量数据库存储历史交互，但 ACE 的差异在于它不只是存储，而是通过反思提取可复用的策略。如果你只需要简单的记忆回放，ACE 可能过于复杂；如果你的需求是让 Agent 真正改进行为，ACE 的反思机制是更结构化的方案。

维护成本与许可证：Apache-2.0 下的现实考量

ACE 使用 Apache-2.0 许可证，这意味着你可以自由使用、修改和分发，包括商用。但开源不等于免费维护。ACE 的更新节奏看起来比较活跃，v0.12.0 在 2026 年 5 月发布，之前还有 tracing 相关的版本。每次更新都可能带来行为变化，尤其是 Skillbook v2 这样的重写。你需要定期跟进 changelog，测试新版本是否兼容你的策略。另外，ACE 依赖外部 LLM API，这意味着你的运行成本会随着调用量增加。README 提到 token 减少 49%，但那是学习完成后的效果，学习阶段本身需要额外的反思调用。如果你的 Agent 任务量很大，这些额外调用会累积成可观的费用。最后，ACE 的文档指向 GitHub Pages，但 README 也提到 hosted solution，你需要确认开源版和托管版的功能差异，避免在后期迁移时遇到意外。

编辑结论

ACE 适合那些已经受够了 Agent 反复犯同样错误的团队，尤其是使用 Claude Code 或浏览器自动化工具、且愿意投入时间做一次配置的开发者。它不适合只需要一次性问答、或者无法接受额外 API 调用开销的场景。在采用之前，你应该先验证三件事：一是 ACE 支持的 100 多个 provider 中是否包含你实际使用的模型，二是递归反思的沙箱环境在你的部署平台上能否正常运行，三是 Skillbook 的版本升级（比如 v0.12.0 的 RR/Skillbook v2 重写）是否会破坏你已有的策略格式。ACE 不是一个即插即用的库，它是一个需要你理解其学习循环的框架。如果你不想管理这个循环，Kayba 托管服务是另一个选择，但那意味着你的 trace 数据会离开你的控制范围。

官方来源

1. kayba-ai/agentic-context-engine on GitHub
2. License: Apache-2.0
3. Project website
4. README
5. Releases