Agentic Context Engine: ein Skillbook statt Fine-Tuning

Das Problem: Agenten wiederholen ihre Fehler

Die README formuliert die Ausgangslage in einem Satz: Agenten lernen nicht aus Erfahrung, sie wiederholen dieselben Fehler in jeder Sitzung, vergessen, was funktioniert hat, und ignorieren, was fehlgeschlagen ist. Wer einen Agenten über Wochen betreibt, kennt das Muster. Ein Tool-Aufruf mit falschem Argumenttyp, eine erfundene API, ein falsch interpretierter Fehlercode: Der Fix landet im Prompt der nächsten Sitzung, und in der übernächsten ist er weg.

ACE richtet sich an Entwickler, die einen oder wenige Agenten betreiben und deren Fehlerverhalten sich wiederholt, ohne dass sie ein Modell nachtrainieren wollen. Die README nennt als Zielgruppe ausdrücklich den Fall, in dem kein Fine-Tuning, keine Trainingsdaten und keine Vektordatenbank zur Verfügung stehen. Das ist eine engere Zielgruppe als der Begriff agent-learning vermuten lässt: Wer bereits eine Evaluationspipeline mit gelabelten Fehlerfällen hat, bringt mit, was ACE erst aufbauen muss.

Skillbook, Reflector, SkillManager: der Lernzyklus

Das zentrale Artefakt ist das Skillbook, eine persistente Sammlung von Strategien, die mit jeder Aufgabe wächst. Drei Rollen verwalten den Zyklus. Der Agent führt Aufgaben aus und wird dabei mit Strategien aus dem Skillbook angereichert. Der Reflector analysiert Ausführungstraces und extrahiert daraus, was funktioniert hat und was nicht. Der SkillManager kuratiert das Skillbook, er fügt Strategien hinzu, verfeinert sie und entfernt sie wieder.

Der Recursive Reflector ist der Teil, der sich von üblichen Trace-Zusammenfassern unterscheidet. Statt einen Trace in einem einzigen Durchlauf zusammenzufassen, schreibt und führt er laut README Python-Code in einer sandboxed Umgebung aus, um programmatisch nach etwas zu suchen. Der Satz ist im gelieferten Material abgeschnitten, das Suchziel bleibt offen. Was sich daraus ableiten lässt: Die Reflexion ist kein einzelner LLM-Aufruf über den gesamten Trace, sondern ein Ablauf, in dem Code generiert und ausgeführt wird. Das erklärt den Begriff Recursive und erklärt zugleich, warum eine Sandbox überhaupt nötig ist.

Wer diesen Aufbau bewertet, sollte eine Sache klar benennen: Der Lernpfad selbst kostet Modellaufrufe. Der Agent, der Reflector und der SkillManager sind getrennte Rollen, jede mit eigenem Prompt. Die README nennt 1,50 US-Dollar Lernkosten für einen Claude-Code-Lauf, der 14k Zeilen nach TypeScript übersetzte, mit null Build-Fehlern und allen Tests grün. Das ist eine Einzelangabe aus einem Beispiel, keine Kostenformel für den eigenen Agenten.

Vom Fehler zur Strategie in sechs Zeilen

Die README zeigt den Ablauf an einem Beispiel, in dem der Agent behauptet, es gebe ein Seepferdchen-Emoji. Zuerst wird das Paket installiert:

uv add ace-framework

Danach folgt entweder der interaktive Weg mit ace setup, der laut README durch Modellauswahl, API-Schlüssel und Verbindungsvalidierung führt, oder die manuelle Konfiguration über eine Umgebungsvariable, etwa OPENAI_API_KEY oder ANTHROPIC_API_KEY. Die README spricht von über 100 unterstützten Providern.

Im Code wird ein ACELiteLLM-Objekt mit einem Modellnamen erzeugt. Der erste Aufruf von agent.ask darf halluzinieren. Danach kommt agent.learn_from_feedback mit der Korrektur, dass es kein Seepferdchen-Emoji in Unicode gibt. ACE extrahiert daraus eine Strategie und aktualisiert das Skillbook. Der nächste Aufruf von agent.ask profitiert von dieser Strategie, und agent.get_strategies() macht sichtbar, was gelernt wurde.

Bemerkenswert ist, was hier nicht passiert. Es gibt keinen Vektorindex, kein Embedding-Modell, keinen Trainingslauf. Die Korrektur kommt als Freitext herein und wird über den Reflector in eine Strategie übersetzt. Genau an dieser Stelle entsteht die wichtigste offene Frage für den Betrieb: Wie wird verhindert, dass eine falsche oder zu spezifische Korrektur als allgemeine Strategie im Skillbook landet? Das Material beantwortet das nicht. Die Rolle des SkillManager deutet auf Aufräumen hin, die konkrete Regel bleibt offen.

Was die Zahlen aus dem README tragen und was nicht

Die README führt drei Kennzahlen in einer Tabelle. Doppelte Konsistenz, also pass^4 auf dem Tau2-Airline-Benchmark verdoppelt, mit 15 gelernten Strategien und ohne Reward-Signale. 49 Prozent weniger Token im Browser-Automation-Fall über eine Lernkurve von zehn Läufen. Und die bereits erwähnten 1,50 US-Dollar Lernkosten.

Für eine Adoption sind diese Angaben nur bedingt brauchbar. Der Tau2-Airline-Benchmark ist ein eng umrissener Aufgabenbereich mit klar prüfbaren Ergebnissen. Genau dort funktioniert ein Verfahren, das aus Fehlern Strategien ableitet, am besten. Ob derselbe Effekt bei Aufgaben auftritt, deren Erfolg nicht binär messbar ist, sagt die Tabelle nicht. Der Token-Rückgang im Browser-Fall ist über zehn Läufe gemessen, die README nennt keine Streuung und keinen Vergleichslauf ohne ACE. Wer die Zahlen als Planungsgrundlage nimmt, plant auf einer Stichprobe.

Die 15 gelernten Strategien sind der interessantere Wert. Sie legen nahe, dass das Skillbook in diesem Benchmark klein bleibt. Ein großes Skillbook wäre ein eigenes Problem: Jede Strategie muss in den Kontext des Agenten, und Kontext ist die Ressource, die ACE an anderer Stelle einsparen will.

Grenzen: Sandbox, Provider-Abhängigkeit, Kontextbudget

Die erste Einschränkung steckt im Namen des Recursive Reflector. Wenn Reflexion bedeutet, generierten Python-Code auszuführen, dann braucht der Lernpfad eine Umgebung, in der das sicher möglich ist. Die README nennt eine sandboxed Umgebung, beschreibt aber nicht, wie diese Sandbox realisiert ist, ob als Subprozess, Container oder eingeschränkter Interpreter. Für Teams mit strikten Vorgaben zur Codeausführung ist das die erste Frage, nicht die Modellwahl.

Zweitens hängt ACE an einem Modellprovider. Die Lernschritte sind LLM-Aufrufe. Ohne gültigen Schlüssel und ohne Netzwerkzugang zum Provider läuft der Zyklus nicht. Ein Agent, der offline oder in einer abgeschotteten Umgebung arbeiten muss, kann den Lernpfad dort nicht betreiben, auch wenn die Ausführung selbst lokal möglich wäre.

Drittens das Kontextbudget. Gelernte Strategien müssen dem Agenten mitgegeben werden, sonst wirken sie nicht. Die README nennt 49 Prozent Token-Einsparung, aber jede Strategie im Prompt kostet zunächst Token. Ob sich das rechnet, hängt davon ab, wie viele Strategien das Skillbook nach einigen Wochen enthält und wie der SkillManager aussortiert. Wer ACE ohne Beobachtung des Skillbook-Wachstums laufen lässt, kann den Effekt umkehren.

Schließlich die falsche Werkzeugwahl. Für einen Agenten mit einer einzigen, klar spezifizierten Aufgabe und stabilem Prompt ist der Lernzyklus unnötiger Aufwand. Ebenso für Teams, die Fehler bereits über eine Evaluationssuite mit festen Testfällen abfangen. Dort ist der Testfall die Strategie, und er ist reproduzierbar.

Alternative: Prompt-Versionierung mit Evaluationssuite

Der naheliegende Vergleich ist keine andere Lernbibliothek, sondern der klassische Weg: Prompts und Tool-Definitionen im Repository versionieren und jeden Fehlerfall als Test in eine Evaluationssuite aufnehmen. Der Unterschied liegt im Speicherort des Gelernten. Bei ACE landet eine Strategie als Freitext im Skillbook, das der Agent zur Laufzeit liest. Bei der Suite landet der Fall als Testfall im Repository, der vor dem Deployment läuft.

Die Konsequenzen sind gegenläufig. Die Suite ist deterministisch und kostenlos pro Lauf, aber sie lernt nichts, was nicht jemand als Testfall formuliert hat. ACE verallgemeinert aus einem Trace und kann dadurch Fälle abdecken, an die niemand gedacht hat, zahlt dafür aber mit Modellaufrufen im Lernpfad und mit einem Freitext-Artefakt, dessen Qualität von der Reflexion abhängt. Wer beides kombiniert, nutzt ACE zum Finden und die Suite zum Absichern. Das ist eine plausible Aufteilung, aber sie steht nicht in der README, und ACE liefert laut Material keine Exportfunktion für das Skillbook in Testfälle.

Lizenz, Wartung und der Stand des Projekts

ACE steht unter Apache-2.0. Diese Lizenz erlaubt kommerzielle Nutzung, Modifikation und Weitergabe, verlangt aber, dass Lizenz- und Urheberrechtshinweise erhalten bleiben und Änderungen an Dateien kenntlich gemacht werden. Wer ACE forkt und intern verteilt, muss diesen Hinweis mitführen. Das ist eine technische Einordnung, keine Rechtsberatung; die genauen Pflichten stehen im Lizenztext.

Der Wartungsstand lässt sich am Material ablesen. Das Repository ist nicht archiviert, der letzte Push liegt auf dem 29. August 2026, die letzte Hauptversion v0.12.0 auf dem 7. Mai 2026 und trägt den Titel RR/Skillbook v2 rewrite plus SM hardening. Die Abkürzungen entsprechen den Rollen aus der README: Recursive Reflector, Skillbook, SkillManager. Ein Rewrite dieser beiden Teile in einer Minor-Version ist ein Hinweis darauf, dass sich die internen Datenstrukturen noch bewegen. Für Anwender bedeutet das: Ein Upgrade von 0.11 auf 0.12 kann das Format des gespeicherten Skillbooks betreffen. Wer ein Skillbook über Monate aufgebaut hat, sollte vor dem Versionssprung prüfen, ob eine Migration angeboten wird. Das Material enthält dazu keine Angabe.

Neben dem Python-Paket existieren TypeScript-Pakete unter dem Scope @kayba_ai, namentlich tracing in Version 0.10.0 und openclaw-tracing in Version 0.1.1. Beide gehören zum Tracing und nicht zum Lernzyklus, werden aber im selben Release-Feed geführt. Wer ACE in einer JS-Umgebung einsetzen will, sollte nicht annehmen, dass diese Pakete die Lernfunktionen abdecken.

Redaktionelles Fazit

Wer einen einzelnen Agenten mit wiederkehrenden Fehlern betreibt und kein Modell nachtrainieren will, kann ACE mit uv add ace-framework und ace setup in wenigen Minuten ausprobieren. Wer reproduzierbare Läufe ohne LLM-Aufrufe im Lernpfad braucht, sollte zuerst prüfen, ob sein Provider-Zugang und sein Budget für Reflector- und SkillManager-Aufrufe ausreichen, und die Beispiele in examples/ gegen die eigene Domäne laufen lassen, bevor der Lernpfad in die Produktion geht.

Offizielle Quellen

1. kayba-ai/agentic-context-engine on GitHub
2. License: Apache-2.0
3. Project website
4. README
5. Releases