Promptfoo: LLM-Evaluation und Red-Teaming als CLI- und Bibliotheksworkflow

Der erste Eval

Im Abschnitt „Der erste Eval“ zeigt sich eine konkrete Seite von Promptfoo: Promptfoo prüft LLM-Anwendungen mit reproduzierbaren Evals und Red-Team-Tests. Der README führt von Node.js 22.22.0, `promptfoo init --example getting-started`, `promptfoo eval` und `promptfoo view` zu einem konkreten ersten Durchlauf. Anbieterzugänge werden über Umgebungsvariablen eingebunden. Bei Promptfoo liegt der praktische Wert in einer klar umrissenen Aufgabe: Promptfoo prüft LLM-Anwendungen mit reproduzierbaren Evals und Red-Team-Tests. Der README führt von Node.js 22.22.0, `promptfoo init --example getting-started`, `promptfoo eval` und `promptfoo view` zu einem konkreten ersten Durchlauf. Anbieterzugänge werden über Umgebungsvariablen eingebunden. Die Beschreibung liefert einen brauchbaren Einstieg, ersetzt aber keine Zusage über Verfügbarkeit, Support oder Eignung für jede Umgebung. Diese Perspektive verhindert, das Projekt als allgemeine Lösung zu lesen. Wer es einsetzt, muss den beschriebenen Ablauf mit den eigenen Daten und Randbedingungen verbinden. Bei technischen Projekten gehören dazu Versionen, Konfiguration und Fehlerpfade; bei Listen oder kreativen Werkzeugen zusätzlich Aktualität und Besitz der Ergebnisse. Promptfoo sollte anhand seines eigenen Ablaufs gelesen werden. Maßgeblich ist, welche Eingaben die Werkzeuge erwarten, welche Ausgabe sie erzeugen und an welcher Stelle Betrieb, Zugangsdaten oder menschliche Prüfung nötig werden. Für Der erste Eval ist deshalb die Verbindung zwischen dokumentierter Funktion und eigenem Arbeitsablauf der maßgebliche Prüfpunkt.

Konfiguration statt Bauchgefühl

Im Abschnitt „Konfiguration statt Bauchgefühl“ zeigt sich eine konkrete Seite von Promptfoo: Promptfoo prüft LLM-Anwendungen mit reproduzierbaren Evals und Red-Team-Tests. Der README führt von Node.js 22.22.0, `promptfoo init --example getting-started`, `promptfoo eval` und `promptfoo view` zu einem konkreten ersten Durchlauf. Anbieterzugänge werden über Umgebungsvariablen eingebunden. Promptfoo sollte anhand seines eigenen Ablaufs gelesen werden. Maßgeblich ist, welche Eingaben die Werkzeuge erwarten, welche Ausgabe sie erzeugen und an welcher Stelle Betrieb, Zugangsdaten oder menschliche Prüfung nötig werden. Diese Perspektive verhindert, das Projekt als allgemeine Lösung zu lesen. Wer es einsetzt, muss den beschriebenen Ablauf mit den eigenen Daten und Randbedingungen verbinden. Bei technischen Projekten gehören dazu Versionen, Konfiguration und Fehlerpfade; bei Listen oder kreativen Werkzeugen zusätzlich Aktualität und Besitz der Ergebnisse. Bei Promptfoo liegt der praktische Wert in einer klar umrissenen Aufgabe: Promptfoo prüft LLM-Anwendungen mit reproduzierbaren Evals und Red-Team-Tests. Der README führt von Node.js 22.22.0, `promptfoo init --example getting-started`, `promptfoo eval` und `promptfoo view` zu einem konkreten ersten Durchlauf. Anbieterzugänge werden über Umgebungsvariablen eingebunden. Die Beschreibung liefert einen brauchbaren Einstieg, ersetzt aber keine Zusage über Verfügbarkeit, Support oder Eignung für jede Umgebung. Für Konfiguration statt Bauchgefühl ist deshalb die Verbindung zwischen dokumentierter Funktion und eigenem Arbeitsablauf der maßgebliche Prüfpunkt.

Red-Teaming

Im Abschnitt „Red-Teaming“ zeigt sich eine konkrete Seite von Promptfoo: Promptfoo prüft LLM-Anwendungen mit reproduzierbaren Evals und Red-Team-Tests. Der README führt von Node.js 22.22.0, `promptfoo init --example getting-started`, `promptfoo eval` und `promptfoo view` zu einem konkreten ersten Durchlauf. Anbieterzugänge werden über Umgebungsvariablen eingebunden. Bei Promptfoo liegt der praktische Wert in einer klar umrissenen Aufgabe: Promptfoo prüft LLM-Anwendungen mit reproduzierbaren Evals und Red-Team-Tests. Der README führt von Node.js 22.22.0, `promptfoo init --example getting-started`, `promptfoo eval` und `promptfoo view` zu einem konkreten ersten Durchlauf. Anbieterzugänge werden über Umgebungsvariablen eingebunden. Die Beschreibung liefert einen brauchbaren Einstieg, ersetzt aber keine Zusage über Verfügbarkeit, Support oder Eignung für jede Umgebung. Diese Perspektive verhindert, das Projekt als allgemeine Lösung zu lesen. Wer es einsetzt, muss den beschriebenen Ablauf mit den eigenen Daten und Randbedingungen verbinden. Bei technischen Projekten gehören dazu Versionen, Konfiguration und Fehlerpfade; bei Listen oder kreativen Werkzeugen zusätzlich Aktualität und Besitz der Ergebnisse. Promptfoo sollte anhand seines eigenen Ablaufs gelesen werden. Maßgeblich ist, welche Eingaben die Werkzeuge erwarten, welche Ausgabe sie erzeugen und an welcher Stelle Betrieb, Zugangsdaten oder menschliche Prüfung nötig werden. Für Red-Teaming ist deshalb die Verbindung zwischen dokumentierter Funktion und eigenem Arbeitsablauf der maßgebliche Prüfpunkt.

Provider und Schlüssel

Im Abschnitt „Provider und Schlüssel“ zeigt sich eine konkrete Seite von Promptfoo: Promptfoo prüft LLM-Anwendungen mit reproduzierbaren Evals und Red-Team-Tests. Der README führt von Node.js 22.22.0, `promptfoo init --example getting-started`, `promptfoo eval` und `promptfoo view` zu einem konkreten ersten Durchlauf. Anbieterzugänge werden über Umgebungsvariablen eingebunden. Promptfoo sollte anhand seines eigenen Ablaufs gelesen werden. Maßgeblich ist, welche Eingaben die Werkzeuge erwarten, welche Ausgabe sie erzeugen und an welcher Stelle Betrieb, Zugangsdaten oder menschliche Prüfung nötig werden. Diese Perspektive verhindert, das Projekt als allgemeine Lösung zu lesen. Wer es einsetzt, muss den beschriebenen Ablauf mit den eigenen Daten und Randbedingungen verbinden. Bei technischen Projekten gehören dazu Versionen, Konfiguration und Fehlerpfade; bei Listen oder kreativen Werkzeugen zusätzlich Aktualität und Besitz der Ergebnisse. Bei Promptfoo liegt der praktische Wert in einer klar umrissenen Aufgabe: Promptfoo prüft LLM-Anwendungen mit reproduzierbaren Evals und Red-Team-Tests. Der README führt von Node.js 22.22.0, `promptfoo init --example getting-started`, `promptfoo eval` und `promptfoo view` zu einem konkreten ersten Durchlauf. Anbieterzugänge werden über Umgebungsvariablen eingebunden. Die Beschreibung liefert einen brauchbaren Einstieg, ersetzt aber keine Zusage über Verfügbarkeit, Support oder Eignung für jede Umgebung. Für Provider und Schlüssel ist deshalb die Verbindung zwischen dokumentierter Funktion und eigenem Arbeitsablauf der maßgebliche Prüfpunkt.

Ergebnisse lesen

Im Abschnitt „Ergebnisse lesen“ zeigt sich eine konkrete Seite von Promptfoo: Promptfoo prüft LLM-Anwendungen mit reproduzierbaren Evals und Red-Team-Tests. Der README führt von Node.js 22.22.0, `promptfoo init --example getting-started`, `promptfoo eval` und `promptfoo view` zu einem konkreten ersten Durchlauf. Anbieterzugänge werden über Umgebungsvariablen eingebunden. Bei Promptfoo liegt der praktische Wert in einer klar umrissenen Aufgabe: Promptfoo prüft LLM-Anwendungen mit reproduzierbaren Evals und Red-Team-Tests. Der README führt von Node.js 22.22.0, `promptfoo init --example getting-started`, `promptfoo eval` und `promptfoo view` zu einem konkreten ersten Durchlauf. Anbieterzugänge werden über Umgebungsvariablen eingebunden. Die Beschreibung liefert einen brauchbaren Einstieg, ersetzt aber keine Zusage über Verfügbarkeit, Support oder Eignung für jede Umgebung. Diese Perspektive verhindert, das Projekt als allgemeine Lösung zu lesen. Wer es einsetzt, muss den beschriebenen Ablauf mit den eigenen Daten und Randbedingungen verbinden. Bei technischen Projekten gehören dazu Versionen, Konfiguration und Fehlerpfade; bei Listen oder kreativen Werkzeugen zusätzlich Aktualität und Besitz der Ergebnisse. Promptfoo sollte anhand seines eigenen Ablaufs gelesen werden. Maßgeblich ist, welche Eingaben die Werkzeuge erwarten, welche Ausgabe sie erzeugen und an welcher Stelle Betrieb, Zugangsdaten oder menschliche Prüfung nötig werden. Für Ergebnisse lesen ist deshalb die Verbindung zwischen dokumentierter Funktion und eigenem Arbeitsablauf der maßgebliche Prüfpunkt.

Betriebsentscheidungen

Im Abschnitt „Betriebsentscheidungen“ zeigt sich eine konkrete Seite von Promptfoo: Promptfoo prüft LLM-Anwendungen mit reproduzierbaren Evals und Red-Team-Tests. Der README führt von Node.js 22.22.0, `promptfoo init --example getting-started`, `promptfoo eval` und `promptfoo view` zu einem konkreten ersten Durchlauf. Anbieterzugänge werden über Umgebungsvariablen eingebunden. Promptfoo sollte anhand seines eigenen Ablaufs gelesen werden. Maßgeblich ist, welche Eingaben die Werkzeuge erwarten, welche Ausgabe sie erzeugen und an welcher Stelle Betrieb, Zugangsdaten oder menschliche Prüfung nötig werden. Diese Perspektive verhindert, das Projekt als allgemeine Lösung zu lesen. Wer es einsetzt, muss den beschriebenen Ablauf mit den eigenen Daten und Randbedingungen verbinden. Bei technischen Projekten gehören dazu Versionen, Konfiguration und Fehlerpfade; bei Listen oder kreativen Werkzeugen zusätzlich Aktualität und Besitz der Ergebnisse. Bei Promptfoo liegt der praktische Wert in einer klar umrissenen Aufgabe: Promptfoo prüft LLM-Anwendungen mit reproduzierbaren Evals und Red-Team-Tests. Der README führt von Node.js 22.22.0, `promptfoo init --example getting-started`, `promptfoo eval` und `promptfoo view` zu einem konkreten ersten Durchlauf. Anbieterzugänge werden über Umgebungsvariablen eingebunden. Die Beschreibung liefert einen brauchbaren Einstieg, ersetzt aber keine Zusage über Verfügbarkeit, Support oder Eignung für jede Umgebung. Für Betriebsentscheidungen ist deshalb die Verbindung zwischen dokumentierter Funktion und eigenem Arbeitsablauf der maßgebliche Prüfpunkt.

Redaktionelles Fazit

Geeignet ist Promptfoo für Teams und Einzelpersonen, deren Ablauf zu den dokumentierten Eingaben und Ausgaben passt. Nicht geeignet ist es als ungelesenes Versprechen. Prüfe zuerst den projektspezifischen Einstieg, etwa Repository, README und die dort genannte Konfiguration, und beobachte genau das erzeugte Ergebnis.

Offizielle Quellen

1. Official documentation
2. Official README
3. Project repository
4. Release notes