KI-Agenten bewerten: über den Bauchgefühl-Check hinaus
🇬🇧 Read in English~3 min read
aiaiagentsevaluationtestingagent-eval
Die Bewertung von Agenten läuft standardmäßig über Intuition – „es fühlt sich jetzt besser an." Dieser Beitrag stellt die disziplinierte Alternative vor: mit dem Rotstift beginnen, die Ausführung standardisieren und in kleinen kontrollierten Schritten optimieren.
Das manuelle Lesen von zwanzig Traces wirkt langsam im Vergleich zur automatisch generierten Grafik – spart aber Tage verschwendeter Mühe. Statt über hypothetische Fehlermodi zu spekulieren und generische Rubriken zu schreiben, zeigt eine Stunde mit dem Rotstift, wie dein System tatsächlich bricht. Die Aggregation dieser Notizen ergibt eine hochwertige Liste der genauen deterministischen Assertions und booleschen Judge-Prüfungen, die du als Nächstes bauen musst.
Sobald du diese Checkliste hast, standardisiert das agent-eval-Toolkit die Ausführung:
--base-url) oder offline aus.Dann etablierst du eine Kadenz: bei jeder Änderung ausführen. Ein Prompt angepasst, ein Modell getauscht, eine Tool-Docstring bearbeitet – führe exakt dieselbe Testbatterie aus und vergleiche die Abweichung mit deiner Baseline. Metriken sammeln sich im Laufe der Zeit im agent-eval-HTML-Report an.
Entscheidend: Validiere den Judge gegen deine Traces. Vertraue niemals blind einer neuen LLM-as-a-Judge-Metrik. Vergleiche die automatisierten Bewertungen mit den Traces, die du am Tag 0 von Hand benotet hast. Wenn der Judge einen Trace besteht, den du mit roter Tinte markiert hast, verschärfe den Bewertungs-Prompt, bis das automatisierte Signal deinem technischen Urteil entspricht.
Sobald dein Tag-1-Framework aktiv ist, wird die Optimierung zu einer disziplinierten, mechanischen Schleife – in realen Bereitstellungen dauert Produktionsqualität normalerweise 50–60 kleine Iterationen. Du schreibst nicht jeden Morgen den gesamten System-Prompt neu; du drehst nach und nach einzelne Stellschrauben. Ein Tweaks klärt eine Tool-Parameterbeschreibung. Der nächste fügt eine negative Einschränkung hinzu. Der nächste passt ein JSON-Ausgabeschema an.
Jeder Lauf erzeugt einen interaktiven, alles-in-einem-HTML-Report, der Pass/Fail-boolesche Metriken neben operativem Kontext ausrichtet.
Die Kernschritte sind auf jeden Agenten-Stack übertragbar: Benote zuerst einen kleinen Trace-Satz von Hand, kodiere das Gelernte als deterministische Assertions, automatisiere die Ausführung in einer festen Kadenz und lass die Metriken (nicht das Bauchgefühl) den nächsten kleinen Dreh an der Stellschraube bestimmen. Die 50–60-Iterationen-Realitätsprüfung ist die wichtigste Korrektur zu „lass uns einfach den Prompt neu schreiben."