Zurück zum Blog

KI-Agenten evaluieren: Evals für zuverlässige produktive Systeme

AISoftware QualityEngineering LeadershipSoftware Architecture

KI-Agenten evaluieren viele Teams noch durch einzelne Demos und manuelle Stichproben. Das reicht nicht, sobald ein Agent Kundendaten liest, Tools aufruft oder Geschäftsprozesse verändert: Schon ein neues Modell, ein angepasster Prompt oder eine andere API kann Verhalten, Kosten und Risiken unbemerkt verschieben.

Was Evals für KI-Agenten messen müssen

Ein klassischer Softwaretest prüft meist einen deterministischen Eingang und Ausgang. Bei KI-Agenten ist zusätzlich relevant, wie ein Ergebnis zustande kam und ob es über mehrere Läufe zuverlässig bleibt.

Ein belastbares Eval-Set betrachtet deshalb mehrere Ebenen:

  • Aufgabenergebnis: Wurde das fachliche Ziel erreicht, nicht nur eine plausibel klingende Antwort erzeugt?
  • Tool-Trajektorie: Hat der Agent die richtigen APIs mit zulässigen Parametern und in sinnvoller Reihenfolge genutzt?
  • Sicherheitsgrenzen: Hat er Berechtigungen, Datenzugriff, Freigaben und Abbruchregeln eingehalten?
  • Konsistenz: Wie häufig gelingt dieselbe Aufgabe über mehrere Läufe, Modelle und realistische Eingabevarianten?
  • Wirtschaftlichkeit: Bleiben Latenz, Tokenverbrauch, Tool-Kosten und manuelle Nacharbeit innerhalb der Produktgrenzen?

Nur die finale Antwort zu bewerten, übersieht riskante Zwischenwege. Umgekehrt sollte ein Team nicht jeden zulässigen Ablauf auf eine einzige Referenzsequenz festlegen. Entscheidend ist, welche Schritte fachlich erforderlich oder ausdrücklich verboten sind.

Wo Teams mit der Evaluierung starten sollten

Der häufigste Fehler ist ein großer synthetischer Benchmark ohne Bezug zum Produkt. Für einen ersten Satz reichen oft 20 bis 50 reale Aufgaben aus Supportfällen, manuellen Abnahmetests und bekannten Fehlversuchen.

Jede Aufgabe braucht klare Erfolgskriterien und eine stabile Testumgebung:

task: "Vertragsdaten prüfen und Abweichungen markieren"
success: "alle Pflichtfelder bewertet, keine erfundenen Werte"
required_tools: ["contract_api"]
forbidden_actions: ["write_customer_record"]
limits: { max_seconds: 30, max_cost_eur: 0.20 }
human_review: "required_for_legal_recommendation"

Danach sollten Teams drei Arten von Prüfern kombinieren:

  • Codebasierte Checks für Schemas, Tool-Aufrufe, Berechtigungen, Grenzwerte und fachlich eindeutige Ergebnisse.
  • Modellbasierte Grader für offene Qualitätskriterien, mit präziser Rubrik und regelmäßiger Kalibrierung durch Fachexperten.
  • Menschliche Reviews für Stichproben, Grenzfälle und Entscheidungen mit hohem finanziellen oder regulatorischen Risiko.

Das Eval-Set gehört in den Release-Prozess. Änderungen an Modell, Prompt, Tools, Retrieval oder Routing dürfen nur ausgerollt werden, wenn definierte Qualitäts-, Sicherheits- und Kostenschwellen bestehen bleiben. Neue Produktionsfehler werden anschließend zu neuen Testfällen.

Warum das wichtig ist

Ohne Evals bleibt die Qualität eines KI-Agenten eine Meinung. Teams diskutieren Demo-Eindrücke, während Regressionen erst durch Supportfälle, falsche Buchungen oder unerwartete Cloud-Kosten sichtbar werden.

Wiederholbare Evals machen Agentenentwicklung zu einem steuerbaren Produktprozess. Produktleitung kann Qualitätsgrenzen festlegen, Engineering kann Änderungen vergleichen und Compliance kann nachvollziehen, welche Kontrollen vor einem Release tatsächlich geprüft wurden.

Für wachsende Softwareunternehmen entscheidet diese Disziplin darüber, ob ein Agent nur beeindruckend wirkt oder zuverlässig Wert liefert. Eine Architecture & AI Review kann klären, ob Evaluierungsdaten, Systemgrenzen und Release-Gates für den produktiven Einsatz ausreichen.