Was eine Eval ist und warum ab Tag null

Eine Eval ist ein automatisierter Test, der vor der Ausgabe entscheidet, ob die Aufgabe verlässlich gelöst ist. Die erste Eval entsteht, bevor der erste Agent gebaut wird, weil sie der Maßstab ist, an dem alles Folgende gemessen wird.

Ground Truth: ein kuratiertes Test-Set mit echten Antworten

Ground Truth meint die verlässlich richtige Antwort zu jedem Testfall, die Fachleute kuratieren und die wirklich in der Quelle stehen muss. Ein Test-Set mit falscher Ground Truth misst nichts Belastbares, es täuscht Sicherheit vor.

Batch-Evals über viele Fälle

Eine einzelne gute Antwort beweist nichts über Verlässlichkeit, Batch-Evals laufen über viele Fälle auf einmal, oft tausende. Erst der Lauf über die Menge zeigt, ob ein Agent stabil liefert und wo ein einzelnes Wort im Prompt die Fehler erzeugt.

Ein Modell als Prüfer, aber nur wo Urteil zählt

Wo Urteil nötig ist, setzt du ein zweites Sprachmodell als Prüfer ein, das nach festen Kriterien bewertet, aber nur dort, wo Konsistenz zählt. Wichtig ist frischer Kontext, denn ein Modell, das im selben Fenster seine eigene Arbeit prüft, hält sie für richtig.

Miss den Weg, nicht nur das Ergebnis

Ein handelnder Agent ruft Werkzeuge auf, deshalb misst du auch, wie viele Aufrufe nötig waren und ob die richtige Quelle gefunden wurde. Ein Agent, der zufällig zur richtigen Antwort stolpert, ist nicht verlässlich.

Klein, schnell und sicher ausliefern

Zuerst prüfst du Lösbarkeit mit dem stärksten Modell, dann Erfolgskriterien, dann Evals, dann optimierst du auf ein günstigeres Modell herunter. Weil die Tests in der Auslieferungskette hängen, entstehen die Nachweise für Compliance fast nebenbei.