Ground Truth

Ground Truth ("Referenzwahrheit") sind verifizierte, als korrekt bestätigte Referenzwerte, mit denen man Ergebnisse aus Automatisierung, Datenverarbeitung oder KI-Systemen objektiv prüfen kann. Sie dienen als "Messlatte" – z. B. um zu bewerten, ob eine automatische Datenextraktion aus Rechnungen wirklich die richtigen Beträge, Lieferanten und Zahlungsziele erkannt hat.

Was bedeutet Ground Truth im Prozess- und Automatisierungskontext?

In wachsenden KMU entstehen viele Automatisierungsfälle: Belege werden per OCR erfasst, Support-Tickets automatisch klassifiziert oder E-Mails in Workflows überführt. Damit diese Automatisierung zuverlässig skaliert, braucht es eine klare Referenz: Was wäre das richtige Ergebnis gewesen? Genau das ist die Ground Truth – typischerweise erstellt oder freigegeben durch Menschen, verlässliche Quellsysteme (z. B. ERP/CRM) oder geprüfte Datensätze.

Wichtig: Ground Truth ist nicht einfach "irgendein Label". Sie ist möglichst fehlerarm, dokumentiert und konsistent – sonst bewertet man das System gegen einen wackeligen Standard und zieht falsche Schlüsse.

Wie funktioniert Ground Truth? (typischer Ablauf)

• 1) Ziel definieren: Welche Ausgabe soll bewertet werden? (z. B. "Rechnungsbetrag", "IBAN", "Kategorie" oder "Antwortqualität").
• 2) Referenz festlegen: Was gilt als korrekt? Quelle kann ein freigegebener Datensatz, ein Golden Record oder ein manuell geprüftes Ergebnis sein (siehe auch Golden Dataset).
• 3) Daten labeln/prüfen: Menschen validieren Stichproben oder komplette Datensätze (siehe Human-in-the-Loop (HITL) und Data Labeling (Datenlabeling)).
• 4) Systemausgabe vergleichen: Automatisierte Ergebnisse werden gegen die Ground Truth gematcht – Feld für Feld oder per Qualitätskriterien.
• 5) Metriken ableiten & verbessern: Aus Abweichungen entstehen Kennzahlen (Accuracy, F1 etc.) und konkrete Optimierungen, z. B. Prompt-Anpassungen oder bessere Extraktionsregeln (siehe Evaluation (Eval) & Benchmarking und Model Evaluation Metrics (z.B. Accuracy, F1, Faithfulness)).

Beispiele aus der Praxis (KMU)

• Dokumenten-Extraktion: Ein System liest Rechnungen via OCR (Optical Character Recognition) oder Document AI (Intelligent Document Processing, IDP). Die Ground Truth ist der manuell geprüfte "korrekte" Rechnungsdatensatz (Lieferant, Netto/Brutto, USt, Fälligkeit).
• LLM-Klassifikation von E-Mails: Ein Large Language Model (LLM) ordnet Anfragen Kategorien zu (Reklamation, Angebot, Kündigung). Ground Truth sind die vom Team bestätigten Kategorien aus dem Ticketsystem.
• RAG-Antworten im Support: Bei RAG (Retrieval-Augmented Generation) kann Ground Truth eine erwartete Musterantwort sein oder ein "korrekter" Quellenbezug (z. B. welche Richtlinie zitiert werden muss). Das hilft auch, Halluzinationen (Hallucinations) zu erkennen.

Warum ist Ground Truth wichtig?

Ohne Ground Truth bleibt Qualität Bauchgefühl: "Fühlt sich gut an" ersetzt keine belastbare Steuerung. Mit Ground Truth können Teams Automatisierungen sicher ausrollen, Regressionen erkennen (z. B. nach Prompt-Änderungen) und Risiken reduzieren – besonders relevant bei Compliance, Abrechnung oder Kundensupport. Außerdem ist sie die Grundlage für sinnvolles Monitoring und kontinuierliche Verbesserung (siehe Model Monitoring & Observability (LLMOps)).

Typische Stolperfallen

• Uneinheitliche Labels: Zwei Mitarbeitende bewerten denselben Fall unterschiedlich – das macht die Referenz unscharf.
• Veraltete Ground Truth: Prozesse ändern sich (neue Preislogik, neue Produktnamen), die Referenz nicht.
• Bias in der Referenz: Wenn die Ground Truth systematisch Fehler enthält, optimiert man das System in die falsche Richtung.

Merksatz: Ground Truth ist der geprüfte Realitäts-Standard, gegen den Automatisierung messbar wird – und damit ein zentraler Baustein, damit Prozesse nicht nur schneller, sondern auch zuverlässig skalieren.