CAllgemein

Conversation State (Chat-Zustand)

Strukturierter Zustand einer Unterhaltung inkl. Rollen und Verlauf.

Conversation State (Chat-Zustand) bezeichnet den strukturierten Zustand einer laufenden Unterhaltung zwischen Nutzer und KI. Er umfasst typischerweise Rollen (z. B. System, User, Assistant), den bisherigen Nachrichtenverlauf sowie zusätzliche Kontextdaten wie Ziele, Variablen oder Tool-Ergebnisse. Dadurch kann ein Chat konsistent reagieren, Rückfragen vermeiden und Aufgaben über mehrere Schritte hinweg zuverlässig ausführen.

Was bedeutet Conversation State genau?

Ein Conversation State ist mehr als nur „Chat-Verlauf“. Er ist ein Datenmodell, das festhält, was bereits gesagt wurde, wer es gesagt hat und welche Informationen daraus als Kontext weitergenutzt werden sollen. In Systemen mit Large Language Model (LLM) oder ChatGPT entscheidet der Chat-Zustand maßgeblich, ob Antworten logisch anschließen oder ob die KI den Faden verliert.

Wie funktioniert ein Chat-Zustand (typischer Ablauf)?

  • 1) Rollen & Regeln festlegen: System-Nachrichten definieren Verhalten (Ton, Grenzen, Ziele). User-Nachrichten liefern Anforderungen. Assistant-Nachrichten enthalten Antworten und ggf. Tool-Aufrufe.
  • 2) Verlauf speichern: Jede neue Nachricht wird dem State hinzugefügt (chronologisch oder strukturiert).
  • 3) Kontext verdichten: Bei langen Chats wird der Verlauf oft zusammengefasst (Summary) oder in „relevante Fakten“ extrahiert, damit das Kontextfenster nicht überläuft.
  • 4) Externes Wissen anbinden: Über RAG (Retrieval-Augmented Generation) können passende Dokumente nachgeladen werden, statt alles im Verlauf zu halten.
  • 5) Tools & Aktionen integrieren: Mit Function Calling / Tool Use werden API-Ergebnisse (z. B. CRM-Daten, Kalender, Tickets) als strukturierte Daten in den State geschrieben.

Beispiele aus der Praxis

  • Support-Chat: Der State speichert Kundennummer, Produkt, letzte Fehlermeldung und bereits getestete Schritte. So fragt die KI nicht doppelt und kann zielgerichtet eskalieren.
  • Sales-Assistant: Der State enthält Branche, Budgetrahmen, Einwände und nächste Schritte. Damit kann die KI ein Folgeangebot konsistent formulieren.
  • Automationen mit n8n: Ein Workflow legt Variablen (z. B. „Lead-Status“, „E-Mail-Entwurf“, „Freigabe durch Nutzer“) im State ab und steuert damit mehrere Chat- und Tool-Schritte.

Warum ist Conversation State wichtig?

Ohne sauber gepflegten Chat-Zustand entstehen typische Probleme: widersprüchliche Antworten, vergessene Anforderungen, unnötige Rückfragen und erhöhte Fehleranfälligkeit. Ein guter State verbessert zudem die Kontrolle über Risiken wie Halluzinationen (Hallucinations), weil relevante Fakten und Quellen klarer strukturiert vorliegen. Für AI Agents (KI-Agenten) ist der Conversation State praktisch das „Arbeitsgedächtnis“, das Planung, Zwischenergebnisse und Aufgabenstatus zusammenhält.

Was kostet Conversation State (technisch/organisatorisch)?

Direkte Kosten entstehen vor allem durch mehr Kontext in der Inference (längere Prompts = mehr Token) sowie durch Speicherung und Verarbeitung (Datenbank, Summarisierung, Retrieval). Indirekte Kosten betreffen Datenschutz und Compliance: Wenn personenbezogene Daten im State landen, müssen Aufbewahrung, Löschung und Zugriff im Sinne von Datenschutz (DSGVO/GDPR) & KI geregelt werden. In größeren Organisationen gehören außerdem Richtlinien aus AI Governance dazu.

Best Practices

  • Trenne Verlauf und Fakten: Speichere „Chat-Transcript“ und „Memory/Fakten“ getrennt, um Kontext schlank zu halten.
  • Nutze strukturierte Felder: Ziele, Constraints, Nutzerpräferenzen und Tool-Ergebnisse als JSON/Key-Value statt nur Fließtext.
  • Summarize & Retrieve: Langen Verlauf zusammenfassen und bei Bedarf per Embeddings in einer Vektordatenbank (Vector Database) auffindbar machen.