Fallback Strategy (Fallback-Strategie)

Eine Fallback Strategy (Fallback-Strategie) ist ein Satz definierter Regeln und Ausweich-Workflows, die greifen, wenn ein KI-System (z. B. ein Large Language Model (LLM)) fehlschlägt, unsicher ist oder ein Risiko erkannt wird. Ziel ist, die Qualität, Sicherheit und Verfügbarkeit von KI-gestützten Prozessen zu sichern – etwa in Chatbots, Agenten oder Automationen.

Was bedeutet Fallback Strategy?

„Fallback“ bedeutet „Rückfallebene“. In KI- und Automations-Setups ist damit gemeint: Wenn das bevorzugte Modell, Tool oder der geplante Ablauf nicht zuverlässig funktioniert (z. B. Timeout, Halluzination, fehlende Daten, Policy-Verstoß), wird automatisch auf eine alternative Option umgeschaltet. Das kann ein anderes Modell, ein anderer Prompt, ein abgespeckter Workflow oder ein Mensch sein.

Wie funktioniert eine Fallback-Strategie?

• 1) Erkennen (Detection): Das System prüft Signale wie Fehlercodes, Latenz, niedrige Konfidenz, fehlende Quellen, Policy-/Safety-Flags oder verdächtige Eingaben (z. B. Prompt Injection).
• 2) Entscheiden (Routing): Anhand von Regeln wird ein Pfad gewählt, z. B. über Model Router (Modell-Routing) oder Workflow-Logik in n8n.
• 3) Ausweichen (Fallback): Wechsel auf Alternative: anderes Modell, anderer Prompt, RAG statt „freies“ Antworten, Tool-Call statt Textantwort, oder Human-in-the-Loop (HITL).
• 4) Absichern (Guardrails): Zusätzliche Prüfungen wie Guardrails (KI-Leitplanken), Content Filtering / Safety Classifier oder Schema Validation (JSON-Schema-Validierung).
• 5) Protokollieren & Lernen: Logging/Tracing über Model Monitoring & Observability (LLMOps) und Nachbesserung via Evals.

Typische Fallback-Auslöser in KI-Systemen

• Technische Fehler: API-Timeouts, API Rate Limits (Ratenbegrenzung), Netzwerkprobleme, Provider-Ausfälle.
• Qualitätsprobleme: Unklare oder widersprüchliche Antworten, fehlende Quellen, erhöhte Halluzinationen (Hallucinations).
• Risikofälle: PII/Datenschutz, Compliance (z. B. Datenschutz (DSGVO/GDPR) & KI), sicherheitskritische Inhalte.
• Tool-Probleme: Fehlgeschlagenes Function Calling / Tool Use, ungültige JSON-Ausgaben ohne Structured Outputs (JSON Schema).

Beispiele aus der Praxis (LLM, RAG, Automation)

• Chatbot-Support: Wenn das Modell keine belastbaren Infos findet, schaltet es von „Generierung“ auf RAG (Retrieval-Augmented Generation) mit Quellen um – oder sagt kontrolliert „Ich weiß es nicht“ und erstellt ein Ticket.
• Agentic Workflow: Ein AI Agents (KI-Agenten)-Workflow versucht zuerst Tool-Calls. Scheitert ein Tool, wird ein alternativer Daten-Connector genutzt oder ein Read-only-Modus aktiviert.
• n8n-Automation: Bei Rate-Limits wird der Workflow gedrosselt (Retry mit Backoff), wechselt auf einen zweiten Provider oder nutzt einen Cache (z. B. Prompt Caching (Antwort-/Prompt-Cache)).
• Strukturierte Extraktion: Wenn JSON ungültig ist, wird eine Reparatur-Prompt-Stufe ausgeführt; bei erneutem Fehler erfolgt Eskalation an einen Menschen (HITL).

Warum ist eine Fallback Strategy wichtig?

KI ist probabilistisch: Antworten können variieren, Modelle können ausfallen, und Risiken entstehen durch falsche Inhalte oder Datenabfluss. Eine Fallback-Strategie reduziert operative Ausfälle, senkt Fehlerraten, schützt vor Sicherheitsproblemen und verbessert die Nutzererfahrung – besonders in produktiven Systemen mit SLA-/SLO-Anforderungen.