Model Risk Management (MRM)

Model Risk Management (MRM) ist ein Framework aus Prozessen, Rollen und Kontrollen, mit dem Unternehmen Risiken aus analytischen Modellen und KI-Systemen steuern. Es umfasst u. a. Modellinventar, Dokumentation, unabhängige Validierung, Freigaben, Monitoring und Governance, damit Modelle zuverlässig, fair, sicher und regelkonform eingesetzt werden.

MRM stammt historisch aus dem Banken- und Versicherungsumfeld (z. B. Kreditrisiko- oder Pricing-Modelle), wird heute aber genauso für moderne KI angewendet – insbesondere für Large Language Model (LLM)-basierte Anwendungen wie ChatGPT oder Generative KI (Generative AI), Agenten-Workflows und Automatisierungen mit n8n. Der Kern bleibt gleich: Ein Modell kann falsche Entscheidungen treffen, sich im Betrieb verändern oder unerwartete Schäden verursachen – MRM macht diese Risiken sichtbar und beherrschbar.

Wie funktioniert Model Risk Management (MRM)?

• Modellinventar & Klassifizierung: Alle Modelle werden erfasst (Zweck, Owner, Datenquellen, Kritikalität). Ein LLM-Chatbot für Kundenservice wird z. B. höher eingestuft als ein internes Text-Tool.
• Dokumentation & Nachvollziehbarkeit: Annahmen, Grenzen, Trainings-/Prompt-Logik, Datenflüsse und Abhängigkeiten werden beschrieben (ähnlich wie Model Cards (Modellkarten), aber oft stärker prozess- und audit-orientiert).
• Unabhängige Validierung: Separate Teams prüfen Qualität, Robustheit und Risiken. Bei LLM-Apps umfasst das u. a. Evaluation (Eval) & Benchmarking, Tests gegen Halluzinationen (Hallucinations), Bias-Checks und Sicherheitsprüfungen.
• Kontrollen & Freigaben: Change-Management, Vier-Augen-Prinzip, Versionierung (z. B. Prompts), Freigabe-Workflows und technische Leitplanken wie Guardrails (KI-Leitplanken).
• Monitoring im Betrieb: Laufende Überwachung von Qualität, Drift und Incidents, z. B. über Model Monitoring & Observability (LLMOps) und Erkennung von Model Drift (Modell-Drift).
• Incident- & Exit-Management: Was passiert bei Fehlverhalten? Rollback, Abschalten, Eskalationswege, Beweissicherung und Lessons Learned.

Welche Risiken adressiert MRM bei KI und LLMs?

• Inhalts- und Entscheidungsrisiken: Falsche Antworten, unklare Quellenlage, fehlende Nachvollziehbarkeit. Gegenmaßnahmen: RAG (Retrieval-Augmented Generation), Grounding (Faktenverankerung), Citations (Quellenangaben) in LLMs.
• Sicherheitsrisiken: Prompt Injection, Jailbreak oder Datenabfluss (z. B. Prompt Leakage (Prompt-Datenabfluss)) – relevant bei Tool-Use und Agenten.
• Datenschutz & Compliance: Umgang mit personenbezogenen Daten, Löschkonzepte, Datenflüsse und Zugriffskontrollen (siehe Datenschutz (DSGVO/GDPR) & KI).
• Operationelle Risiken: Ausfälle, Kostenexplosion, Latenz, Provider-Abhängigkeiten. Gegenmaßnahmen: Rate-Limits, Budgets, Fallback-Modelle, Cost Optimization (Token-Kostenoptimierung).

Beispiel aus der Praxis

Ein Unternehmen baut einen Support-Chatbot auf Basis eines Large Language Model (LLM). MRM verlangt: (1) Registrierung im Modellinventar, (2) definierte Qualitätsmetriken (z. B. korrekte Lösung, Eskalationsrate), (3) Validierung mit Testfällen und Red-Teaming (z. B. gegen Prompt Injection), (4) Freigabe inkl. Rollen und Logging, (5) laufendes Monitoring inkl. Drift- und Incident-Prozess. So wird der Chatbot nicht „nur gebaut“, sondern kontrolliert betrieben.

Warum ist MRM wichtig?

MRM reduziert finanzielle, rechtliche und Reputationsschäden, erhöht Vertrauen in KI-Ergebnisse und schafft Auditierbarkeit. Es ist ein zentraler Baustein von AI Governance und unterstützt regulatorische Anforderungen (z. B. EU AI Act), ohne Innovation auszubremsen – weil Risiken früh erkannt und systematisch gemanagt werden.