EAllgemein

EU AI Act: Post-Market Monitoring

Überwachung von KI nach Inverkehrbringen (Incidents, Updates).

EU AI Act: Post-Market Monitoring bezeichnet die verpflichtende Überwachung eines KI-Systems nach dem Inverkehrbringen bzw. der Inbetriebnahme. Ziel ist, reale Risiken früh zu erkennen, Incidents (z. B. Fehlentscheidungen, Sicherheitsvorfälle) zu dokumentieren und bei Bedarf Updates, Korrekturmaßnahmen oder Meldungen an Behörden auszulösen – besonders bei Hochrisiko-KI.

Was bedeutet Post-Market Monitoring im EU AI Act?

„Post-Market Monitoring“ heißt wörtlich: Marktbeobachtung nach dem Launch. Im Kontext des EU AI Act umfasst das einen strukturierten Prozess, mit dem Anbieter (und teils auch Betreiber) die Leistung, Sicherheit und Rechtskonformität eines KI-Systems im echten Betrieb nachverfolgen. Anders als Tests vor dem Release geht es hier um das, was erst in der Praxis sichtbar wird: neue Datenmuster, Missbrauch, Drift, unerwartete Nebenwirkungen oder veränderte Rahmenbedingungen.

Wie funktioniert EU AI Act Post-Market Monitoring? (typischer Ablauf)

  • 1) Monitoring-Plan definieren: Welche Metriken, Risiken, Nutzergruppen und Einsatzkontexte werden überwacht? Welche Schwellenwerte lösen Maßnahmen aus?
  • 2) Laufende Datenerhebung: Logging, Feedback-Kanäle, Beschwerdemanagement, Incident-Tickets, Qualitätsmetriken, Sicherheitsereignisse.
  • 3) Analyse & Bewertung: Erkennen von Mustern wie Model Drift (Modell-Drift), steigenden Fehlerraten, Bias-Indikatoren oder Angriffen (z. B. Prompt Injection bei LLM-Apps).
  • 4) Korrekturmaßnahmen: Anpassung von Prompts/Policies, neue Guardrails, retraining/fine-tuning, Rollback, Feature-Deaktivierung oder Prozessänderungen.
  • 5) Dokumentation & Reporting: Nachweisführung für Audits, ggf. Meldung schwerwiegender Vorfälle, Kommunikation an Kunden/Betreiber.

Warum ist das wichtig – gerade bei LLMs und Automatisierung?

Moderne Systeme wie Large Language Model (LLM)-basierte Assistenten (z. B. ChatGPT) oder agentische Workflows (z. B. AI Agents (KI-Agenten)) ändern ihr Risikoprofil oft erst im Betrieb: Nutzer geben neue Prompt-Muster ein, Datenquellen in RAG (Retrieval-Augmented Generation) werden aktualisiert, Tools werden angebunden (z. B. via Function Calling / Tool Use), oder Automationen laufen in hoher Frequenz (z. B. mit n8n und Automatisierung (Automation)). Ohne Post-Market Monitoring können sich kleine Fehler schnell zu systemischen Problemen entwickeln: falsche Auskünfte, Datenabfluss, diskriminierende Entscheidungen oder Sicherheitslücken.

Beispiele aus der Praxis

  • Incident-Tracking bei einem Support-Chatbot: Der Bot halluziniert zunehmend Preiszusagen. Monitoring erkennt steigende Rate an Halluzinationen (Hallucinations), daraufhin werden Antworten stärker „grounded“, Quellenpflicht eingeführt und ein Freigabe-Workflow (Human-in-the-Loop) aktiviert.
  • Tool-Missbrauch bei Agenten: Ein Agent mit Tool-Zugriff wird durch Prompt Injection dazu gebracht, interne Daten auszulesen. Monitoring über Traces/Logs und Policy-Verstöße führt zu Tool-Sandboxing, strengeren Berechtigungen und neuen Guardrails.
  • Daten-/Kontextänderungen in RAG: Neue Dokumente in der Wissensbasis verschieben Antworten. Monitoring und regelmäßige Evals zeigen Qualitätsabfall; Maßnahmen sind Re-Ranking, bessere Chunking-Strategie und Regression-Tests.

Was kostet Post-Market Monitoring?

Die Kosten hängen stark von Kritikalität und Reifegrad ab: Umfang der Logs, Anzahl der Use Cases, Audit-Anforderungen, benötigte Model Monitoring & Observability (LLMOps)-Tools sowie personelle Prozesse (Incident Response, Compliance). Typisch sind laufende Kosten für Observability/Logging plus Zeit für Reviews, Evals und Updates. Bei Hochrisiko-Systemen ist der Aufwand höher, weil Nachweisführung, Eskalationswege und formale Prozesse strenger sind.

Merke: Post-Market Monitoring ist im EU AI Act der Mechanismus, der sicherstellt, dass KI nicht nur „beim Launch“ compliant ist, sondern dauerhaft – durch kontinuierliches Beobachten, schnelles Reagieren auf Incidents und kontrollierte Updates.