EAllgemein

EU AI Act: Hochrisiko-Systeme (High-Risk AI)

KI-Systeme mit strengen Pflichten nach EU AI Act
3 Aufrufe

EU AI Act: Hochrisiko-Systeme (High-Risk AI) sind KI-Systeme, die nach der EU-KI-Verordnung (EU AI Act) als besonders risikoreich für Sicherheit, Grundrechte oder kritische gesellschaftliche Bereiche eingestuft werden. Für diese Systeme gelten strenge Pflichten über den gesamten Lebenszyklus – von Entwicklung und Test bis Betrieb und Überwachung – damit Risiken kontrolliert, dokumentiert und nachvollziehbar gemanagt werden.

Was bedeutet „Hochrisiko“ im EU AI Act?

„Hochrisiko“ bedeutet nicht, dass ein System „schlecht“ ist, sondern dass sein Einsatz in bestimmten Kontexten potenziell gravierende Folgen haben kann (z. B. Diskriminierung, Sicherheitsrisiken, falsche Entscheidungen mit Rechtswirkung). Der EU AI Act ordnet Hochrisiko-KI typischerweise dort ein, wo KI über Zugangschancen, Gesundheit, Sicherheit oder Rechte von Menschen mitentscheiden kann.

Typische Beispiele für Hochrisiko-KI

  • Personal & Bildung: KI zur Bewerberauswahl oder Bewertung von Prüfungsleistungen.
  • Kritische Infrastruktur: KI zur Steuerung/Überwachung von Energie- oder Verkehrssystemen.
  • Gesundheit: Diagnostik- oder Triage-Unterstützung (je nach Einordnung/Produktkontext).
  • Finanzen: Kreditwürdigkeitsbewertung, wenn sie maßgeblich über Zugang zu Leistungen entscheidet.
  • Öffentlicher Sektor/Justiz: Systeme, die Entscheidungen vorbereiten, die Rechte betreffen.

Wichtig: Auch ein auf Large Language Model (LLM) basierender Chatbot oder ein AI Agents (KI-Agenten)-Workflow kann in den Hochrisiko-Bereich fallen, wenn er in einem Hochrisiko-Anwendungsfall eingesetzt wird (z. B. automatisierte Vorauswahl von Bewerbungen). Es kommt also stark auf den Use Case an, nicht nur auf die Modellart.

Wie funktioniert die Compliance bei Hochrisiko-Systemen?

Hochrisiko-KI erfordert ein strukturiertes Risikomanagement und belastbare Nachweise. Typische Bausteine sind:

  • Risikomanagement: Risiken identifizieren, bewerten, mitigieren und regelmäßig überprüfen.
  • Daten- & Qualitätsanforderungen: Geeignete Trainings-/Testdaten, Bias-Prüfungen, Daten-Governance.
  • Technische Dokumentation: Nachvollziehbarkeit der Systemlogik, Grenzen, Annahmen, Versionen.
  • Protokollierung & Monitoring: Logging, Performance- und Drift-Überwachung (z. B. mit Model Monitoring & Observability (LLMOps)).
  • Transparenz & Nutzerinformationen: Klare Hinweise, wofür das System geeignet ist und wofür nicht.
  • Menschliche Aufsicht (Human Oversight): Prozesse, damit Menschen eingreifen, prüfen und Entscheidungen verantworten können (siehe Human-in-the-Loop (HITL))
  • Sicherheit & Robustheit: Schutz vor Manipulation, Fehlfunktionen und Missbrauch (z. B. Red Teaming (KI-Red-Teaming), Threat Modeling für LLMs).

Warum ist das wichtig – gerade bei LLMs, Automatisierung & Agents?

In der Praxis entstehen Hochrisiko-Risiken oft durch die Kombination aus Automatisierung und Entscheidungseinfluss: Ein LLM, das „nur Text generiert“, wird kritisch, wenn seine Ausgabe direkt in Workflows einfließt (z. B. in n8n-Automationen), ohne Kontrolle, Nachweise oder klare Grenzen. Themen wie Halluzinationen (Hallucinations), Prompt Injection oder unklare Datenherkunft können dann zu falschen Entscheidungen, Diskriminierung oder Compliance-Verstößen führen. Deshalb sind Governance-Strukturen (siehe AI Governance) und saubere Dokumentation essenziell.

Abgrenzung: Hochrisiko vs. „normale“ KI

Nicht jedes KI-Projekt ist Hochrisiko. Viele generative Anwendungen (z. B. Marketingtexte) sind eher niedrig- bis mittleres Risiko. Hochrisiko wird es, wenn KI in regulierten oder grundrechtsrelevanten Domänen eingesetzt wird oder Entscheidungen mit erheblicher Wirkung vorbereitet/automatisiert. Für die Einordnung hilft der Blick in den EU AI Act sowie eine strukturierte AI Risk Assessment (KI-Risikobewertung).

Zahlen & Fakten

0%
Compliance-BudgetanteilBei Hochrisiko-KI entfällt in vielen KMU ein spürbarer Teil des Einführungsbudgets auf Risikomanagement, Dokumentation, Daten-Governance und Konformitätsnachweise.
0–12 Monate
längere MarkteinführungFür B2B-Anbieter kann sich der Go-live von Hochrisiko-Systemen durch technische Dokumentation, Prüfprozesse und organisatorische Pflichten deutlich verzögern.
0 von 4
brauchen externe HilfeViele KMU benötigen bei der Einordnung und Umsetzung der Anforderungen für High-Risk-AI externe Beratung zu Recht, Governance und Qualitätsmanagement.

Anwendungsfälle in der Praxis

HR
KI-gestütztes Bewerber-Screening mit dokumentierten Prüfprozessen einführen
Ein mittelständisches Unternehmen nutzt ein KI-System zur Vorauswahl von Bewerbungen, etwa zum Abgleich von Qualifikationen mit Stellenprofilen. Da solche Systeme im HR-Bereich als hochriskant gelten können, richtet das Unternehmen klare Freigabeprozesse, menschliche Letztentscheidungen und eine nachvollziehbare Dokumentation der Bewertungskriterien ein. So lassen sich Effizienzgewinne nutzen, ohne Compliance- und Diskriminierungsrisiken zu ignorieren.

Bist du bereit für EU AI Act: Hochrisiko-Systeme (High-Risk AI)?

Beantworte 5 kurze Fragen und finde heraus, wo du stehst.
Hast du bereits geprüft, ob eines deiner KI-Systeme nach dem EU AI Act als Hochrisiko-System eingestuft werden könnte?
Kennst du die zentralen Pflichten für Hochrisiko-KI, zum Beispiel zu Risikomanagement, Datenqualität, Dokumentation und menschlicher Aufsicht?
Hast du intern Verantwortlichkeiten festgelegt, wer die Compliance für Hochrisiko-KI bewertet, dokumentiert und freigibt?
Dokumentierst du bereits systematisch technische Unterlagen, Trainingsdaten, Entscheidungen und Kontrollmaßnahmen für betroffene KI-Systeme?
Hast du Prozesse etabliert, um Hochrisiko-KI regelmäßig zu überwachen, Vorfälle zu bewerten und regulatorische Anforderungen laufend nachzuhalten?

Betrifft der EU AI Act eines deiner KI-Systeme als Hochrisiko-Anwendung?

Wenn du KI in sensiblen Prozessen einsetzen willst, brauchst du Klarheit, ob dein Vorhaben unter die strengen Pflichten für Hochrisiko-Systeme fällt. In der KI-Beratung prüfen wir gemeinsam, welche Anwendungsfälle in deinem Unternehmen regulatorisch kritisch sind und wo sich KI sinnvoll und realistisch einsetzen lässt. Mit dem PUR-Framework bewerten wir Prozess, Umsetzbarkeit und ROI statt blindem KI-Aktionismus. So triffst du fundierte Entscheidungen, bevor aus einer guten Idee ein Compliance-Risiko wird.

Häufig gestellte Fragen

Welche KI-Systeme gelten im EU AI Act als Hochrisiko-Systeme?
Als Hochrisiko-Systeme gelten im EU AI Act vor allem KI-Anwendungen in sensiblen Bereichen wie Personalwesen, Bildung, kritischer Infrastruktur, Medizinprodukten, Strafverfolgung oder dem Zugang zu wesentlichen Dienstleistungen. Entscheidend ist nicht nur die Technologie selbst, sondern ob das System erhebliche Auswirkungen auf Sicherheit, Gesundheit oder Grundrechte von Menschen haben kann.