EU AI Act: Prohibited AI (Verbotene KI-Praktiken)

EU AI Act: Prohibited AI (Verbotene KI‑Praktiken) bezeichnet KI-Anwendungen und -Nutzungen, die nach dem EU AI Act grundsätzlich verboten sind, weil sie als unvereinbar mit den Grundrechten, der Sicherheit und der menschlichen Würde gelten. Anders als „Hochrisiko“-Systeme sind diese Praktiken nicht durch Auflagen „heilbar“, sondern dürfen in der EU (mit eng begrenzten Ausnahmen) nicht eingesetzt oder in Verkehr gebracht werden.

Was ist nach dem EU AI Act „verboten“?

Der EU AI Act arbeitet risikobasiert: Von minimalem Risiko bis hin zu verbotenem Risiko. „Prohibited AI“ ist die oberste Kategorie. Sie umfasst bestimmte Zwecke und Methoden, bei denen die Wahrscheinlichkeit von Missbrauch oder schwerem Schaden als so hoch bewertet wird, dass ein Verbot als verhältnismäßig gilt. Der genaue Zuschnitt ist rechtlich definiert (u. a. in Artikel 5) und wird durch Leitlinien und Praxis weiter konkretisiert. Für den Gesamtrahmen siehe EU AI Act.

Typische verbotene KI-Praktiken (mit Beispielen)

• Manipulative oder täuschende KI, die das Verhalten von Menschen erheblich verzerrt (z. B. unterschwellige Techniken), insbesondere wenn dadurch Schaden entsteht.
  Beispiel: Ein Voice-/Chatbot, der Nutzer gezielt in finanzielle Entscheidungen drängt, indem er psychologische Schwächen ausnutzt.
• Ausnutzung von Vulnerabilitäten (z. B. Alter, Behinderung, soziale Lage), um Entscheidungen zu beeinflussen.
  Beispiel: Eine KI in einer Lern-App, die Kinder gezielt zu Käufen oder riskantem Verhalten verleitet.
• Social Scoring durch Behörden (oder in behördenähnlichen Konstellationen), bei dem Personen anhand ihres Verhaltens/Profils bewertet werden und daraus nachteilige Behandlung folgt.
  Beispiel: Ein „Bürger-Score“, der Zugang zu Leistungen oder Kontrollen steuert.
• Bestimmte Formen biometrischer Kategorisierung (z. B. Ableitung sensibler Merkmale) sowie Emotionserkennung in bestimmten Kontexten (insbesondere am Arbeitsplatz und in Bildung), soweit rechtlich untersagt bzw. stark eingeschränkt.
  Beispiel: Kamera-KI, die Bewerber*innen in Interviews nach „Stress“ oder „Ehrlichkeit“ bewertet.
• Ungezielte massenhafte Gesichtsbilder-Sammlung (Scraping) zum Aufbau/Erweitern von Gesichtserkennungsdatenbanken.
  Beispiel: Automatisches Crawlen sozialer Netzwerke, um eine Face-ID-Datenbank zu trainieren.
• Bestimmte Anwendungen von „Remote Biometric Identification“ (Echtzeit-Fernidentifizierung in öffentlichen Räumen) sind grundsätzlich untersagt, mit eng definierten Ausnahmen für Strafverfolgung unter strengen Bedingungen.

Wie erkennt man in der Praxis, ob ein Use Case „Prohibited AI“ ist?

• 1) Zweck prüfen: Geht es um Manipulation, Ausnutzung von Schwächen, Scoring oder biometrische Überwachung?
• 2) Kontext prüfen: Bildung, Arbeitsplatz, öffentlicher Raum und Behördenkontexte sind besonders sensibel.
• 3) Daten & Signale prüfen: Werden biometrische Daten, Emotionen, sensible Merkmale oder großflächig gescrapte Bilder genutzt?
• 4) Schaden & Grundrechte prüfen: Gibt es ein realistisches Risiko für Diskriminierung, Zwang, Entmündigung oder Überwachung?
• 5) Governance dokumentieren: Ergebnisse als Teil von AI Governance und einer AI Risk Assessment (KI-Risikobewertung) festhalten.

Bezug zu LLMs, Chatbots und Automatisierung

Viele Large Language Model (LLM)- oder ChatGPT-basierte Systeme sind nicht per se verboten. Kritisch wird es, wenn ein LLM in einem Workflow (z. B. über n8n und Automatisierung (Automation)) gezielt zur manipulativen Beeinflussung vulnerabler Gruppen eingesetzt wird oder wenn es mit verbotenen biometrischen/überwachungsbezogenen Funktionen gekoppelt wird. Technische Maßnahmen wie Guardrails (KI-Leitplanken), Content Filtering / Safety Classifier und Human-in-the-Loop (HITL) helfen, verbotene Muster früh zu verhindern – ersetzen aber keine rechtliche Einordnung.

Warum ist das wichtig?

„Prohibited AI“ ist ein Compliance-Stoppschild: Wer solche Praktiken umsetzt, riskiert erhebliche Sanktionen, Reputationsschäden und Projektabbrüche. Für Unternehmen bedeutet das: Use Cases früh screenen, klare Policies definieren, Trainingsdaten- und Funktionsumfang prüfen und bei Unsicherheit juristisch/Compliance-seitig validieren – insbesondere bei biometrischen und verhaltensbeeinflussenden Anwendungen sowie im Zusammenspiel mit Datenschutz (DSGVO/GDPR) & KI.