Wann darf der Agent selbst entscheiden? Die Schwelle statt der Einzelfreigabe

Der Agent läuft seit sechs Wochen sauber. Er liest die eingehende Rechnung, gleicht sie gegen die Bestellung ab, legt den Buchungsvorschlag an und meldet, wenn etwas nicht zusammenpasst. Technisch ist das fertig. Trotzdem sieht jeden Morgen ein Mensch jeden einzelnen Vorgang durch, auch die, bei denen offensichtlich alles stimmt.

In der nächsten Runde kommt dann die Frage, die niemand gern beantwortet: Darf der das jetzt allein? Die Antwort lautet zuverlässig „kommt drauf an", danach wird der nächste Einzelfall besprochen, und vier Wochen später sitzt dieselbe Runde wieder zusammen. Das ist kein Zeichen von Vorsicht. Es ist ein Zeichen dafür, dass die Frage in einer Form gestellt wird, die keine Antwort zulässt.

„Darf der Agent selbst entscheiden" schert den ganzen Vorgangsstrom über einen Kamm. Ein Agent ist im Kern ein Sprachmodell in einer Schleife: Es bekommt ein Ziel und Werkzeuge, holt sich Runde für Runde den nötigen Kontext und arbeitet die Aufgabe ab. Was dabei herauskommt, ist bei der einen Rechnung eindeutig und bei der nächsten grenzwertig. Eine Regel, die beide Fälle gleich behandelt, ist an der einen Stelle zu locker und an der anderen zu teuer.

Die brauchbare Form ist eine Schwelle. Der Agent gibt zu jedem Vorgang mit aus, wie sicher er sich seiner Sache ist, diese Zahl nennt man Konfidenz. Über einer festgelegten Schwelle läuft der Vorgang durch, darunter geht er an einen Menschen. Aus einer Grundsatzentscheidung wird damit ein Regler, den du Stufe für Stufe öffnen kannst, sobald die Zahlen es hergeben. Genau an dieser Stelle trennt sich Demo von Betrieb: Rund neun von zehn Agenten-Projekten erreichen die Produktion nie, und der Grund ist fast nie ein zu schwaches Modell.

Woran du merkst, dass die Einzelfreigabe euer Engpass geworden ist

Der ehrlichste Test ist eine Zahl, die kaum jemand erhebt: Wie viele fertige Vorgänge warten gerade auf einen Menschen, und wie lange warten sie im Schnitt? Diese Zahl zeigt dir früher als jede andere, dass der Engpass von der Ausführung in die Prüfung gewandert ist. Sobald das Ausführen billig wird, verschwindet der Engpass nämlich nicht, er staut sich vor Prüfung, Abstimmung und Freigabe. Mehr Ausstoß ist dann nicht mehr Ergebnis, sondern nur ein längerer Stapel.

Das zweite Anzeichen steht im Kalender. Jeder neue Agent wird von vorn diskutiert und einzeln freigegeben. Das funktioniert bei drei Agenten und bricht bei dreißig, weil ab da nicht mehr der Agent das Nadelöhr ist, sondern die Runde, die ihn bewertet. Wenn eure Freigabe pro Fall stattfindet statt pro Vorgangstyp, wächst der Abstimmungsaufwand mit jedem neuen Automatismus mit, statt zu sinken.

Das dritte Anzeichen ist die Gleichmacherei. Die klare Rechnung und der strittige Grenzfall bekommen dieselbe Prüftiefe, weil es keine Regel gibt, die sie unterscheidet. Praktisch heißt das: Die eindeutigen Fälle fressen die Aufmerksamkeit, die die schwierigen bräuchten. Wer alles gleich gründlich prüft, prüft am Ende nichts wirklich gründlich.

Das vierte und leiseste Anzeichen kommt als Antwort auf eine einfache Frage. Frag in die Runde, wie oft der Agent richtig liegt. Kommt eine Erfahrung zurück statt einer Zahl, prüft ihr nicht, ihr beruhigt euch. Verlässlichkeit wird gemessen, nicht gehofft, und eine gefühlte Trefferquote ist kein Maßstab, an dem du eine Freigabe festmachen kannst.

Warum „erst mal alles prüfen" ein Startzustand ist und kein Zielzustand

Am Anfang ist hundert Prozent Prüfung genau richtig. Behandle die Ausgabe eines Agenten wie die Arbeit eines neuen Kollegen: Zuerst sieht sie jemand vollständig durch, und mit der Zeit entsteht ein Bild davon, wo er zuverlässig ist und wo nicht. Der Fehler liegt nicht im Anfang. Der Fehler liegt darin, dass niemand vorher festgelegt hat, woran man erkennt, dass der Anfang vorbei ist.

Die Prüfung wird zum Ritual, wenn niemand sie auswertet. Wer jeden Vorgang ansieht, aber nirgends festhält, wie oft der Agent danebenlag und in welcher Richtung, sammelt Arbeitszeit statt Erkenntnis. Für einen Agenten, der Vorgänge freigibt, ist die entscheidende Zahl die Rate der falschen Freigaben, also der Anteil der Fälle, die durchgelaufen sind und es nicht hätten sollen. Ohne diese Zahl kannst du keine Schwelle begründen, weder nach oben noch nach unten.

Die Alles-oder-nichts-Frage erzwingt die vorsichtigste Antwort. Wenn nur zwei Zustände zur Wahl stehen, nämlich vollständige Kontrolle oder vollständige Selbstständigkeit, entscheidet jede Runde für die Kontrolle, und zwar zu Recht. Niemand übernimmt die Verantwortung für einen Sprung, dessen Zwischenschritte nicht definiert sind. Erst der Regler macht die Entscheidung teilbar und damit überhaupt entscheidbar.

Ein Modell meldet von sich aus keine Unsicherheit. Ein Sprachmodell liefert immer ein Ergebnis, auch wenn ihm die Grundlage fehlt. Es sagt nicht „weiß ich nicht", es füllt die Lücke. Dazu kommt eine zweite Eigenschaft: Modelle sind darauf ausgelegt zu gefallen, und dieselbe Frage aus einem anderen Winkel gestellt bringt eine andere Antwort. Wenn du nicht ausdrücklich verlangst, dass der Agent seine Sicherheit mit ausgibt, bekommst du zu jedem Vorgang denselben souveränen Ton, egal wie dünn die Datenlage war.

Fünf Schritte zu einer Schwelle, die ihr verantworten könnt

Die Reihenfolge zählt mehr als die einzelne Maßnahme. Die Messung kommt vor der Schwelle, weil eine Schwelle ohne Zahlen nur eine Vermutung mit Nachkommastelle ist.

Was ihr mit der Schwelle wirklich festlegt

Ihr entscheidet nicht, ob ihr dem Agenten vertraut. Vertrauen ist keine Größe, die eine Runde beschließen kann. Ihr entscheidet zwei Dinge, die sich beziffern lassen: was ein Fehler in diesem Vorgangstyp kostet und wie viel Prüfzeit euch dieser Schutz wert ist. Alles andere folgt daraus. Deshalb ist die Schwelle auch kein technisches Detail, sondern die eigentliche Managemententscheidung, und sie gehört an den Tisch, an dem Fachbereich, IT und Recht zusammensitzen.

Zwei Dinge gehören dabei mit auf den Tisch. Erstens die Rechtslage: Der AI Act, die europäische Verordnung, die KI-Anwendungen nach Risiko sortiert, ist seit August 2024 in Kraft, und für die als hochriskant eingestuften Anwendungen greifen die Pflichten ab August 2026, etwa bei der Prüfung von Kreditwürdigkeit oder bei der Risikobewertung in Versicherungen. Menschliche Aufsicht ist einer der Pflichtbereiche für diese Fälle, und es macht einen Unterschied, ob ihr ein System nur betreibt oder es unter eigenem Namen anbietet. Dieser Text gibt Orientierung und ersetzt keine Rechtsberatung. Zweitens die Rechenschaft: Am Ende zeichnet ein Mensch. Wer eine Nachricht nach außen verantwortet, drückt selbst auf senden, und jeder laufende Agent hat einen namentlichen Verantwortlichen.

Der Rest ist Geduld mit dem Regler. In einem Prüfprozess der Fondsbranche wurde die KI zum ersten Augenpaar und der Mensch blieb das zweite, angepeilt war ein Konfidenzniveau nahe neunzig bis hundert Prozent, bevor überhaupt über Dunkelverarbeitung gesprochen wurde, also über Vorgänge, die vom Eingang bis zum Abschluss ohne menschlichen Eingriff durchlaufen. In der Logistik startet ein Rollout bewusst bei zwanzig bis dreißig Prozent Automatisierung, der Disponent behält den letzten Haken, und eine Aufgabe, die vier Stunden gedauert hat, ist in zwanzig Minuten erledigt. Beides sind langsame Wege, und beide sind in Produktion.

Wenn du wissen willst, wo dein Unternehmen dabei gerade steht, mach den KIRA-Check. Er verortet dich über sechs Stufen und fünf Achsen, und eine dieser Achsen heißt Governance und Verlässlichkeit, also genau die Frage, ab wann ein Agent ohne Rückfrage handeln darf. Du bekommst dein Profil und die zwei Engpässe, die dich aktuell bremsen. Zehn Minuten, keine Note am Ende.