Verlässlichkeit festlegen: wie viele Neunen dein Fall braucht
Verlässlichkeit festlegen: wie viele Neunen dein Fall braucht
Ein Agent im Kundenservice, also ein KI-Programm, das eine Anfrage von der Annahme bis zur Antwort selbst bearbeitet, löst zwei von drei Anfragen und gibt den Rest sauber an einen Menschen ab. Das ist ein Erfolg. Eine Maschine in der Fertigung, die neunundneunzig von hundert Griffen richtig macht, ist unbrauchbar, weil der hundertste Griff die Linie stoppt und ein Linienstopp Geld kostet. Zwei Trefferquoten, zwei entgegengesetzte Urteile. Der Unterschied liegt nicht in der Technik, sondern in dem, was ein einzelner Fehler in diesem Vorgang kostet.
Deshalb ist die Zielgröße für Verlässlichkeit eine kaufmännische Entscheidung. In der Praxis redet man von „Neunen", gemeint ist die Zahl der Neunen in der Erfolgsquote: 99 Prozent sind zwei Neunen, 99,9 Prozent sind drei. Diese Zahl gehört auf den Tisch, bevor jemand baut, weil sie über Aufwand, Modellwahl und Freigaberegeln entscheidet. Wer sie erst nach der ersten Demo sucht, verhandelt sie gegen den bereits gebauten Stand. Dann gewinnt fast immer der Stand.
Wie es in der Praxis läuft
Fang bei den Kosten eines einzelnen Fehlers an
Die erste Frage lautet nicht, wie gut ein Modell ist, sondern was geschieht, wenn es einmal danebenliegt: was der Fehler kostet, wer ihn bemerkt, und ob er sich zurücknehmen lässt. Ein schlechter Korrekturvorschlag in der Softwareentwicklung kostete einen Entwickler zwei Stunden Nacharbeit, verkraftbar. Ein Stopp in der laufenden Fertigungslinie ist es nicht. Die Wahrscheinlichkeit eines Fehlers rechnet die Technik aus, die Höhe des Schadens definiert der Fachbereich. Unumkehrbare Vorgänge bekommen eine eigene Schwelle, weil sich eine Überweisung oder eine versendete Kundenmail nicht zurückholen lässt.
Von den Fehlerkosten zur Zahl
Wo jeder einzelne Griff sitzen muss, sind 90 Prozent Erfolgsrate kommerziell nutzlos und oft auch 99 Prozent noch zu wenig. Dort braucht es mehrere Neunen hinter dem Komma, und diese Robustheit muss von Anfang an eingebaut sein. Der Gegenfall: Ein Kundenservice-Agent, der nach zweieinhalb Jahren rund 67 Prozent der Konversationen selbst löst und dabei 99 Cent pro gelöster Konversation kostet, ist ein tragfähiges Geschäft. Der Unterschied ist nicht die Modellqualität, sondern ob der ungelöste Fall folgenlos an einen Menschen weiterläuft oder eine Kette zum Stehen bringt.
Rechne die Übergabe mit, nicht nur die Lösung
Eine einzelne Trefferquote beschreibt den Vorgang nur halb. Die zweite Zahl ist die Übergabe: Was passiert mit den Fällen, die der Agent nicht löst, und merkt er selbst, dass er sie nicht lösen kann. Deshalb wird die Freigabe gestuft statt binär gebaut. In einem Entwicklungsteam läuft eine Änderung nur automatisch durch, wenn sie höchstens zwei Dateien und zwanzig Zeilen betrifft; Änderungen an kritischen Kundendaten werden nie automatisch freigegeben. Das Ziel ist dort nicht die vollständige Automatisierung, sondern rund die Hälfte der Fälle ohne Rückfrage.
Warum du jede Aufgabe einzeln testest
Sprachmodelle haben ein zackiges Fähigkeitsprofil: Sie lösen Aufgaben, die schwer aussehen, und scheitern an trivialen, ohne dass man das vorher ansieht. Ein lokal betriebenes Modell klassifizierte fünfzehn Kundennachrichten sauber, verstand danach aber den Unterschied zwischen brutto und netto nicht und gab eine falsche Empfehlung. In einem Test mit acht eingebauten Fehlern analysierte ein Office-Assistent die Dokumente zwar, fand die falschen Formeln aber nicht, während ein anderes Modell fünf entdeckte. Daraus folgt: Die Zielgröße gilt je Aufgabe, nie je Werkzeug und nie je Anbieter.
Die Prüfung läuft im zweiten Lauf
Die Zielgröße wird vor dem Bau festgelegt und danach in einem getrennten Durchgang gemessen. Zweiter Lauf heißt: Dieselbe Aufgabe läuft noch einmal über echte Fälle, und jemand zählt die Treffer, statt sie zu schätzen. Für einen abgegrenzten, wiederkehrenden Ablauf ist ein bewährter Startwert, mindestens 80 Prozent der Durchläufe ohne Korrektur zu verlangen. Entscheidend ist die Trennung von Bauen und Prüfen: Ein Modell, das seine eigene Arbeit in derselben Sitzung bewertet, hält sie für richtig; ein Prüfer in frischem Kontext, also ohne die Vorgeschichte des Baus, findet mehr Randfälle.
Die Zahl ist ein Startwert mit Verfallsdatum
Eine Zielgröße wird selten sofort erreicht. Ein Prüfvorgang im Finanzbereich startete als Machbarkeitsnachweis bei 30 bis 50 Prozent Konfidenz, also der Sicherheit, mit der das System sein eigenes Ergebnis stützt, für die Verantwortung dort deutlich zu wenig, und erreichte das Ziel von 90 Prozent erst im Ausbau. Ein Dokumentationsprozess im Steuerbereich kam auf 95 Prozent Automatisierungsgrad, getragen aber nicht von der Zahl allein, sondern von einer Kontroll-Oberfläche, die jederzeit zeigt, was passiert ist. Wer Schwellenwerte nie nachkalibriert, spült irgendwann die falschen drei von hundert Vorgängen nach oben.
