Nicht immer das größte Modell: Routing als Kosten- und Datenschutz-Hebel

Freitagnachmittag, jemand lässt eine dreizeilige interne Mail umformulieren. Das Werkzeug schickt die Anfrage an das stärkste verfügbare Modell, mit dem höchsten Denk-Aufwand, weil das so voreingestellt ist. Zwei Stunden später gibt jemand aus der Rechtsabteilung einen Vertragsentwurf in dasselbe Fenster ein. Beide Vorgänge kosten pro Anfrage ungefähr dasselbe, und beide nehmen denselben Weg aus dem Haus hinaus.

Am Monatsende steht dann eine Summe auf der Rechnung, und sie ist höher als im Monat davor. Auf die Frage, was sie gebracht hat, sagt das Team: Es fühlt sich produktiver an. Der Satz ist ehrlich gemeint, und er ist trotzdem kein Lob. Er ist der Befund, dass niemand die Kostenseite je gesteuert hat.

Dahinter steckt ein Reflex mit Namen. Er heißt Token Maxing: möglichst viel durch das teuerste Modell schicken und hoffen, dass am anderen Ende Qualität herauskommt. Ein Token ist dabei die kleinste Texteinheit, in der ein Modell liest und schreibt, und die Einheit, nach der die meisten Anbieter abrechnen. Jeder Arbeitsschritt hat darin einen Preis, auch der, für den eine feste Regel gereicht hätte.

Die Gegenhaltung ist unspektakulär: Du entscheidest vorher, welche Aufgabe an welches Modell geht, und schreibst diese Entscheidung auf. Das nennt sich Modell-Routing. Es senkt zwei Rechnungen gleichzeitig, denn wer jede Anfrage blind an das größte Modell schickt, zahlt einmal in Euro und einmal in Daten, die im Haus hätten bleiben können.

Woran du merkst, dass bei euch nicht geroutet wird

Das deutlichste Anzeichen ist eine fehlende Seite. Es gibt bei euch keine aufgeschriebene Regel, welche Art von Aufgabe an welches Modell geht. Ohne diese Regel greift jeder aus Gewohnheit zum größten, denn das größte fühlt sich nie nach einem Fehler an. Für die einfachen Aufgaben zahlt ihr damit den Preis der schwersten.

Das zweite Anzeichen ist eine einzige Spur. Der Personalfall, der Vertragsentwurf und die Pressemitteilung gehen bei euch alle über denselben Zugang zu demselben Anbieter. Es gibt keine zweite Spur für das, was sensibel ist, also gibt es auch keine Entscheidung darüber, was das Haus verlassen muss und was nicht. Vorhanden ist nur eine Voreinstellung, die nie jemand als Entscheidung erlebt hat.

Das dritte Anzeichen findest du in den Abläufen selbst. Schritte, die jedes Mal identisch laufen, laufen bei euch trotzdem durch ein Sprachmodell: ein Datum umformatieren, einen Betrag aus einer Rechnung ziehen, eine Liste nach einem festen Kriterium sortieren. Das ist nicht nur teuer, es ist auch unzuverlässiger als der Alternativweg. Ein Modell kann bei derselben Eingabe zweimal etwas leicht Verschiedenes ausgeben, ein Stück Code tut jedes Mal dasselbe.

Das vierte Anzeichen ist der Satz vom Anfang. Wenn ein Team nach drei Monaten sagt, es fühle sich produktiver an, und dazu keine Zahl nennen kann, dann hat es kein KI-Programm, sondern ein Werkzeug. Der Unterschied liegt nicht am Engagement der Leute, sondern daran, dass niemand je eine Größe festgelegt hat, an der sich der Einsatz messen lässt.

Warum das größte Modell die unentschiedene Wahl ist

Der Reflex zum stärksten Modell hat einen nachvollziehbaren Kern. Bei einer wichtigen Aufgabe ist es tatsächlich das Richtige, und niemand will bei einem Angebot, das über einen großen Auftrag entscheidet, an der falschen Stelle sparen. Das Problem ist nicht die Wahl, sondern dass sie nie getroffen wurde.

Das größte Modell ist selten falsch, aber es ist unentschieden. Es gibt nicht das eine beste Modell, so wie es nicht das eine beste Auto gibt. Für eine Klassifizierung, also das Einsortieren von Texten in feste Kategorien, kostet ein kleines Modell einen Bruchteil dessen, was das große Universalmodell pro Anfrage kostet, und liefert dabei nicht schlechtere Ergebnisse. Wer immer das größte nimmt, kauft bei jeder einfachen Anfrage Fähigkeiten mit, die dort niemand braucht.

Die zweite Rechnung steht auf keiner Rechnung. Jede Anfrage an ein Modell in der Cloud ist eine Datenübermittlung an einen Dienstleister. Bei den meisten Aufgaben ist das unproblematisch und vertraglich sauber geregelt. Bei einem Teil der Aufgaben ist es unnötig, weil dieselbe Arbeit auf eigener Hardware erledigt werden könnte. Genau dieser Teil verschwindet in der Voreinstellung: Wenn es nur einen Weg gibt, wird nie geprüft, ob dieser Fall ihn hätte gehen müssen.

Ohne Regel entsteht keine Gewohnheit, sondern eine Voreinstellung. Eine Voreinstellung ist die Entscheidung von jemand anderem, meist der des Anbieters, und sie ist auf Qualität ausgelegt, nicht auf euren Betrieb. Solange ihr sie nicht ersetzt, steuert sie euren Verbrauch. Das ist der eigentliche Grund, warum die Rechnung monatlich wächst, ohne dass jemand mehr arbeitet.

Die Gegenhaltung heißt Efficiency Maxing. Sie funktioniert in drei Rollen statt in einer. Das starke Modell plant und schneidet die Aufgabe zu, ein günstiges und schnelles Modell führt den klar umrissenen Schritt aus, und ein zweites Modell macht den Gegencheck. Das ist nicht komplizierter als vorher, es ist nur einmal entschieden.

Kurz gesagt

Das größte Modell ist selten die falsche Wahl. Es ist die Wahl, die ihr nie getroffen habt.

Fünf Schritte zu einer Routing-Matrix, die im Alltag hält

Der erste Schritt passt auf eine Seite und ist in einer Stunde geschrieben. Alles Weitere baut darauf auf.

Schritt für Schritt

Schreib eine Routing-Matrix aus drei Aufgabenklassen auf

Ordne jeder Klasse genau ein Modell und einen Denk-Aufwand zu: ein starkes Modell mit hohem Denk-Aufwand für Planung, Analyse und alles, was Geld bewegt, ein Alltagsmodell für Textarbeit und To-dos, ein günstiges Modell für einfache Massenarbeit wie Sortieren, Zusammenfassen und Recherche. Denk-Aufwand meint dabei, wie lange und wie gründlich ein Modell nachdenkt, bevor es antwortet. Steig bei wichtigen Aufgaben mit dem stärksten Modell ein und stuf herunter, bis die Qualität kippt. Eine Matrix, die niemand aufschreibt, existiert nicht.

Lass das starke Modell planen und ein günstiges den umrissenen Schritt ausführen

Für alles, was aus mehreren Schritten besteht, ist das der größte Hebel. Das starke Modell schreibt den genauen Auftrag, das günstige arbeitet ihn ab, und ein zweites Modell prüft das Ergebnis gegen den Auftrag. Setz diesen Prüfer bewusst in ein frisches Kontextfenster, also in eine neue Sitzung ohne die bisherige Unterhaltung. In derselben Sitzung hält ein Modell die eigene Arbeit für richtig und übersieht die eigenen Fehler.

Zieh jeden Schritt, der immer gleich läuft, aus dem Modell heraus

Deterministisch heißt, dass bei derselben Eingabe zwingend dieselbe Ausgabe herauskommt. Solche Schritte gehören in Code oder in eine feste Regel und nicht in ein Sprachmodell, weil die Regel billiger ist, schneller läuft und jedes Mal dasselbe tut. Geh dafür einen laufenden Ablauf durch und markier jeden Schritt, dessen Ergebnis vorher feststeht. Was übrig bleibt, ist die Arbeit, für die ihr ein Modell wirklich braucht.

Hol die Aufgaben ins Haus, die kein Spitzenmodell brauchen

Ein kleines Spezialmodell mit abgestecktem Kontext löst eine konkrete Aufgabe oft günstiger und schneller als ein großes Universalmodell und läuft dabei auf eurer eigenen Hardware. Über die Größenordnung entscheidet der Grafikspeicher: Kleine Modelle laufen auf einem gut ausgestatteten Laptop, mittlere auf einer Workstation ab 24 Gigabyte Grafikspeicher, große brauchen einen Server. Ein verbreitetes Hybrid-Muster lässt ein kleines Modell den Verkehr verteilen und rund 95 Prozent der Anfragen lokal beantworten, während nur die komplexen Fälle in die Cloud gehen. Ab hier ist Routing kein reines Kostenthema mehr, sondern der Hebel, mit dem sensible Daten das Haus gar nicht erst verlassen.

Häng jeden produktiven Anwendungsfall an genau eine Zahl und setz ein Inferenzbudget pro Kopf

Notiere je Fall den Tokenverbrauch pro Durchlauf und die Größe, die er verbessern soll, etwa die Durchlaufzeit eines Vorgangs. Inferenz ist dabei das Wort für die eigentliche Arbeit des Modells, also jede Anfrage, die es beantwortet, und ein Inferenzbudget pro Kopf ist die monatliche Obergrenze dafür je Person. Setz sie nicht zu eng: Wer im offiziellen Rahmen nicht arbeiten kann, weicht auf ein privates Konto aus, und dann verliert ihr die Kostenkontrolle und den Datenschutz gleichzeitig.

Die Frage hinter der Rechnung

Routing wird meistens als Sparübung verkauft, und als Sparübung ist es enttäuschend. Wer sauber routet, spart oft weniger, als er erwartet hat, weil ein Teil des Geldes einfach richtig ausgegeben war. Der Gewinn liegt woanders: Ihr wisst danach, welche Aufgabe an welchem Ort erledigt wird, und ihr könnt diese Zuordnung ändern, ohne den Prozess neu zu bauen.

Damit beantwortet eine Routing-Matrix eine Frage, die viel größer ist als die nach dem Preis. Sie lautet nicht, wie ihr KI billiger bekommt. Sie lautet, welche eurer Daten das Haus überhaupt verlassen müssen und welche nicht. Wer diese Frage einmal je Aufgabenklasse beantwortet hat, hat nebenbei auch die Kostenfrage gelöst. Umgekehrt funktioniert es nicht.

Wenn du wissen willst, wo dein Unternehmen dabei gerade steht, mach den KIRA-Check. Er verortet dich über sechs Stufen und fünf Achsen, und eine dieser Achsen heißt Systeme und Harness, misst also genau die Umgebung um das Modell herum. Du bekommst dein Profil und die zwei Engpässe, die dich aktuell bremsen. Zehn Minuten, keine Note am Ende.

KIRA-Check

Wo steht dein Unternehmen wirklich?

Verorte deinen Reifegrad über sechs Stufen und fünf Achsen, und finde die zwei Engpässe, die euch gerade bremsen.

Erstgespräch anfragen