Model Selection (Modellauswahl)

Model Selection (Modellauswahl) ist der Prozess, ein KI-Modell so auszuwählen, dass es die Anforderungen eines konkreten Use Cases bestmöglich erfüllt – typischerweise entlang von Qualität (Output-Güte), Kosten (Token- und Infrastrukturkosten), Latenz (Antwortzeit) und Risiken (z. B. Datenschutz, Halluzinationen, Compliance). Ziel ist nicht „das beste Modell“, sondern das passendste Modell für Aufgabe, Budget und Betriebsbedingungen.

Was bedeutet Model Selection in der Praxis?

In modernen KI-Stacks gibt es selten nur eine Modelloption: Du kannst zwischen verschiedenen Large Language Model (LLM)-Anbietern, Modellgrößen, Reasoning-Varianten oder Open-Weights-Modellen wählen. Dazu kommen Betriebsformen (Cloud, Private Cloud, On-Prem, Edge) und Features wie Tool-/Function-Calling. Modellauswahl ist daher eine Kombination aus technischer Evaluation, Wirtschaftlichkeitsrechnung und Risikomanagement.

Wie funktioniert Model Selection? (Schritt-für-Schritt)

• 1) Use Case & Erfolgskriterien definieren: z. B. „Kundensupport-Antworten“, „Datenextraktion“, „Agenten-Workflow“. Lege messbare Ziele fest (Genauigkeit, Tonalität, Quote gelöster Fälle, etc.).
• 2) Qualitätsmessung über Evals: Teste Kandidaten mit einem Golden Dataset und Evaluation (Eval) & Benchmarking. Prüfe auch Robustheit gegen Prompt Injection und typische Fehler.
• 3) Kostenmodell berechnen: Tokenpreise, Kontextlänge, Prompt-Overhead, Ausgabelänge, Caching. In agentischen Workflows können Tool-Aufrufe die Anzahl Modellaufrufe stark erhöhen (siehe Cost Optimization (Token-Kostenoptimierung)).
• 4) Performance & Latenz prüfen: Miss p50/p95 Latenz, Streaming-Verhalten und Durchsatz (siehe Latency (Latenz) & Throughput). Ein Modell kann „besser“ sein, aber zu langsam für Live-Chat.
• 5) Risiko, Compliance & Betrieb: Datenschutz (z. B. Datenschutz (DSGVO/GDPR) & KI), Datenresidenz (siehe Data Residency (Datenresidenz)), Safety, Auditierbarkeit, Vendor Lock-in, SLA/SLO.
• 6) Entscheidung & Rollout: Oft via A/B-Test oder schrittweiser Migration. Monitoring und Regressionstests sichern die Qualität bei Modellupdates.

Wichtige Auswahlkriterien (mit Beispielen)

• Qualität/Genauigkeit: Für komplexe Analyse oder Planung kann ein Reasoning Models (Reasoning-Modelle)-Ansatz sinnvoll sein; für einfache Textaufgaben reicht oft ein kleineres Modell.
• Kontextfenster: Wenn du lange Dokumente verarbeitest, ist ein großes Kontextfenster (Context Window) relevant – alternativ nutzt du RAG (Retrieval-Augmented Generation), um nur relevante Passagen einzuspeisen.
• Halluzinationsrisiko: Bei faktischen Antworten sind Grounding (Faktenverankerung) und ggf. Quellen (siehe Citations (Quellenangaben) in LLMs) wichtiger als „kreative“ Sprachqualität.
• Tool Use & Automatisierung: Für Workflows mit externen Systemen (CRM, Tickets, Datenbanken) brauchst du zuverlässiges Function Calling / Tool Use – besonders in AI Agents (KI-Agenten) oder in n8n-Automationen.
• Betriebsmodell: Open-Weights (z. B. Meta Llama (Open-Weights LLM)) können On-Prem günstiger oder datenschutzfreundlicher sein, erfordern aber Model Serving (Modellbereitstellung) und MLOps-Kompetenz.

Typische Entscheidungsmuster

Häufig setzt man nicht auf ein einzelnes Modell, sondern auf Routing: Ein günstiges Modell für Standardfälle, ein stärkeres Modell für schwierige Anfragen (siehe Model Router (Modell-Routing)). Beispiel: Ein Support-Chat nutzt ein schnelles Modell für FAQs; bei Eskalation oder komplexen Reklamationen wird ein leistungsfähigeres Modell zugeschaltet. Für strukturierte Extraktion (Rechnungen, Formulare) kann zusätzlich ein Modell mit robusten Structured Outputs (JSON Schema)-Fähigkeiten gewählt werden.

Gute Model Selection ist damit ein kontinuierlicher Prozess: Modelle ändern sich, Preise und Latenzen schwanken, und neue Risiken oder Compliance-Anforderungen kommen hinzu. Wer systematisch evaluiert, überwacht und iteriert, erreicht stabile Qualität bei kontrollierten Kosten.