Modellüberwachung bezeichnet die kontinuierliche Beobachtung und Analyse von KI- und ML-Modellen im produktiven Betrieb, um sicherzustellen, dass sie weiterhin korrekt und zuverlässig funktionieren. Ein ML-Modell, das bei seiner Inbetriebnahme gut funktioniert hat, kann über Zeit seine Leistung verlieren – weil sich die Welt verändert, weil neue Datenmuster auftauchen, die das Modell nicht kennt, oder weil die Eingabedaten sich in ihrer Charakteristik verschieben.
Modellüberwachung ist für jede KI-gestützte Automation unverzichtbar: Ohne sie arbeiten Automatisierungssysteme still und leise mit veralteten Modellen weiter – bis Fehler auftreten, die oft schwer auf das degradierte Modell zurückzuführen sind. Mit Modellüberwachung werden Qualitätsverschlechterungen frühzeitig erkannt, bevor sie zu produktiven Fehlern führen.
Was Modellüberwachung misst
Accuracy Drift
Sinkt die Vorhersagegenauigkeit des Modells unter einen Schwellenwert?
Data Drift
Haben sich die statistischen Eigenschaften der Eingabedaten verändert?
Concept Drift
Hat sich die Beziehung zwischen Eingabe und korrekter Ausgabe verändert?
Ausnahmenrate
Steigt die Anzahl der Fälle, bei denen das Modell keine Entscheidung trifft?
Latenz
Dauert die Modellinferenz länger als erwartet? Infrastrukturproblem?
Fairness
Produziert das Modell für bestimmte Gruppen systematisch schlechtere Ergebnisse?
Model Drift: warum Modelle degradieren
ML-Modelle werden auf historischen Daten trainiert – sie lernen, was in der Vergangenheit normal war. Wenn sich die Realität verändert, passt das Modell sich nicht automatisch an: Ein Betrugserkennungsmodell, das vor zwei Jahren trainiert wurde, kennt neue Betrugsmuster nicht. Ein Kreditscoring-Modell, das in Zeiten wirtschaftlichen Wachstums trainiert wurde, unterschätzt Risiken in einer Rezession. Ein Dokumentenklassifikator, der auf alten Formularen trainiert wurde, scheitert bei einem neuen Formulardesign. Modellüberwachung erkennt diese Degradation und löst Retraining-Prozesse aus.
Praxisbeispiel
Ein E-Commerce-Unternehmen setzt ein ML-Modell für die automatische Produktkategorisierung ein – neu eingestellte Produkte werden automatisch der richtigen Kategorie zugeordnet. Das Modell wurde im Januar trainiert. Modellüberwachung zeigt: Im Oktober steigt die manuelle Korrekturraten von 4 auf 11 Prozent. Ursache laut Data-Drift-Analyse: Im Oktober wurden viele Produkte für die Weihnachtssaison eingestellt – Produktnamen und Beschreibungen in dieser Kategorie waren im Trainings-Datensatz unterrepräsentiert. Reaktion: Automatisierter Retraining-Trigger mit den Korrekturdaten der letzten drei Monate. Nach Retraining sinkt die Korrekturraten wieder auf 3,5 Prozent. Ohne Modellüberwachung wäre die Degradation unbemerkt weitergelaufen.
