Inferenz bezeichnet in der Machine-Learning-Praxis den Prozess, ein bereits trainiertes Modell auf neue, zuvor nicht gesehene Eingabedaten anzuwenden, um Vorhersagen, Klassifikationen oder Ausgaben zu erzeugen. Nach dem Training ist das Modell fixiert – seine gelernten Parameter werden nicht mehr verändert. Inferenz ist der produktive Betrieb des Modells: Es nimmt Eingaben entgegen und produziert Ausgaben, so schnell und effizient wie möglich.
Inferenz ist der Moment, in dem ein ML-Modell seinen Geschäftswert liefert: Nicht im wochenlangen Training auf einem GPU-Cluster, sondern in den Millisekunden, in denen es eine Kreditentscheidung trifft, ein Dokument klassifiziert oder eine Nachfrage prognostiziert. Für produktive Automatisierungssysteme ist Inferenz-Performance – Geschwindigkeit, Durchsatz, Kosten – mindestens so wichtig wie Modellgenauigkeit.
Training vs. Inferenz
Training
- Modell lernt aus Daten
- Parameter werden angepasst
- Einmalig oder periodisch
- Stunden bis Wochen
- GPU-Cluster, teuer
- Offline, nicht zeitkritisch
Inferenz
- Modell wendet Gelerntes an
- Parameter fixiert, kein Lernen
- Kontinuierlich, bei jedem Aufruf
- Millisekunden bis Sekunden
- Standard-CPU/GPU, günstig
- Online, zeitkritisch
Inferenz-Arten nach Zeitanforderung
- Echtzeit-Inferenz (Online Inference): Einzelne Anfragen werden sofort beantwortet – Kreditentscheidung in 200 ms, Spam-Filter in Echtzeit. Niedrige Latenz ist entscheidend
- Batch-Inferenz (Offline Inference): Viele Datensätze werden in einem Durchlauf verarbeitet – tägliche Nachfrageprognose für 10.000 Artikel, nächtliche Risikobewertung des Portfolios. Hoher Durchsatz ist entscheidend
- Edge-Inferenz: Modell läuft direkt auf dem Gerät (IoT-Sensor, Smartphone) ohne Netzwerkverbindung – Qualitätsprüfung in der Produktion in Echtzeit am Band
Praxisbeispiel
Ein Automationsworkflow nutzt drei ML-Modelle in der Produktionskette. Modell 1 (Echtzeit-Inferenz): Eingehende Rechnungs-PDFs werden sofort durch ein Klassifikationsmodell kategorisiert (Eingangsrechnung / Gutschrift / Mahnung) – Inferenzzeit 45 ms, 24/7 verfügbar. Modell 2 (Echtzeit-Inferenz): Extrahierte Rechnungsdaten werden durch ein Anomalieerkennungsmodell auf Betrugsmerkmale geprüft – 120 ms. Modell 3 (Batch-Inferenz): Jede Nacht um 01:00 Uhr laufen alle offenen Forderungen durch ein Ausfallrisiko-Modell – 14.000 Datensätze in 4 Minuten bewertet, Ergebnis steht dem Risikoteam morgens bereit. Für jedes Modell wurde separat optimiert: die Echtzeit-Modelle auf Latenz, das Batch-Modell auf Durchsatz.
