KI-Inferenz
Ein bereits trainiertes Modell auf Eingaben anwenden, um ein Ergebnis zu erhalten.
Was ist KI-Inferenz?
KI-Inferenz ist die Anwendung eines trainierten Modells auf Eingaben. Das Ergebnis kann etwa eine Vorhersage, eine Klassenzuordnung oder erzeugter Text sein. Dabei werden die erlernten Modellfähigkeiten genutzt; eine neue Eingabe bedeutet nicht automatisch neues Training. Inferenz kann je nach Aufbau lokal oder auf einem Server sowie einzeln oder in Stapeln stattfinden.
In einem erfundenen Produktablauf schlägt ein trainiertes Modell für ein neues Foto eine Artikelkategorie vor. Das ist die Inferenz; die spätere Anpassung des Modells anhand geeigneter Trainingsdaten wäre ein anderer Vorgang. Für den Einsatz legt das Team fest, wie der Vorschlag geprüft und bei Unklarheit korrigiert wird. Auch Antwortzeit, benötigte Ressourcen und Verhalten bei fehlendem Ergebnis gehören zur Planung dieses Verarbeitungsschritts.
Quellen
Verwandte Begriffe
- Maschinelles LernenModelle lernen Muster aus Daten und nutzen sie für neue Eingaben.
- Neuronales NetzEin Modell aus verbundenen Rechenknoten mit anpassbaren Parametern.
- Fine-TuningFine-Tuning passt ein bereits trainiertes Modell durch weiteres Training an. Es ist vom Bereitstellen aktueller Dokumente zur Laufzeit zu unterscheiden.
- LLM-EvaluationEine LLM-Evaluation prüft Modellergebnisse anhand definierter Aufgaben und Kriterien. Ein guter Einzelfall ist noch kein belastbarer Qualitätsnachweis.
- ModellkarteEine Modellkarte dokumentiert Zweck, Grundlagen, Bewertungsbedingungen und bekannte Grenzen eines KI-Modells für eine bestimmte Version.
- KI-EinsatzbereitschaftKI-Einsatzbereitschaft beschreibt die Voraussetzungen für ein KI-Vorhaben: Ziel, nutzbare Daten, Fähigkeiten, Zuständigkeit und Betriebsablauf.
Beiträge zum Thema
KI & Automatisierung mit ASES
KI-Assistenten und automatisierte Abläufe