Multimodale KI
KI mit mehreren Informationsarten wie Text, Bild oder Ton in Eingaben oder Ausgaben.
Was ist multimodale KI?
Multimodale KI verarbeitet oder erzeugt mehr als eine Art von Information, etwa Text, Bilder oder Ton. Ein Modell kann verschiedene Eingaben zusammen berücksichtigen und trotzdem nur Text ausgeben. Welche Kombinationen unterstützt werden, hängt vom konkreten Modell und seiner Anbindung ab. Die Bezeichnung verspricht nicht, dass jede Eingabeart verstanden oder jede Ausgabeart erzeugt werden kann.
In einem erfundenen Servicefall erhält ein Modell ein Gerätefoto und eine ergänzende schriftliche Notiz. Beide Quellen sollen gemeinsam bei der Einordnung helfen. Ist das Typenschild auf dem Foto unlesbar, braucht der Ablauf eine Klärung statt einer ungesicherten Gerätekennung. Das Team prüft, ob Ergebnisse durch die tatsächlichen Bild- und Textinhalte gedeckt sind. Zusätzliche Eingabearten können hilfreichen Kontext liefern, ersetzen aber nicht diese Prüfung.
Quellen
Verwandte Begriffe
- Neuronales NetzEin Modell aus verbundenen Rechenknoten mit anpassbaren Parametern.
- Large Language ModelEin Large Language Model verarbeitet Sprache anhand gelernter Muster. Flüssiger Text belegt weder sachliche Richtigkeit noch Zugriff auf aktuelle Firmendaten.
- Speech-to-TextGesprochene Sprache aus Audiodaten in Text umwandeln.
- Text-to-SpeechGeschriebenen Text als synthetische Sprache ausgeben.
- Optische ZeichenerkennungOptische Zeichenerkennung macht Schrift aus Bildern maschinell verarbeitbar. Das Lesen eines Betrags ist noch keine fachliche Rechnungsprüfung.
- ModellkarteEine Modellkarte dokumentiert Zweck, Grundlagen, Bewertungsbedingungen und bekannte Grenzen eines KI-Modells für eine bestimmte Version.
Beiträge zum Thema
KI & Automatisierung mit ASES
KI-Assistenten und automatisierte Abläufe