Multimodal AI
AI med flera informationstyper som text, bild eller ljud i indata eller utdata.
Vad är multimodal AI?
Multimodal AI behandlar eller skapar flera informationstyper, exempelvis text, bilder eller ljud. En modell kan använda olika indata tillsammans och ändå bara leverera text. Kombinationer beror på modellen och dess integration i appen. Begreppet lovar inte förståelse av alla indatatyper eller framställning av alla utdatatyper.
I ett påhittat serviceärende får modellen ett utrustningsfoto och en skriftlig notering. Båda källorna ska hjälpa bedömningen tillsammans. Är typskylten oläslig behöver flödet klargörande i stället för en utrustningskod utan stöd i underlaget. Teamet kontrollerar att faktiskt bild- och textinnehåll stöder resultatet. Extra indata kan ge sammanhang men ersätter inte kontrollen.
Källor
Relaterade begrepp
- Neuralt nätverkEn modell av sammankopplade beräkningsnoder med justerbara parametrar.
- Stor språkmodellEn stor språkmodell bearbetar språk med inlärda mönster. Flytande text bevisar varken faktariktighet eller tillgång till aktuella företagsdata.
- Tal till textAtt omvandla talat språk i ljuddata till text.
- Text till talAtt återge skriven text som syntetiskt tal.
- Optisk teckenigenkänningOptisk teckenigenkänning gör skrift i bilder maskinellt bearbetningsbar. Att läsa av ett belopp är inte detsamma som att granska fakturan i sak.
- ModellkortEtt modellkort dokumenterar syfte, grunder, utvärderingsvillkor och kända begränsningar för en viss version av en AI-modell.
Artiklar om ämnet
AI & automatisering med ASES
AI-assistenter och automatiserade flöden