Vad är multimodal AI?
Multimodal AI kan hantera flera sorters innehåll, till exempel text, bild och tal, och koppla ihop dem i samma uppgift.
Tidiga språkmodeller arbetade bara med text. En multimodal modell kan också tolka en bild, läsa ett skannat dokument eller förstå tal.
Det öppnar för uppgifter som tidigare krävde flera verktyg. En tekniker fotograferar en typskylt och frågar vilken manual som gäller. En läkare dikterar och får en strukturerad anteckning att granska.
Bilder och ljud kan innehålla lika känsliga uppgifter som text. Samma frågor om var de behandlas gäller därför här.
Så fungerar det
En multimodal modell gör om olika sorters innehåll till samma slags inre representation. En bild delas upp i små rutor, ljud i korta avsnitt, och båda behandlas ungefär som text. Därför kan modellen svara på en fråga om en bild eller sammanfatta ett samtal med samma teknik som den använder för text.
Därför spelar det roll
Mycket kunskap finns i annat än text. Ritningar, fotografier, inskannade blanketter och samtal. Multimodal AI gör det möjligt att söka i och använda det materialet, och att arbeta med rösten där händerna behövs till annat.
Ett exempel. En fastighetsförvaltare fotograferar en vattenskada och frågar vad som ska göras. Assistenten tolkar bilden och svarar ur förvaltningens egna instruktioner.
Att tänka på
Tolkningen av bilder och ljud kan vara osäkrare än av text, särskilt vid dålig kvalitet, handskrift eller mycket bakgrundsljud. Granska resultatet extra noga i början.
Kontrollera också att samma behörigheter och regler för lagring gäller för bild och ljud som för dokument.
Vad det betyder för er
Se var tal och bild kan spara tid i ert arbete, och kontrollera att de hanteras lika säkert som text.
Vanliga frågor
Vad kan multimodal AI användas till i en verksamhet?
Till exempel att läsa ett inskannat dokument, tolka en bild i en manual eller göra om tal till text och sammanfatta det.
Gäller samma dataskydd för bild och ljud?
Ja, samma regler gäller. Personuppgifter är dock svårare att upptäcka i förväg, som ansikten i en bild eller röster i en inspelning.
Relaterade begrepp
Läs mer
Alla begrepp Uppdaterad