Vad är förklarbar AI?
Förklarbar AI är metoder och system som gör det möjligt att förstå varför en AI har kommit fram till ett visst resultat.
Många AI-modeller är svåra att granska inifrån. Det går sällan att följa exakt hur ett svar uppstod. Förklarbarhet handlar om att ändå ge människor något att pröva resultatet mot.
För en språkmodell som svarar ur dokument är källan den mest användbara förklaringen. Den som läser kan se vilket stycke svaret bygger på och avgöra om det stämmer.
Kravet är högst när AI används för beslut om människor. Dataskyddsförordningen har särskilda regler för beslut som enbart bygger på automatiserad behandling.
Så fungerar det
Det finns två huvudvägar. Den ena är att välja modeller som är enkla nog att följa, som regler eller beslutsträd. Den andra är att förklara en komplex modell utifrån, till exempel genom att visa vilka uppgifter som påverkade resultatet mest eller vilket underlag ett svar bygger på. För språkmodeller är den andra vägen den vanliga.
Därför spelar det roll
Förklaringar gör det möjligt att upptäcka fel, att rätta dem och att motivera ett beslut för den som berörs. I offentlig sektor hänger det ihop med kraven på motivering och god förvaltning. I alla verksamheter gör det AI lättare att lita på.
Att tänka på
En förklaring som modellen själv skriver är inte alltid en förklaring av hur svaret uppstod. Den kan vara en efterhandskonstruktion som låter rimlig.
Lita därför mer på det som går att kontrollera, som källhänvisningar och loggar, än på modellens egen beskrivning av sitt resonemang.
Vad det betyder för er
Kräv att varje AI-svar som används i arbetet går att följa tillbaka till sitt underlag.
Vanliga frågor
Måste AI kunna förklara sina beslut?
När ett beslut fattas helt automatiserat och har rättsliga följder eller påverkar en person i lika hög grad har den registrerade rätt till meningsfull information om logiken bakom. Det följer av GDPR.
Är en källhänvisning en förklaring?
Den visar vilket underlag svaret bygger på, och det är ofta vad som behövs i praktiken. Hur modellen formulerade svaret förklarar den inte.
Källor: Dataskyddsförordningen, artikel 22, på EUR-LexSvarta lådan och rätten till information hos IMY
Relaterade begrepp
Läs mer
Alla begrepp Uppdaterad