Vad är bias i AI?
Bias är en systematisk snedvridning i det AI ger, ofta för att träningsdatan speglar skevheter som redan fanns.
En modell lär sig av historiska exempel, även de dåliga. Har tidigare beslut gynnat en viss grupp kan modellen göra likadant, utan att någon har bett om det.
Risken är störst när AI används för att bedöma människor, till exempel vid rekrytering. Sådan användning räknas också som högrisk i AI-förordningen.
När AI svarar ur era egna dokument blir svaren lika bra eller dåliga som dokumenten. Gamla eller ensidiga underlag ger gamla eller ensidiga svar.
Så fungerar det
Bias kan komma in på flera ställen. I datan, när vissa grupper eller fall saknas eller är underrepresenterade. I märkningen, när de som satte facit gjorde bedömningar som var skeva. Och i användningen, när ett system byggt för en sak används för något annat. Modellen förstärker ofta det mönster den har sett mest av.
Därför spelar det roll
En skev modell kan ge sämre service eller felaktiga bedömningar för vissa grupper, utan att någon märker det i det enskilda fallet. Det kan bryta mot regler om likabehandling och skada förtroendet för hela verksamheten. Ju fler beslut AI påverkar, desto större blir effekten.
Att tänka på
Bias syns sällan i ett enskilt svar. Den syns när man jämför många svar. Bestäm i förväg vad som ska följas upp.
Var också uppmärksam på språk. En modell som är bättre på engelska kan ge sämre svar till den som skriver på svenska eller på ett annat språk.
Vad det betyder för er
Låt inte AI bedöma enskilda personer utan mänsklig prövning, och håll underlaget aktuellt.
Vanliga frågor
Hur upptäcker man bias?
Genom att jämföra resultat för grupper och fall som borde behandlas lika. Det kräver test innan systemet används och uppföljning efteråt.
Kan bias bli ett juridiskt problem?
Ja. Ett system som missgynnar vissa grupper kan strida mot diskrimineringsregler. För högrisk-AI ställer AI-förordningen dessutom krav på att träningsdata granskas för snedvridning.
Påverkar bias en assistent som svarar ur våra dokument?
Mindre, eftersom svaret bygger på era texter. Skevheter i underlaget följer ändå med, och modellen påverkar hur svaret formuleras.
Källor: NIST SP 1270 om bias i AI
Relaterade begrepp
Läs mer
Alla begrepp Uppdaterad