Vad är mänsklig tillsyn av AI?
Mänsklig tillsyn betyder att en människa kan följa, granska och vid behov stoppa eller ändra det som ett AI-system gör.
Ofta kallas det att ha en människa i loopen. AI tar fram ett förslag och en människa avgör vad som händer med det.
AI-förordningen kräver att högrisksystem är utformade så att de kan övervakas av människor. För andra system är det god praxis, särskilt när svaren påverkar beslut.
I praktiken handlar det om att svaren går att kontrollera. Ett utkast som visar sina källor är lätt att granska. Ett svar utan källa måste någon tro på.
Så fungerar det
Tillsyn kan byggas in på olika nivåer. En människa kan godkänna varje förslag innan det används, granska ett urval i efterhand eller få en varning när systemet är osäkert. Det som passar beror på hur stora följderna blir om AI har fel och hur ofta det händer.
Därför spelar det roll
Mänsklig tillsyn gör att ansvaret stannar hos en person som kan stå för beslutet. Den fångar fel innan de får följder och ger signaler om var systemet behöver förbättras. Den gör det också lättare att visa för andra att AI används på ett ansvarsfullt sätt.
Att tänka på
Det finns en risk att granskningen blir slentrian när AI oftast har rätt. Den som granskar börjar lita på förslaget och slutar kontrollera. Det kallas ibland automationsbias.
Gör det därför enkelt att granska. Visa källor, markera osäkerhet och följ upp hur ofta förslag faktiskt ändras.
Vad det betyder för er
Bestäm vilka AI-svar som får användas direkt och vilka som alltid ska granskas av en människa först.
Vanliga frågor
När krävs mänsklig tillsyn?
AI-förordningen kräver det för högrisk-AI. För andra system är det god praxis, särskilt när svaren påverkar beslut om människor.
Räcker det att någon läser svaret?
Bara om personen har tid, kunskap och mandat att ändra eller stoppa det. Annars blir granskningen en formalitet.
Hur blir tillsynen praktisk?
Låt svaren visa sina källor, så går granskningen snabbt. Bestäm i förväg vilka svar som alltid ska kontrolleras.
Källor: AI-förordningen, artikel 14, på EUR-Lex
Relaterade begrepp
Läs mer
Alla begrepp Uppdaterad