Vad är red teaming?
Red teaming är när en grupp medvetet angriper ett system på samma sätt som en motståndare skulle göra, för att hitta svagheterna innan någon annan gör det.
Metoden kommer från försvar och säkerhetsarbete. Ett rött lag spelar angripare och ett blått lag försvarar, och båda lär sig av utfallet.
För AI handlar det om att pröva hur en modell eller ett AI-system reagerar på försök att lura det. Testarna försöker få modellen att bryta mot sina regler, avslöja uppgifter eller utföra handlingar den inte borde.
AI-förordningen kräver att leverantörer av AI-modeller för allmänna ändamål med systemrisk genomför och dokumenterar adversariella tester. NIST redovisade i mars 2026 en stor offentlig tävling där deltagarna försökte kapa AI-agenter.
Så fungerar det
Ett test börjar med frågan om vad som vore allvarligt. Det kan vara att assistenten återger uppgifter från fel avdelning eller att en agent skickar något utanför organisationen. Testarna försöker sedan nå just det, med allt från enkla frågor till dolda instruktioner i dokument.
Resultaten dokumenteras och åtgärdas. Sedan testas systemet igen, eftersom en ändring kan öppna nya vägar.
Därför spelar det roll
Det som fungerar i en demonstration kan bete sig annorlunda när någon aktivt försöker lura det. Red teaming visar var gränserna faktiskt går och ger underlag för att sätta rätt skydd runt en AI-agent.
Att tänka på
Testa hela kedjan, med behörigheter, verktyg och de dokument modellen läser. Många svagheter finns i kopplingarna runt modellen.
Låt testerna omfatta promptinjektion, som hör till de risker som är svårast att stänga helt.
Vad det betyder för er
Pröva era AI-verktyg med de uppgifter och dokument ni faktiskt använder. Det ger en mer realistisk bild än allmänna tester.
Vanliga frågor
Är red teaming samma sak som ett penetrationstest?
De liknar varandra. Ett penetrationstest letar ofta efter tekniska sårbarheter, medan red teaming efterliknar en motståndare och kan använda de vägar en angripare skulle välja.
Behöver vi göra red teaming själva?
Det beror på hur ni använder AI. För en agent som kan utföra handlingar i era system är det värt att testa med era egna uppgifter. Läs mer om AI-agenter.
Källor: NIST om red teamNIST om tävlingen med AI-agenter (2026)Förordning (EU) 2024/1689 på EUR-Lex
Relaterade begrepp
Läs mer
Alla begrepp Uppdaterad