Vad är RAG?
RAG, retrieval-augmented generation, är en metod där AI först hämtar relevanta stycken ur era dokument och sedan formulerar svaret utifrån just dem.
En språkmodell som svarar ur minnet kan bara använda det den lärde sig under träningen. Med RAG får den läsa i ert eget material innan den svarar. Svaret bygger då på gällande dokument i stället för på allmän kunskap.
Arbetet sker i två steg. Först söker systemet fram de stycken som passar frågan. Sedan skriver modellen ett svar utifrån dem och kan visa vilka dokument det kommer från.
Ta en medarbetare som undrar hur en avvikelse ska rapporteras. Med RAG kommer svaret från er egen rutin, med en hänvisning till rätt avsnitt. Ändras rutinen ändras också svaret, utan att modellen behöver tränas om.
Så fungerar det
Innan systemet kan svara läses dokumenten in och delas upp i stycken. Varje stycke indexeras så att det går att hitta på betydelse med vektorsökning, och ofta också på exakta ord. När en fråga kommer jämförs den med styckena, och de som passar bäst skickas med till modellen tillsammans med frågan.
Därför spelar det roll
RAG gör det möjligt att använda en språkmodell på organisationens egen kunskap utan att träna om den. Den kan då svara på frågor om rutiner, avtal och beslut som den aldrig har sett. Behörigheter kan följa med, så att varje användare bara får svar ur dokument som hen har rätt att läsa.
Att tänka på
Sökningen avgör resultatet. Hittar systemet fel stycken blir svaret fel, hur bra modellen än är. Otydliga rubriker, inskannade sidor utan text och flera versioner av samma rutin gör det svårare.
En städning av materialet ger ofta mer än att byta modell. Testa med verkliga frågor från medarbetarna och se vilka stycken som hämtas.
Vad det betyder för er
Med RAG blir svaren så bra som era dokument. Se till att rätt versioner finns med och att gamla tas bort.
Vanliga frågor
Är RAG samma sak som att träna en modell?
Nej. Med RAG ändras inte modellen. Den läser relevanta stycken ur era dokument när frågan ställs, medan modellen vid finjustering tränas vidare.
Hur vet vi att svaret stämmer?
Ett bra RAG-svar visar vilka stycken det bygger på. Med en källhänvisning kan läsaren öppna dokumentet och kontrollera själv.
Vad händer när ett dokument ändras?
Det nya innehållet används så snart dokumentet har lästs in igen. Ingen modell behöver tränas om.
Tar RAG bort risken för felaktiga svar?
Risken blir mindre, eftersom svaret bygger på era dokument. Den försvinner inte helt. Därför ska svaret visa sina källor och assistenten säga till när underlaget saknas.
Källor: Lewis m.fl. 2020 på arXiv
Relaterade begrepp
Läs mer
Alla begrepp Uppdaterad