Vad är ett kontextfönster?
Kontextfönstret är den mängd text som en språkmodell kan ta hänsyn till på en gång, räknat i tokens.
Allt modellen ska använda för ett svar måste få plats i kontextfönstret. Det gäller frågan, tidigare meddelanden i samtalet och de dokument den får läsa.
Ett stort kontextfönster gör det möjligt att läsa långa texter. Det betyder inte att hela er dokumentsamling får plats. En organisation har ofta långt fler dokument än vad som ryms.
Därför väljer system som svarar ur egna dokument ut de stycken som passar frågan. Det håller svaren fokuserade och gör det tydligt vilken källa de bygger på.
Så fungerar det
Kontextfönstret fylls på från flera håll. Instruktionen i bakgrunden, samtalet hittills, de hämtade dokumenten och själva frågan. Även svaret som modellen skriver räknas in. När fönstret är fullt måste något väljas bort, och det är tjänsten som bestämmer vad.
Därför spelar det roll
Storleken avgör vad som går att göra i ett enda steg. Att jämföra två långa avtal kräver plats för båda. Att svara på en fråga ur en hel dokumentsamling kräver i stället att rätt stycken väljs ut. För en organisation är det oftast urvalet som avgör kvaliteten.
Att tänka på
Modeller tar inte alltid hänsyn till all text lika väl. Det som står mitt i ett mycket långt underlag kan få mindre vikt än det som står i början eller slutet.
Ett större fönster gör också varje fråga dyrare och långsammare. Fyll det med det som hör till frågan.
Vad det betyder för er
Fråga hur en AI-tjänst väljer vad den läser när ni har många dokument. Svaret säger mycket om hur träffsäker den blir.
Vanliga frågor
Vad händer när texten inte får plats?
Det som inte får plats kan modellen inte ta hänsyn till. I långa samtal kan tidiga delar falla bort, och ett långt dokument kan behöva delas upp.
Behöver vi ett stort kontextfönster för att söka i alla våra dokument?
Nej. Med RAG hämtas bara de stycken som behövs för frågan. Kontextfönstret behöver bara rymma dem.
Blir svaren bättre med mer text?
Inte alltid. Text som inte hör till frågan kan göra svaret sämre. Några relevanta stycken ger oftast bättre resultat.
Relaterade begrepp
Läs mer
Alla begrepp Uppdaterad