Vad är en token?
En token är den minsta textbit som en språkmodell läser och skriver, ofta ett kort ord eller en del av ett längre ord.
Språkmodeller delar upp texten i mindre bitar som kallas tokens. Ett vanligt ord kan vara en token, medan ett långt eller ovanligt ord delas i flera.
Tokens används som mått på hur mycket text en modell hanterar. Hur mycket den kan läsa på en gång anges i tokens, och många publika AI-tjänster tar betalt per token.
Svenska ord är ofta långa och sammansatta. De kan därför ta fler tokens än motsvarande engelska text.
Så fungerar det
Uppdelningen följer en fast ordlista som bestämdes när modellen byggdes. Vanliga ord och ordbitar har egna tokens, och ovanliga ord byggs ihop av flera mindre delar. Siffror, skiljetecken och mellanslag räknas också. Modellen läser och skriver i tokens och gör om dem till vanlig text på vägen ut.
Därför spelar det roll
Tokens påverkar tre saker i praktiken. Hur långa dokument modellen kan läsa på en gång, hur lång tid ett svar tar och vad det kostar när en tjänst tar betalt per användning. Priset gäller ofta både texten som skickas in och texten som kommer tillbaka.
Att tänka på
Samma text blir olika många tokens i olika modeller, eftersom de delar upp texten på olika sätt. Ett pris per token säger därför inte allt. Prova med typiska dokument från er verksamhet och se vad det faktiskt kostar.
Ett långt samtal blir långsammare och dyrare för varje fråga, eftersom tidigare frågor och svar ofta skickas med igen. Att börja ett nytt samtal när ämnet byts kan ge både snabbare och bättre svar.
Vad det betyder för er
Fråga hur priset räknas om en tjänst debiterar per användning. Långa dokument kan göra stor skillnad.
Vanliga frågor
Varför räknas text i tokens?
Språkmodellen delar upp text i mindre bitar som den räknar med. Både hur mycket den kan läsa på en gång och vad användningen kostar mäts ofta i tokens.
Hur mycket text är en token?
Det varierar. Korta vanliga ord är ofta en token, medan långa sammansatta ord delas upp i flera. Svensk text blir därför ofta fler tokens än motsvarande engelska.
Påverkar tokens vad vi betalar?
Ofta, för tjänster som tar betalt per användning. Med en egen installation styrs kostnaden i stället av den egna driften.
Relaterade begrepp
Läs mer
Alla begrepp Uppdaterad