Vad är en transformer inom AI?
En transformer är en typ av neuralt nätverk som väger samman hur alla ord i en text hänger ihop, och den ligger till grund för de flesta moderna språkmodeller.
Tekniken beskrevs första gången av forskare 2017. Den bygger på en mekanism som kallas uppmärksamhet. För varje ord bedömer modellen vilka andra ord i texten som är viktigast för att förstå det.
Tidigare modeller läste texten ord för ord i ordning och tappade lätt sammanhanget i långa meningar. En transformer ser hela texten på en gång.
Det har gjort det möjligt att träna mycket större modeller på mycket mer text. Det är en stor del av förklaringen till att språkmodellerna blev så mycket bättre.
Så fungerar det
Texten delas först upp i tokens, och varje token får en lång rad tal som beskriver dess betydelse. I varje lager räknar modellen ut hur mycket varje token ska påverkas av de andra, parallellt för hela texten. Efter många lager bär varje ord med sig sitt sammanhang.
Därför spelar det roll
Transformern förklarar varför språkmodeller förstår en fråga som är formulerad på ett nytt sätt och kan hålla ihop ett långt resonemang. Samma byggsätt används för bild och ljud, vilket har gjort multimodal AI möjlig.
Att tänka på
Uppmärksamheten kostar mer ju längre texten är. Det är en anledning till att kontextfönstret har en gräns och att långa underlag gör svaren långsammare.
Transformern vet heller inte vad som är sant. Den är mycket bra på samband i text, och faktakontrollen behöver komma från underlaget.
Vad det betyder för er
Ni behöver inte kunna tekniken för att använda den. Det viktiga är vad modellen får läsa och hur svaren kan kontrolleras.
Vanliga frågor
Varför är transformern så viktig?
Den gjorde det möjligt att träna modeller effektivt på mycket stora mängder text. De flesta moderna språkmodeller bygger på den.
Var kommer tekniken ifrån?
Den beskrevs första gången i en forskningsartikel från 2017. Sedan dess har den blivit grunden för generativ AI.
Behöver vi förstå tekniken för att använda den?
Nej. För en verksamhet är det viktigare var modellen körs, vilket underlag den svarar ur och hur svaren kan kontrolleras.
Källor: Vaswani m.fl. 2017 på arXiv
Relaterade begrepp
Läs mer
Alla begrepp Uppdaterad