Vad är inferens inom AI?
Inferens är när en färdigtränad AI-modell används för att ta fram ett svar, till skillnad från när den tränas.
Träning sker en gång, eller med långa mellanrum, och kräver enorma resurser. Inferens sker varje gång någon ställer en fråga.
Varje svar kräver beräkningskraft. Var den finns avgör var era frågor behandlas. Hos en publik AI-tjänst sker det på leverantörens servrar, i en egen installation sker det hos er.
Hur snabbt svaret kommer och vad det kostar beror främst på inferensen. Det gäller både molntjänster och egen drift.
Så fungerar det
Vid inferens läser modellen frågan och underlaget och räknar fram svaret en token i taget. Varje ny token kräver en beräkning genom hela modellen. Därför tar långa svar längre tid, och större modeller kräver mer minne och snabbare hårdvara.
Ett exempel. En handläggare frågar vad som gäller för ett visst bidrag. Systemet hämtar rätt avsnitt ur riktlinjerna, modellen läser dem och skriver svaret. Allt det är inferens, och det sker medan handläggaren väntar.
Därför spelar det roll
Det är inferensen som avgör hur AI fungerar i vardagen. Svarstid, kostnad och var uppgifterna behandlas bestäms här. För en organisation med höga krav på sekretess är det ofta avgörande att inferensen kan ske i egen miljö, med lokal AI som kan köras helt utan internet.
Att tänka på
Kostnaden växer med användningen. Ett försök med ett fåtal användare säger lite om läget när alla använder tjänsten. Räkna på ett realistiskt antal frågor och dokument, och fråga hur svarstiden påverkas när många frågar samtidigt.
Vad det betyder för er
Fråga var inferensen sker. Det är där era frågor och dokument faktiskt behandlas.
Vanliga frågor
Varför spelar inferens roll för oss?
Inferens sker varje gång någon ställer en fråga. Var den körs avgör var frågan och underlaget behandlas.
Kräver inferens kraftfull hårdvara?
Mindre än träning. Stora modeller behöver ofta grafikprocessorer för att svara snabbt, medan mindre modeller kan köras på enklare servrar.
Relaterade begrepp
Läs mer
Alla begrepp Uppdaterad