Offline-AI: hela kedjan i er egen miljö

När de flesta tänker på AI tänker de på en tjänst i webbläsaren. Man skriver en fråga, trycker på enter och får ett svar tillbaka. Det känns enkelt. Men på vägen har frågan lämnat organisationen, och ofta har delar av dokumenten följt med.

För många verksamheter spelar det ingen större roll. För andra är det just där samtalet tar slut. Vården, offentlig sektor och företag med känsliga affärsuppgifter behöver veta var uppgifterna finns och vem som hanterar dem. För dem är en AI där hela kedjan finns i den egna miljön en förutsättning för att alls komma i gång.

Vad offline betyder

När vi säger offline menar vi att ni äger hela kedjan. Programvaran, era dokument och själva språkmodellen körs i er egen miljö. Frågor och utdrag skickas inte till en extern AI-leverantör, om ni inte själva vill det.

Det gäller också det som skyddar miljön. Lösenord och nycklar lagras i er egen installation. Vill ni använda en befintlig tjänst för nycklar går det, men det är inget krav. Miljön kan vara uppkopplad som era andra interna system, och när det krävs kan den också köras helt avskild med air-gap.

Skillnaden mot lösningar som kallas privata kan vara större än den låter. En del håller dokumenten hos er men skickar ändå frågan, och de utdrag som behövs för svaret, till en extern modell. Då lämnar uppgifterna miljön ändå, bara i mindre bitar. När hela kedjan finns hos er stannar frågan, underlaget och svaret i er miljö.

Hur det ser ut i vardagen

Ta en handläggare som behöver veta hur en viss typ av ärende ska hanteras. Hon skriver frågan som hon skulle ha ställt den till en erfaren kollega. Assistenten letar i verksamhetens egna rutiner, hittar de stycken som gäller och formulerar ett svar. Under svaret står vilka dokument det bygger på, så att hon kan öppna dem och läsa själv.

Allt det sker på servrar som ni kontrollerar. För den som använder assistenten märks ingen skillnad. Den svarar lika snabbt och visar sina källor på samma sätt.

Det förenklar också mycket som annars tar tid. När uppgifterna stannar hos er behöver ni inte utreda överföringar till andra länder eller hur en extern leverantör hanterar era frågor. Säkerhetsavdelningen kan granska en installation i stället för en molntjänst med många okända delar.

Vad ni ska fråga efter

Den viktigaste frågan till en leverantör är också den enklaste. Kan hela kedjan köras i er egen miljö, inklusive språkmodellen? Svaret ska vara ja, utan förbehåll om funktioner som bara finns hos en extern tjänst.

Fråga sedan var lösenord och nycklar lagras, och om era uppgifter används för att träna modeller. Svaret på det sista bör vara nej. Fråga hur inloggning och behörigheter fungerar, om det finns en revisionslogg som inte kan ändras i efterhand, och om varje svar visar vilka dokument det bygger på. En AI i er egen miljö som svarar utan källa har bara löst halva problemet.

Tänk också på vem som ska sköta driften. En del vill ha allt hos sig. Andra vill att leverantören sköter en separat installation åt dem. Båda kan vara rätt. Det avgörande är att ni väljer, och att valet inte styrs av vad tekniken klarar.

Så fungerar det i iSearch

I iSearch kan hela kedjan köras i er egen miljö, språkmodellen inräknad. Varje kund får en egen, separat installation, och lösenord och nycklar lagras där. Vill ni hellre att vi sköter driften gör vi det i Sverige, i en egen miljö för er organisation.

Inloggning sker med SSO och MFA, åtkomsten styrs med RBAC och allt som händer skrivs i en manipulationssäker revisionslogg som kan kopplas till er SIEM. Varje svar visar vilka dokument som lästes, och era uppgifter används aldrig för att träna modeller.

Läs mer om säkerheten, se hur iSearch används eller boka en genomgång.