Datakontroll strekker seg utover KI-serveren
Lokal inferens kan avgrense en dataflyt. En portal med ekstern feillogging viser hvorfor også resten av applikasjonen må undersøkes.
En lokalt driftet språkmodell kan gjøre en viktig datagrense mulig. Hvor langt kontrollen rekker, avhenger også av applikasjonen som kaller modellen. Inndata kan nå riktig modellserver og likevel bli lagret et annet sted utenfor det godkjente miljøet.
Et internt modellkall med en ekstra dataflyt
I en fiktiv arkitektur oppsummerer en prosjektportal interne notater gjennom en egen modelltjeneste. Det vanlige kallet holder seg innenfor selskapets miljø. Ved en behandlingsfeil sender applikasjonen derimot hele innholdet i forespørselen til en ekstern feiltjeneste. Modellbehandlingen er fortsatt lokal; notatet har likevel forlatt miljøet gjennom feilforløpet. Dette er et konstruert moteksempel, ikke en observert kundehendelse.
Modellserveren kan ikke alene forhindre denne ekstra overføringen i applikasjonskoden. Overføringen må vurderes ved portalen og feiltjenesten. Et egnet design kan for eksempel registrere en feilkode og en operasjonsreferanse i stedet for notatteksten. Hvilke hendelser som trengs, er fortsatt en egen beslutning; å slå av alle logger ville ikke løse driftsspørsmålet.
Det samme gjelder innenfor miljøet: En lokal modell gjør ikke automatisk et notat synlig bare for det autoriserte prosjektteamet. Applikasjonen må begrense tilgang til inndata og resultater. OWASP behandler eksplisitt sensitive data i sammenheng med hele LLM-applikasjonen og anbefaler prinsippet om minste nødvendige tilgang. En instruks til modellen om ikke å utlevere fortrolige data erstatter ikke denne tilgangskontrollen.
Når lokal drift er et sterkt argument
Hvis forretningsdata ikke skal forlate selskapets godkjente miljø, kan en modelltjeneste som driftes der, støtte nettopp dette kravet. Brukergrensesnitt, tilleggstjenester, logger og sikkerhetskopier må også holde seg innenfor grensen. Denne kontrollen er en konkret fordel når den faktisk er etablert og undersøkt.
Selskapet må da kunne oppdatere modellen og kjøremiljøet, administrere tilganger og gjenopprette tjenesten etter en feil. En administrert tjeneste flytter avtalte driftsoppgaver til leverandøren. Den kan passe for en godkjent dataflyt; betegnelsen sier ikke noe om den konkrete behandlingen og lagringen. Dette gir ingen universell vinner når det gjelder kostnader eller sikkerhet.
Hvilken observasjon endrer vurderingen
For portalen ville en påvist ekstern kopi av notatteksten være grunn til å trekke tilbake påstanden om en helt intern dataflyt. Hvis en undersøkelse derimot viser at vanlige kall og feilforløp holder seg innenfor grensen, og at bare autoriserte roller har tilgang til innholdet, får argumentet for lokal kontroll større vekt. Ollamas FAQ illustrerer allerede skillet mellom lokale funksjoner og skyfunksjoner for dette produktet; å undersøke hele portalen går lenger.
En undersøkelse må først vise om den skisserte arkitekturen oppfyller disse vilkårene.
Kilder
Les videre
Alle artikler
KI og automatisering med ASES
KI-assistenter og automatiserte prosesser