Datakontrol rækker ud over AI-serveren
Lokal inferens kan afgrænse et dataflow. En portal med ekstern fejllogning viser, hvorfor resten af applikationen også skal undersøges.
En lokalt drevet sprogmodel kan gøre en vigtig datagrænse mulig. Hvor langt kontrollen rækker, afhænger også af den applikation, der kalder modellen. Input kan nå den rigtige modelserver og alligevel blive gemt et andet sted uden for det godkendte miljø.
Et internt modelkald med endnu et dataflow
I en fiktiv arkitektur sammenfatter en projektportal interne noter via sin egen modeltjeneste. Det normale kald bliver inden for virksomhedens miljø. Ved en behandlingsfejl sender applikationen imidlertid hele forespørgslens indhold til en ekstern fejltjeneste. Modelbehandlingen er stadig lokal; noten har alligevel forladt miljøet via fejlforløbet. Det er et konstrueret modeksempel, ikke en observeret kundehændelse.
Modelserveren kan ikke alene forhindre denne ekstra overførsel i applikationskoden. Overførslen skal vurderes ved portalen og fejltjenesten. Et passende design kan eksempelvis registrere en fejlkode og en handlingsreference i stedet for notens tekst. Hvilke hændelser der er nødvendige, er stadig en særskilt beslutning; at slå alle logfiler fra ville ikke løse driftsspørgsmålet.
Det samme gælder inden for miljøet: En lokal model gør ikke automatisk en note synlig alene for det godkendte projektteam. Applikationen skal begrænse adgang til input og resultater. OWASP behandler udtrykkeligt følsomme data i sammenhæng med hele LLM-applikationen og anbefaler adgang efter princippet om færrest nødvendige rettigheder. En instruktion til modellen om ikke at udlevere fortrolige data erstatter ikke denne adgangskontrol.
Når lokal drift er et stærkt argument
Hvis forretningsdata ikke må forlade virksomhedens godkendte miljø, kan en modeltjeneste drevet dér understøtte netop det krav. Brugergrænseflade, tillægstjenester, logfiler og sikkerhedskopier skal også overholde grænsen. Denne kontrol er en konkret fordel, når den faktisk er etableret og undersøgt.
Virksomheden skal til gengæld kunne opdatere model og afviklingsmiljø, administrere adgang og gendanne tjenesten efter en fejl. En administreret tjeneste flytter aftalte driftsopgaver til udbyderen. Den kan passe til et godkendt dataflow; betegnelsen siger ikke noget om den konkrete behandling og opbevaring. Det giver ingen universel vinder på pris eller sikkerhed.
Hvilken observation ændrer vurderingen
For portalen ville en påvist ekstern kopi af notens tekst være grund til at trække påstanden om et fuldstændigt internt dataflow tilbage. Hvis en undersøgelse derimod viser, at normale kald og fejlforløb bliver inden for grænsen, og kun godkendte roller har adgang til indholdet, får argumentet for lokal kontrol større vægt. Ollamas FAQ illustrerer allerede forskellen mellem lokale funktioner og cloudfunktioner for det produkt; en undersøgelse af hele portalen går videre.
En undersøgelse skal først vise, om den skitserede arkitektur opfylder disse betingelser.
Kilder
Læs videre
Alle artikler
AI & automatisering med ASES
AI-assistenter og automatiserede arbejdsgange