Vælg AI-drift: kortlæg dataflowet før modelvalget
Et gennemarbejdet portaleksempel sammenligner dataflow, logfiler og driftsopgaver for en egen modelserver og en administreret cloudtjeneste.

Vælg AI-drift til en konkret arbejdsgang. En model på egen server og en administreret modeltjeneste er forskellige med hensyn til behandling og drift. Hvilken løsning der passer, viser sig først, når hele vejen fra input til gemt resultat er kendt.
Fastlæg opgaven og datagrænsen
En fiktiv softwarevirksomhed vil sammenfatte interne noter i sin projektportal. En person må kun læse noter fra det projekt, vedkommende har adgang til, og kontrollerer udkastet, før det gemmes. Modellen får ikke til opgave at sende beskeder eller ændre projektrettigheder.
For eksempelprojektet P-72 gælder en intern regel: Ubehandlede kundenoter må ikke sendes til eksterne behandlingstjenester. Det er en forudsætning i eksemplet. Den erstatter ikke en vurdering af din virksomheds faktiske data og krav.
Sammenlign hele dataflowet
Tabellen beskriver planlagte forløb, ikke en afprøvet installation. “Egen modelserver” betyder her en server, som virksomheden driver i det godkendte miljø. En lejet server kan også drives af virksomheden selv; det skal afklares særskilt, om den kan indgå i det godkendte miljø. Placeringen alene beskriver ikke opgavefordelingen.
Trin | Egen modelserver | Administreret modeltjeneste |
|---|---|---|
Input | Portalen kontrollerer projektadgang og læser den valgte note. | Portalen kontrollerer samme adgang og læser samme note. |
Noten går til den interne modeltjeneste. | Noten ville gå til udbyderen; blokeret af eksemplets regel. | |
Logfiler | Kontroller portal, proxy og fejltjeneste for tekstkopier. | Afklar også behandling og logning hos udbyderen. |
Nedbrud | Personen sammenfatter manuelt; intet eksternt reservekald. | Personen sammenfatter manuelt; intet skift til en tjeneste, der ikke er vurderet. |
Den planlagte driftslog indeholder eksempelvis requestId og status, ikke hele noten eller modellens svar. Disse egne eksempelattributter udgør ikke en fuldstændig sikkerhedslog. Fejlhåndtering, eksport til support og sikkerhedskopier skal også overholde den fastlagte datagrænse.
Kontrollér det anvendte afviklingsmiljø
Ollamas FAQ skelner eksempelvis mellem lokal behandling og cloudmodeller og beskriver deaktivering af cloudfunktioner. Det gælder det pågældende afviklingsmiljø. En brugergrænseflade, en udvidelse eller en separat fejltjeneste kan have yderligere forbindelser. Navnet på det installerede program dokumenterer derfor ikke hele dataflowet.
Undersøg i en godkendt pilotopstilling de anvendte destinationer, indholdet af de dannede logfiler og forløbet ved nedbrud. En liste over netværksdestinationer dokumenterer hverken indholdet af krypterede overførsler eller opbevaringen hos udbyderen. For en ekstern tjeneste skal du også have konkrete oplysninger om dens behandling og opbevaring; en generel cloududtalelse er ikke nok.
Vurdér drift og egnethed sammen
Ved egen modelserver skal teamet have ansvarlige for opdatering, adgang, kapacitet, overvågning og gendannelse. Ved en modeltjeneste overtager udbyderen den aftalte modeldrift; portalrettigheder, integration og egne logfiler er fortsat dit teams opgaver. Sammenlign først begge med de samme syntetiske input og forventede resultater. Det godkender ikke behandling af rigtige kundenoter. Kvalitet og ventetider ved den nødvendige belastning fastlægges i piloten og udledes ikke af placeringen.
Under eksemplets regel er det eksterne modelkald endnu ikke godkendt. Egen server er en mulighed, når dataflow, resultatkvalitet og drift er kontrolleret. Hvis der mangler et ansvarligt driftsteam, er den løsning heller ikke klar til brug. En anden dataklasse eller godkendelse af et konkret eksternt dataflow kan ændre beslutningen.
Kilder
Læs videre
Alle artikler






AI & automatisering med ASES
AI-assistenter og automatiserede arbejdsgange



