Bytt KI-modell og test i det samme forløpet

Undersøk hele det berørte applikasjonsforløpet ved et modellbytte. En ny modellbetegnelse i konfigurasjonen er ikke tilstrekkelig dokumentasjon. Bruk et eksisterende evalueringssett, og registrer hvilken endring du faktisk sammenligner.

Registrer begge konfigurasjonene tydelig

Dokumenter modellbetegnelse, promptversjon, oppgitte kilder, verktøy og innstillinger for begge variantene. Hvis inndata, regler og behandling forblir like, kan du undersøke modellbyttet mer målrettet. Må også prompt, adapter eller vurdering endres, sammenligner du to applikasjonskonfigurasjoner; ikke tilskriv forskjellen modellen alene.

Microsoft beskriver sammenligning av lagrede varianter med de samme tilfellene og gjennomgang av enkeltfeil. De forventede forretningsbeslutningene for forløpet ditt må være fastlagt før sammenligningen.

Gjør forskjellene synlige for hvert tilfelle

Følgende eksempel er helt oppdiktet. En applikasjon skal trekke ut en prosjektkode fra en melding eller be om manuell kontroll. Den gir ikke prosjekttilgang. Feltnavnene er vårt eget interne skjema, ikke en leverandørs API.

Tabellen inneholder antatte utdata som forklaring. Det er ikke en utført modelltest. Beskrivelsene erstatter ikke versjonsstyrte originalinndata i en reell sammenligning.

I det andre tilfellet velger den nye varianten et prosjekt til tross for uklarheten. I det tredje bryter den feltkontrakten. En samlet vurdering kan skjule disse ulike feilårsakene. Formelt gyldige utdata må også være innholdsmessig korrekte.

Håndter feil før videre behandling

OWASP anbefaler å validere modellutdata før de sendes videre til etterfølgende komponenter. I eksemplet må et manglende obligatorisk felt ikke behandles som vellykket uttrekking. Applikasjonen må avvise utdataene eller sende dem til den planlagte kontrollen. Et prosjektfelt gir fortsatt ingen tilgangsrett.

Undersøk i tillegg til innhold og format også språkene som faktisk trengs, avbrudd og nye forsøk. Én kjøring viser ikke en stabil feilhyppighet. Brukes kjente feil til å tilpasse den nye varianten, kreves flere tilbakeholdte tilfeller til en uavhengig kontroll.

Planlegg produksjonssetting og tilbakevending sammen

Bestem før produksjonssetting hvilke feil som hindrer byttet, og hvem som vurderer åpne forskjeller. I tabelleksemplet må først det forhastede prosjektvalget fra en uklar melding og det manglende obligatoriske feltet avklares.

Behold den tidligere applikasjonskonfigurasjonen og en kontrollert vei tilbake. Avklar også om den tidligere modellen fortsatt er tilgjengelig, og om lagrede data forblir kompatible. Observer etter byttet de faktiske resultatene i det berørte forløpet; tre illustrative tilfeller dokumenterer ikke generell produksjonsklarhet.

Kilder

• Microsoft — Evaluate models, prompts, and agents

• OWASP 2025 — Improper Output Handling