Skift en AI-model, og afprøv den på samme forløb

Undersøg hele det berørte applikationsforløb ved et modelskift. En ny modelbetegnelse i konfigurationen er ikke tilstrækkelig dokumentation. Brug et eksisterende evalueringssæt, og registrer, hvilken ændring du faktisk sammenligner.

Registrér begge konfigurationer tydeligt

Dokumenter modelbetegnelse, promptversion, tilførte kilder, værktøjer og indstillinger for begge varianter. Hvis input, regler og behandling forbliver ens, kan du undersøge modelskiftet mere målrettet. Skal prompt, adapter eller vurdering også ændres, sammenligner du to applikationskonfigurationer; tilskriv ikke forskellen modellen alene.

Microsoft beskriver sammenligning af gemte varianter med de samme tilfælde og undersøgelse af enkelte fejl. De forventede faglige beslutninger for dit forløb skal være fastlagt før sammenligningen.

Gør forskelle synlige for hvert tilfælde

Følgende eksempel er helt opdigtet. En applikation skal udtrække en projektkode fra en besked eller anmode om manuel kontrol. Den giver ikke projektadgang. Feltnavnene er vores eget interne skema, ikke en udbyders API.

Tabellen indeholder antagne output til forklaring. Det er ikke en udført modeltest. Beskrivelserne erstatter ikke versionsstyrede originalinput i en reel sammenligning.

I det andet tilfælde vælger den nye variant et projekt trods uklarheden. I det tredje bryder den feltkontrakten. En samlet vurdering kan skjule disse forskellige fejlårsager. Formelt gyldige output skal også være fagligt korrekte.

Håndter fejl før videre behandling

OWASP anbefaler at validere modeloutput, før det sendes videre til efterfølgende komponenter. I eksemplet må et manglende obligatorisk felt ikke behandles som en vellykket udtrækning. Applikationen skal afvise outputtet eller sende det til den planlagte kontrol. Et projektfelt giver stadig ikke adgangsret.

Undersøg ud over faglige tilfælde og format også de sprog, der faktisk behøves, udfald og gentagelser. En enkelt kørsel viser ikke en stabil fejlhyppighed. Bruges kendte fejl til at tilpasse den nye variant, kræves yderligere tilbageholdte tilfælde til en uafhængig kontrol.

Planlæg frigivelse og tilbagevenden sammen

Fastlæg før frigivelse, hvilke fejl der forhindrer skiftet, og hvem der vurderer åbne forskelle. I tabellens eksempel skal det forhastede projektvalg fra en uklar besked og det manglende obligatoriske felt først afklares.

Bevar den tidligere applikationskonfiguration og en kontrolleret vej tilbage. Afklar også, om den tidligere model fortsat er tilgængelig, og om gemte data forbliver kompatible. Observer efter skiftet de faktiske resultater i det berørte forløb; tre illustrative tilfælde dokumenterer ikke generel produktionsparathed.

Kilder

• Microsoft — Evaluate models, prompts, and agents

• OWASP 2025 — Improper Output Handling