Kontrollér kildernes status før et modelskifte

En vidensassistent beskriver en erstattet arbejdsgang. Før en større model købes, er det værd at spørge, hvilken dokumentversion svaret faktisk modtog. En gyldig instruktion, der aldrig blev leveret, bliver ikke automatisk tilgængelig med en større model.

En gammel instruktion som fælles grundlag

Følgende eksempel er helt hypotetisk. Ingen modeller er kaldt, og ingen svar er målt. Den arkiverede instruktion D-40 kræver en reparationsanmodning som PDF via e-mail. Den gyldige godkendte version D-41 kræver portalformularen.

Antag, at kun det gamle afsnit leveres til spørgsmålet om den aktuelle indsendelsesvej:

Svarene ville passe til den gamle tekst og alligevel være forkerte i det aktuelle forløb. Et kildelink ville ikke rette den forkerte gyldighedsstatus.

En model kunne opdage arkivmærket og afvise at svare. Den ville dog ikke dermed have modtaget den manglende nye instruktion. Tabellen viser mulige fejl, ikke at alle modeller reagerer ens.

Følg gyldigheden gennem kildekæden

Kontroller, hvem der godkender den gyldige version, og hvordan erstattede versioner mærkes. Den nyeste fildato afgør ikke alene, hvilken instruktion der gælder. Anvendelsesområdet skal også passe.

En ændring i dokumentsystemet opdaterer ikke nødvendigvis straks søgeafsnit, gemte svar eller samtaleindhold. Den relevante rolle skal kunne tilgå den gyldige version; gamle kopier kræver en fastlagt behandling.

Derefter kan samme spørgsmål testes med aktuelt, manglende og modstridende grundlag. Kildevalg, kildetrofasthed og tilladt adgang vurderes hver for sig. Modelkvalitet er stadig relevant: en anden model kan fortolke leverede oplysninger bedre. Kildekontrol gør sammenligningen mere meningsfuld uden at overføre en uafklaret dokumentfejl til den.

Kilder

• Microsoft — RAG prompt engineering

• Microsoft — Retrieval-augmented generation in Azure AI Search

• OWASP — RAG Security Cheat Sheet