Kontroller om kildene er oppdaterte før et modellbytte

En kunnskapsassistent beskriver en erstattet arbeidsflyt. Før en større modell kjøpes, er det verdt å spørre hvilken dokumentversjon svaret faktisk mottok. En gyldig instruks som aldri ble levert, blir ikke automatisk tilgjengelig gjennom en større modell.

En gammel instruks som felles grunnlag

Følgende eksempel er helt hypotetisk. Ingen modeller er kalt, og ingen svar er målt. Den arkiverte instruksen D-40 krever en reparasjonsforespørsel som PDF via e-post. Den gyldige godkjente versjonen D-41 krever portalskjemaet.

Anta at bare det gamle avsnittet leveres til spørsmålet om dagens innsendingsvei:

Svarene ville passe til den gamle teksten og likevel være feil for dagens prosess. En kildelenke ville ikke rette den gale gyldighetsstatusen.

En modell kan oppdage arkivmerket og avvise å svare. Den har likevel ikke fått den manglende nye instruksen. Tabellen viser mulige feil, ikke at alle modeller reagerer likt.

Følg gyldigheten gjennom kildekjeden

Kontroller hvem som godkjenner gyldig versjon og hvordan erstattede versjoner merkes. Den nyeste fildatoen avgjør ikke alene hvilken instruks som gjelder. Også bruksområdet må passe.

En endring i dokumentsystemet oppdaterer ikke nødvendigvis straks søkeavsnitt, lagrede svar eller samtaleinnhold. Den aktuelle rollen må kunne nå gyldig versjon; gamle kopier trenger en definert behandling.

Deretter kan samme spørsmål testes med oppdatert, manglende og motstridende grunnlag. Kildevalg, kildetrofasthet og tillatt tilgang vurderes hver for seg. Modellkvalitet er fortsatt relevant: en annen modell kan tolke leverte opplysninger bedre. Kildekontroll gjør sammenligningen mer meningsfull uten å ta med en uavklart dokumentfeil.

Kilder

• Microsoft — RAG prompt engineering

• Microsoft — Retrieval-augmented generation in Azure AI Search

• OWASP — RAG Security Cheat Sheet