Knytt en kunnskapsassistent til tillatte kilder

En intern kunnskapsassistent skal svare ut fra kilder som personen som spør, har tilgang til. En felles dokumentmappe og en instruks om fortrolighet er ikke nok.

Følgende eksempel er helt hypotetisk. Dokumenter, roller, kunde og pakkenavn er oppdiktet. Verken modeller eller kundesystemer er testet.

Definer kilder og grenser for slutninger

Den felles katalogen D-31 beskriver pakker, men tildeler dem ikke til kunder. Den godkjente kundeposten D-32 tildeler pakken Plus til K-17.

Begge roller stiller samme spørsmål:

Hvilket tjenesteomfang er avtalt for kunde K-17?

Dette er forventede eksempelsvar:

• Serviceteam: «De tilgjengelige godkjente kildene gir ikke grunnlag for å fastslå det avtalte omfanget. Kontakt kontraktsadministrasjonen.»

• Kontraktsadministrasjon: «Pakken Plus er avtalt for kunde K-17. Kilde: D-32.»

Det første svaret røper verken identifikatoren eller at en beskyttet kilde finnes. Katalogen beviser ingen bestemt kundeavtale. Det andre krever en kilde personen faktisk kan åpne, og som støtter utsagnet.

Avgrens materialet før svaret

Applikasjonen må kontrollere tillatt innhold før det sendes til modellen. Deles dokumenter i tekstavsnitt, må tilgangsreglene følge med. Søkeforhåndsvisninger, lagrede svar og tidligere samtaleinnhold hører også til utformingen.

Å be modellen etterpå skjule hemmelige avsnitt erstatter ikke grensen. Stor likhet med spørsmålet beviser heller ikke leserett.

Utled kontroller fra eksemplet

Planlegg minst disse tilfellene for den tenkte versjonen:

• Den autoriserte rollen får den underbygde tildelingen og en tilgjengelig kilde.

• Oppfølgingsspørsmål gir ikke den begrensede rollen beskyttet innhold eller hint om beskyttede kilder.

• Etter tilbakekalling gjør en tidligere autorisert samtale eller cache ikke beskyttede svar tilgjengelige igjen.

• En skjult instruks i dokumentet blir ikke assistentens arbeidsinstruks.

Noter forventninger, tillatt kildeområde og resultater slik at de kan etterprøves. Rått fortrolig innhold skal ikke rutinemessig logges. Først sammenligning med faktiske resultater viser om utformingen virker. Kildeplanen alene er ingen fullstendig sikkerhetsdokumentasjon.

Kilder

• OWASP — RAG Security Cheat Sheet

• Microsoft — RAG prompt engineering