Forbind en vidensassistent med tilladte kilder

En intern vidensassistent skal svare ud fra kilder, som den spørgende person må tilgå. En fælles dokumentmappe og en fortrolighedsinstruktion er ikke nok.

Følgende eksempel er helt hypotetisk. Dokumenter, roller, kunde og pakkenavne er opdigtede. Der er hverken testet modeller eller kundesystemer.

Fastlæg kilder og grænser for konklusioner

Det fælles katalog D-31 beskriver pakker, men tildeler dem ikke til kunder. Den godkendte kundepost D-32 tildeler pakken Plus til K-17.

Begge roller stiller samme spørgsmål:

Hvilket serviceomfang er aftalt for kunde K-17?

Dette er forventede eksempelsvar:

• Serviceteam: »De tilgængelige godkendte kilder giver ikke grundlag for at fastslå det aftalte omfang. Kontakt kontraktadministrationen.«

• Kontraktadministration: »Pakken Plus er aftalt for kunde K-17. Kilde: D-32.«

Første svar røber hverken identifikator eller eksistensen af en beskyttet kilde. Kataloget beviser ikke en bestemt kundeaftale. Andet svar kræver en kilde, personen faktisk må åbne, og som understøtter udsagnet.

Afgræns materialet før svaret

Applikationen skal kontrollere tilladt indhold, før det sendes til modellen. Deles dokumenter i tekstafsnit, skal adgangsregler følge med. Søgevisninger, gemte svar og tidligere samtaleindhold hører også til designet.

At bede modellen bagefter om at skjule hemmelige afsnit erstatter ikke grænsen. Stor lighed med spørgsmålet beviser heller ikke læseret.

Udled kontroller fra eksemplet

Planlæg mindst disse tilfælde for den tænkte version:

• Den berettigede rolle får den underbyggede tildeling og en tilgængelig kilde.

• Opfølgende spørgsmål giver ikke den begrænsede rolle beskyttet indhold eller oplysninger om beskyttede kilder.

• Efter rettighedstab gør en tidligere berettiget samtale eller cache ikke beskyttede svar tilgængelige igen.

• En skjult instruktion i dokumentet bliver ikke assistentens arbejdsinstruktion.

Noter forventninger, tilladt kildeområde og resultater, så de kan følges. Råt fortroligt indhold skal ikke rutinemæssigt logges. Først sammenligning med faktiske resultater viser, om designet virker. Kildeplanen alene er ikke en fuld sikkerhedsdokumentation.

Kilder

• OWASP — RAG Security Cheat Sheet

• Microsoft — RAG prompt engineering