Vælg testtilfælde til en AI-pilot med klare forventninger

Aftal opgaven og den forventede videresendelse

Et fiktivt softwarefirma planlægger en AI-pilot til supportbeskeder. AI’en skal foreslå en videresendelse: bug, access, review eller out-of-scope. Adgangstildeling, statusændringer og lukning af sager forbliver supportteamets opgaver. Vurderingen handler derfor om forslaget, ikke om en automatisk afsluttet supportydelse.

Fastlæg den forventede beslutning med de fagligt ansvarlige, før modellens output er kendt. Kan de ansvarlige ikke blive enige, skal reglen først afklares. NIST AI RMF anbefaler dokumenterede testforhold og vurdering under forhold, der ligner anvendelsen.

Vælg eksempler med forskellige kontrolformål

Det følgende udvalg er opdigtet. Teksterne illustrerer tilfældene; den virkelige pilot skal registrere godkendte oprindelige input med sprog og herkomst.

Den sidste markering medfører ikke sletning i eksemplet. Udvalget gør forskellige beslutninger synlige; det beviser hverken hyppighed eller tilstrækkelig størrelse af et testdatasæt. Medtag ved senere indsamling også de faktisk nødvendige sprog, inputformer og manglende oplysninger.

Adskil udviklingstilfælde fra den senere kontrol

Eksempler, som teamet bruger til at ændre prompt eller regler for videresendelse, er udviklingstilfælde. Reserver andre tilfælde til en senere kontrol, som ikke tidligere har styret optimeringen. Kopier og tætte omformuleringer af samme oprindelige besked bør ikke fordeles på begge sider som uafhængige beviser.

Google forklarer, hvordan gentagen brug af testdata og dubletter kan skævvride vurderingen i maskinlæring. For promptudvikling følger en praktisk forholdsregel: Kendte eksempler hjælper ved fejlsøgning, men en senere kontrol bør indeholde yderligere ukendte tilfælde. Redigering af en prompt er ikke modeltræning.

Registrér resultater efter tilfælde og fejltype

Noter ved den senere test model-, prompt- og testsætversion samt forventet videresendelse, faktisk output og faglig vurdering. En forventet manuel gennemgang er et passende resultat for et uklart tilfælde. En forhastet entydig placering kan derimod være en fejl.

Rapporter rutinetilfælde, uklare tilfælde og input uden for opgaven særskilt. Bruges en fejl til at tilpasse løsningen, skal det oprindelige fund blive i rapporten; tilfældet bruges derefter til udvikling og kontrol af, om den kendte fejl vender tilbage. En ny uafhængig kontrol kræver flere egnede reserverede eksempler. Tabellen er en begrundet begyndelse på udvælgelsen, ikke en udført test eller et bevis på egnethed til produktion.

Kilder

• NIST · AI Risk Management Framework 1.0

• Google · Dividing the original dataset