Velg testtilfeller for en KI-pilot med klare forventninger

Avtal oppgaven og forventet videresending

Et fiktivt programvareselskap planlegger en KI-pilot for supportmeldinger. KI-en skal foreslå en videresending: bug, access, review eller out-of-scope. Tilgangstildeling, statusendringer og lukking av saker forblir supportteamets oppgaver. Vurderingen gjelder derfor forslaget, ikke en automatisk fullført supporttjeneste.

Fastsett forventet beslutning med de fagansvarlige før modellens utdata er kjent. Hvis de ansvarlige ikke blir enige, må regelen først avklares. NIST AI RMF anbefaler dokumenterte testforhold og vurdering under forhold som ligner bruken.

Velg eksempler med ulike kontrollformål

Utvalget nedenfor er oppdiktet. Tekstene illustrerer tilfellene; den virkelige piloten skal registrere godkjente opprinnelige inndata med språk og opphav.

Den siste merkingen fører ikke til sletting i eksemplet. Utvalget synliggjør ulike beslutninger; det beviser verken hyppighet eller tilstrekkelig størrelse på et testdatasett. Ta ved senere innsamling også med språk, inndataformer og manglende opplysninger som faktisk trengs.

Skill utviklingstilfeller fra den senere kontrollen

Eksempler teamet bruker til å endre prompt eller videresendingsregler er utviklingstilfeller. Reserver andre tilfeller til en senere kontroll som ikke tidligere har styrt optimaliseringen. Kopier og nære omformuleringer av samme opprinnelige melding bør ikke fordeles på begge sider som uavhengige bevis.

Google forklarer hvordan gjentatt bruk av testdata og duplikater kan gi et skjevt bilde ved evaluering i maskinlæring. For promptutvikling følger en praktisk forholdsregel: Kjente eksempler hjelper feilsøking, men en senere kontroll bør inneholde flere ukjente tilfeller. Å redigere en prompt er ikke modelltrening.

Dokumenter resultater etter tilfelle og feiltype

Noter ved den senere testen modell-, prompt- og testsettversjon, forventet videresending, faktiske utdata og fagpersonenes vurdering. Forventet manuell gjennomgang er et passende resultat for et uklart tilfelle. En forhastet entydig plassering kan derimot være en feil.

Rapporter rutinetilfeller, uklare tilfeller og inndata utenfor oppgaven hver for seg. Brukes en feil til å tilpasse løsningen, skal det opprinnelige funnet bli stående i rapporten; tilfellet brukes deretter til utvikling og kontroll av om den kjente feilen kommer tilbake. En ny uavhengig kontroll krever flere egnede reserverte eksempler. Tabellen er en begrunnet begynnelse på utvalget, ikke en utført test eller et bevis på egnethet i produksjon.

Kilder

• NIST · AI Risk Management Framework 1.0

• Google · Dividing the original dataset