En KI-demo viser atferd under utvalgte forhold
En demo hjelper med å vurdere en idé. Ved senere bruk teller også tilfellene som mangler i presentasjonen.
Se på utvalget før resultatet
En vellykket KI-presentasjon kan vise at en oppgave fungerer under de demonstrerte forholdene. For å uttale seg om senere drift må teamet også undersøke hvilke inndata, uklarheter og grenser som ble dekket. NIST AI RMF anbefaler dokumentasjon av både ytelse under forhold som ligner den planlagte bruken, og grensene for generalisering.
I en supportpilot må man for eksempel skille mellom tydelige feilmeldinger og tilfeller med blandede ønsker. En klar formulering krever en annen beslutning enn en melding der betydningen først må avklares. Et godt resultat på den ene typen besvarer ikke spørsmålet om den andre.
Sammenlign to lister med ulike formål
Et fiktivt programvareselskap sammenholder to planlagte utvalg. Tydelige meldinger i demoen skal gjøre forløpet forståelig. Det senere vurderingssettet inneholder bevisst flere vanskeligheter.
Type tilfelle | Demoutvalg | Planlagt vurderingssett |
|---|---|---|
Tydelig beskrevet programvarefeil | 8 | 16 |
Entydig tilgangsønske | 4 | 14 |
Uklar eller blandet melding | 0 | 12 |
Melding utenfor oppgaven | 0 | 8 |
Summene er 12 og 50. Tallene beskriver vårt oppdiktede utvalg; suksessrater og hyppigheter i driften må måles separat. De tomme gruppene i demoen synliggjør spørsmålene som presentasjonen lar stå åpne.
Også det større settet er satt sammen for et bestemt formål. Når vanskelige tilfeller tas med bevisst, gjenspeiler ikke andelen deres automatisk den daglige strømmen av meldinger. Det er nyttig ved feilsøking. Et anslag på feilandelen i drift krever at utvalg og analyse følger den faktiske fordelingen.
Bruk demoen til riktig beslutning
Skal teamet først forstå et snevert avgrenset forløp og grensesnittet, kan en demo være en nyttig gjennomførbarhetsprøve. Hvis bare tydelig definerte inndata inngår i det første omfanget, trenger presentasjonen ikke allerede dekke alle tenkelige senere utvidelser. Neste brukstrinn må da respektere den avgrensningen.
Eksempler som stadig brukes til å forbedre prompter, hjelper senere med å gjenkjenne kjente feil som kommer tilbake. En uavhengig vurdering av nye tilfeller krever flere reserverte eksempler. Google beskriver hvordan gjentatte beslutninger basert på samme testdata endrer deres bevisverdi i maskinlæring. Overført til promptvalg forblir demoen nyttig, men dens kjente tilfeller fungerer ikke samtidig som en uavhengig sluttkontroll.
Kilder
Les videre
Alle artikler
KI og automatisering med ASES
KI-assistenter og automatiserte prosesser