En AI-demo viser adfærd under udvalgte forhold
En demo hjælper med at vurdere en idé. Ved senere anvendelse tæller også de tilfælde, som mangler i præsentationen.
Se på udvalget før resultatet
En vellykket AI-præsentation kan vise, at en opgave fungerer under de viste forhold. For at udtale sig om senere drift skal teamet også undersøge, hvilke input, uklarheder og grænser der var dækket. NIST AI RMF anbefaler at dokumentere præstation under forhold tæt på anvendelsen og grænser for generalisering.
I en supportpilot må der eksempelvis skelnes mellem klare fejlmeldinger og tilfælde med blandede ønsker. En klar formulering kræver en anden beslutning end en besked, hvis betydning først skal afklares. Et godt resultat på den ene type besvarer ikke spørgsmålet om den anden.
Sammenlign to lister med forskellige formål
Et fiktivt softwarefirma sammenholder to planlagte udvalg. Klare beskeder i demoen skal gøre forløbet forståeligt. Det senere vurderingssæt indeholder bevidst yderligere vanskeligheder.
Type tilfælde | Demoudvalg | Planlagt vurderingssæt |
|---|---|---|
Tydeligt beskrevet softwarefejl | 8 | 16 |
Entydigt adgangsønske | 4 | 14 |
Uklar eller blandet besked | 0 | 12 |
Besked uden for opgaven | 0 | 8 |
Summerne er 12 og 50. Tallene beskriver vores opdigtede udvalg; succesrater og hyppigheder i driften skal måles særskilt. De tomme grupper i demoen synliggør de spørgsmål, som præsentationen lader stå åbne.
Også det større sæt er sammensat til et bestemt formål. Når svære tilfælde bevidst medtages, afspejler deres andel ikke automatisk den daglige tilgang. Det er nyttigt ved fejlsøgning. En vurdering af fejlandelen i driften kræver, at udvælgelse og analyse følger den faktiske fordeling.
Brug demoen til den rette beslutning
Skal teamet først forstå et snævert afgrænset forløb og dets grænseflade, kan en demo være en nyttig afprøvning af gennemførligheden. Hvis kun klart definerede input hører til det første omfang, behøver præsentationen ikke allerede dække alle tænkelige senere udvidelser. Næste anvendelsestrin må da respektere den afgrænsning.
Eksempler, der løbende bruges til at forbedre prompts, hjælper senere med at genkende kendte fejl, der vender tilbage. En uafhængig vurdering af nye tilfælde kræver supplerende reserverede eksempler. Google beskriver, hvordan gentagne beslutninger ud fra samme testdata svækker deres udsagnskraft i maskinlæring. Overført til promptvalg forbliver demoen nyttig, men dens kendte tilfælde fungerer ikke samtidig som en uafhængig slutkontrol.
Kilder
Læs videre
Alle artikler
AI & automatisering med ASES
AI-assistenter og automatiserede arbejdsgange