En AI-demo visar beteende under utvalda förhållanden
En demo hjälper till att bedöma en idé. För senare användning räknas även de fall som saknas i presentationen.
Granska urvalet före resultatet
En lyckad AI-presentation kan visa att en uppgift fungerar under de visade förhållandena. För att uttala sig om senare drift måste teamet också undersöka vilka indata, oklarheter och gränser som täcktes. NIST AI RMF rekommenderar dokumentation av både prestanda under förhållanden som liknar den tänkta användningen och gränserna för generalisering.
I en supportpilot behöver man exempelvis skilja mellan tydliga felrapporter och fall med blandade önskemål. En tydlig formulering kräver ett annat beslut än ett meddelande vars betydelse först måste klargöras. Ett gott resultat på den ena falltypen besvarar inte frågan om den andra.
Jämför två listor med olika syften
Ett fiktivt programvaruföretag jämför två planerade urval. Tydliga meddelanden i demon ska göra flödet begripligt. Det senare utvärderingsunderlaget innehåller medvetet ytterligare svårigheter.
Falltyp | Demourval | Planerat utvärderingsunderlag |
|---|---|---|
Tydligt beskrivet programvarufel | 8 | 16 |
Entydig åtkomstbegäran | 4 | 14 |
Oklart eller blandat meddelande | 0 | 12 |
Meddelande utanför uppgiften | 0 | 8 |
Summorna är 12 och 50. Talen beskriver vårt påhittade urval; framgångsandelar och frekvenser i driften måste mätas separat. De tomma grupperna i demon synliggör de frågor presentationen lämnar öppna.
Även den större mängden har satts ihop för ett visst syfte. När svåra fall medvetet tas med speglar deras andel inte automatiskt det dagliga inflödet. Det är användbart vid felsökning. För att uppskatta felandelen i drift måste urval och analys anpassas till den verkliga fördelningen.
Använd demon för rätt beslut
Ska teamet först förstå ett snävt avgränsat flöde och dess gränssnitt kan en demo vara en användbar genomförbarhetsprövning. Om bara tydligt definierade indata ingår i det första omfånget behöver presentationen inte redan täcka varje tänkbar senare utvidgning. Nästa steg i användningen måste då respektera den avgränsningen.
Exempel som löpande används för att förbättra promptar hjälper sedan till att känna igen återkommande kända fel. En oberoende bedömning av nya fall behöver ytterligare reserverade exempel. Google beskriver hur upprepade beslut utifrån samma testdata ändrar deras bevisvärde inom maskininlärning. Överfört till promptval förblir demon nyttig, men dess kända fall fungerar inte samtidigt som oberoende slutkontroll.
Källor
Läs vidare
Alla artiklar
AI & automatisering med ASES
AI-assistenter och automatiserade flöden