Hurtige AI-forslag kan skabe mere efterarbejde

Et AI-forslag kan komme på få sekunder og alligevel kræve mere menneskeligt arbejde end den tidligere arbejdsgang. En beslutning om automatisering afhænger af arbejdet frem til et tilsvarende resultat. Modellens svartid dækker kun en del af forløbet.

Sammenlign samme henvendelser frem til samme resultat

I det fiktive regneeksempel fordeles 100 supporthenvendelser til det rigtige fagteam og accepteres til behandling. Det betyder ikke, at supportproblemerne er løst. Den nuværende manuelle fordeling tager to minutter pr. henvendelse: 100 × 2 = 200 minutter.

I AI-forløbet vises fordelingsforslaget hurtigt. Hver henvendelse kontrolleres i et minut. Derefter kræver 30 henvendelser hver fire ekstra minutter til rettelser. Afstemning og overdragelse tilføjer én opgave på 20 minutter for hele gruppen.

Rettelsestiden kommer oven i den allerede medregnede kontrol. Begge forløb slutter med tilsvarende fordelte og accepterede henvendelser; samme arbejde tælles ikke to gange. Eksemplet giver 40 minutters ekstra menneskelig indsats.

Flaskehalsen kan ligge efter forslaget

Leverer automatiseringen nye forslag hurtigere, end teamet afslutter dem, vokser kontrolkøen. En hurtig første tilbagemelding kan stå sammen med længere ventetid frem til en brugbar fordeling. Ventetid og aktiv behandlingstid er forskellige størrelser.

Google SRE Workbook anbefaler at kvantificere det faktiske arbejde før ændringer. I denne pilot bør uafklarede henvendelser og alderen på den ældste også være synlige sammen med aktiv tid. En kort gennemsnitlig modelsvartid siger kun lidt om dem.

Rettelser hører til softwaren

Guidelines for Human-AI Interaction omfatter effektive rettelser. I fordelingsgrænsefladen bør medarbejdere se den oprindelige henvendelse og forslaget sammen og kunne ændre et forkert fagteam direkte. Kopiering af data, åbning af et andet system og genskabelse af kontekst tæller også med som arbejde i automatiseringen.

Vurderingen kan ændre sig, hvis færre rettelser er nødvendige, eller forslag allerede kan bruges pålideligt til et formål med lav risiko uden individuel kontrol. Eksemplet indfører ikke et universelt krav om manuel kontrol af alle AI-resultater. Den krævede resultatkvalitet skal være ens i sammenligningen.

En bredere indførelse skal derfor begrundes ud fra hele forløbet. Falder kun tiden frem til forslaget, mens rettelser og uafklarede henvendelser stiger, skal fejl- og overdragelsesforløbet først forbedres. Svartiden alene kan ikke bære beslutningen.

Kilder

• Google SRE Workbook: Identifying and Recovering from Overload

• Amershi et al.: Guidelines for Human-AI Interaction (CHI 2019)