Bedöm språkkvalitet och saklig korrekthet var för sig

En lättläst översättning kan innehålla en felaktig arbetsinstruktion. Vid flerspråkig automatisering måste därför språkkvalitet och saklig korrekthet bedömas var för sig. En artig ton eller begriplig mening räcker inte som godkännande för nästa åtgärd.

En välformulerad mening kan ange fel mål

I detta fiktiva exempel översätts en tysk instruktion för ett supportteam som arbetar på engelska. Källtexten är: Nur die Testumgebung neu starten. Die Produktivumgebung unverändert lassen. Ett avsiktligt felaktigt engelskt exempel lyder: Restart the production environment. Detta är ett konstruerat felfall.

Den engelska meningen är begriplig. Innehållsmässigt ändrar den målet från testmiljö till produktionsmiljö och utelämnar den uttryckliga begränsningen. En granskning som bara bedömer språkligt flyt skulle inte undersöka valet av målmiljö tillräckligt.

Teamet dokumenterar därför två omdömen: Är texten användbar på målspråket, och bevarar den den avsedda instruktionen inklusive miljö och begränsning? Före utförandet måste det också kontrolleras vilken åtgärd applikationen härleder och om den är tillåten.

En språkkod har en annan uppgift

Microsoft beskriver språkidentifiering som att fastställa dokumentets dominerande språk med ett tillhörande konfidensvärde. Värdet gäller språkidentifieringen. Det bevisar varken en korrekt översättning eller en lämplig omstartsuppgift.

Även en lyckad översättning kan kopplas fel senare. Om den översatta texten fortfarande anger testmiljön medan applikationen väljer en annan målmiljö ligger avvikelsen i ett senare bearbetningssteg. Granskningen behöver därför insyn i text och härledd åtgärd.

Utvärdera fall per språk och feltyp

Microsoft rekommenderar att jämföra AI-utvärderingar på samma fall och undersöka enskilda fel. För detta flöde bör fallen också omfatta negationer, begränsningar och miljöer med olika benämningar. Den förväntade arbetsinstruktionen hålls dokumenterad så att den kan kontrolleras.

Håll resultaten åtskilda per språk och falltyp. En god helhetsbedömning visar annars inte på vilket språk en viktig begränsning går förlorad. Involvera personer som kan bedöma språket och arbetsflödet i den språkliga och sakliga bedömningen.

Ett godkännande kräver lämpliga resultat för den avsedda användningen. Välskrivna texter är en del av detta; bevarad betydelse och den granskade följdåtgärden avgör om automatiseringen uppfyller uppgiften.

Källor

• Microsoft — How to perform language detection

• Microsoft — Evaluate models, prompts, and agents