Vurder språkkvalitet og innholdsmessig riktighet hver for seg

En lettlest oversettelse kan inneholde en feil arbeidsinstruksjon. Ved flerspråklig automatisering må derfor språkkvalitet og innholdsmessig riktighet vurderes hver for seg. En høflig tone eller en forståelig setning er ikke tilstrekkelig godkjenning for neste handling.

En velformulert setning kan angi feil mål

I dette tenkte eksempelet oversettes en tysk instruksjon for et supportteam som arbeider på engelsk. Kildeteksten er: Nur die Testumgebung neu starten. Die Produktivumgebung unverändert lassen. Et bevisst feil engelsk eksempel lyder: Restart the production environment. Dette er et konstruert feiltilfelle.

Den engelske setningen er forståelig. Innholdsmessig endrer den målet fra testmiljø til produksjonsmiljø og utelater den eksplisitte begrensningen. En kontroll som bare vurderer språklig flyt, ville ikke undersøke valget av målmiljø tilstrekkelig.

Teamet registrerer derfor to vurderinger: Kan teksten brukes på målspråket, og bevarer den den tilsiktede instruksjonen, inkludert miljø og begrensning? Før utførelse må det også kontrolleres hvilken handling applikasjonen avleder, og om den er tillatt.

En språkkode har en annen oppgave

Microsoft beskriver språkidentifisering som å fastslå dokumentets dominerende språk med en tilhørende konfidensverdi. Verdien gjelder språkidentifiseringen. Den beviser verken en korrekt oversettelse eller en passende omstartsoppgave.

Også en vellykket oversettelse kan kobles feil senere. Hvis den oversatte teksten fortsatt angir testmiljøet mens applikasjonen velger et annet målmiljø, ligger avviket i et senere behandlingstrinn. Kontrollen trenger derfor innsyn i tekst og avledet handling.

Vurder tilfeller etter språk og feiltype

Microsoft anbefaler å sammenligne KI-evalueringer på de samme tilfellene og undersøke enkeltfeil. For dette forløpet bør tilfellene også omfatte negasjoner, begrensninger og miljøer med ulike betegnelser. Den forventede arbeidsinstruksjonen forblir dokumentert, slik at den kan kontrolleres.

Hold resultater atskilt etter språk og type tilfelle. En god samlet vurdering viser ellers ikke på hvilket språk en viktig begrensning går tapt. Involver personer som kan vurdere det aktuelle språket og arbeidsforløpet, i den språklige og innholdsmessige vurderingen.

En godkjenning krever egnede resultater for planlagt bruk. Velskrevne tekster er en del av dette; bevart betydning og den kontrollerte følgehandlingen avgjør om automatiseringen oppfyller oppgaven.

Kilder

• Microsoft — How to perform language detection

• Microsoft — Evaluate models, prompts, and agents