Vurdér sprogkvalitet og faglig korrekthed hver for sig

En letlæselig oversættelse kan indeholde en forkert arbejdsinstruktion. Ved flersproget automatisering skal sprogkvalitet og faglig korrekthed derfor vurderes hver for sig. En høflig tone eller en forståelig sætning er ikke tilstrækkelig godkendelse af næste handling.

En velformuleret sætning kan angive det forkerte mål

I dette tænkte eksempel oversættes en tysk instruktion til et supportteam, der arbejder på engelsk. Kildeteksten er: Nur die Testumgebung neu starten. Die Produktivumgebung unverändert lassen. Et bevidst forkert engelsk eksempel lyder: Restart the production environment. Dette er et konstrueret fejltilfælde.

Den engelske sætning er forståelig. Indholdsmæssigt ændrer den målet fra testmiljø til produktionsmiljø og udelader den udtrykkelige begrænsning. En kontrol, der kun vurderer flydende sprog, ville ikke undersøge valget af målmiljø tilstrækkeligt.

Teamet registrerer derfor to vurderinger: Kan teksten bruges på målsproget, og bevarer den den tilsigtede instruktion, herunder miljø og begrænsning? Før udførelse skal det desuden kontrolleres, hvilken handling applikationen udleder, og om den er tilladt.

En sprogkode har en anden opgave

Microsoft beskriver sproggenkendelse som identifikation af dokumentets fremherskende sprog med en tilhørende konfidensværdi. Værdien vedrører sproggenkendelsen. Den beviser hverken en korrekt oversættelse eller en passende genstartsopgave.

Også en vellykket oversættelse kan blive koblet forkert senere. Hvis den oversatte tekst stadig angiver testmiljøet, mens applikationen vælger et andet målmiljø, ligger afvigelsen i et senere behandlingstrin. Kontrollen skal derfor kunne se tekst og afledt handling.

Vurdér tilfælde efter sprog og fejltype

Microsoft anbefaler at sammenligne AI-evalueringer på de samme tilfælde og undersøge enkelte fejl. Til dette forløb bør tilfældene også omfatte nægtelser, begrænsninger og forskelligt navngivne miljøer. Den forventede arbejdsinstruktion forbliver registreret, så den kan kontrolleres.

Hold resultater adskilt efter sprog og type af tilfælde. En god samlet vurdering viser ellers ikke, på hvilket sprog en vigtig begrænsning går tabt. Inddrag personer, der kan vurdere det relevante sprog og arbejdsforløb, i den sproglige og faglige vurdering.

En godkendelse kræver egnede resultater til den planlagte brug. Velskrevne tekster er en del af det; bevaret betydning og den kontrollerede følgehandling afgør, om automatiseringen opfylder opgaven.

Kilder

• Microsoft — How to perform language detection

• Microsoft — Evaluate models, prompts, and agents