Taalkwaliteit en inhoudelijke juistheid apart beoordelen

Een goed leesbare vertaling kan een verkeerde werkinstructie bevatten. Bij meertalige automatisering moeten taalkwaliteit en inhoudelijke juistheid daarom afzonderlijk worden beoordeeld. Een beleefde toon of begrijpelijke zin is onvoldoende als goedkeuring voor de volgende handeling.

Een vloeiende zin kan het verkeerde doel noemen

In dit fictieve voorbeeld wordt een Duitse instructie vertaald voor een Engelstalig supportteam. De brontekst luidt: Nur die Testumgebung neu starten. Die Produktivumgebung unverändert lassen. Een bewust verkeerd Engels voorbeeld luidt: Restart the production environment. Dit is een geconstrueerde foutcasus.

De Engelse zin is begrijpelijk. Inhoudelijk verandert hij het doel van de testomgeving naar productie en laat hij de expliciete beperking weg. Een controle die alleen vloeiend taalgebruik beoordeelt, zou de keuze van de doelomgeving onvoldoende onderzoeken.

Het team legt daarom twee oordelen vast: is de tekst bruikbaar in de doeltaal en bewaart hij de bedoelde instructie, inclusief omgeving en beperking? Vóór uitvoering moet ook worden gecontroleerd welke handeling de applicatie eruit afleidt en of die is toegestaan.

Een taalcode heeft een andere taak

Microsoft beschrijft taalherkenning als het vaststellen van de overheersende documenttaal met een bijbehorende betrouwbaarheidsscore. Die score gaat over taalherkenning. Hij bewijst geen juiste vertaling of passende herstartopdracht.

Ook een geslaagde vertaling kan later verkeerd worden gekoppeld. Als de vertaalde tekst nog steeds de testomgeving noemt maar de applicatie een andere doelomgeving kiest, zit de afwijking in een latere verwerkingsstap. De controle moet daarom zicht bieden op tekst en afgeleide handeling.

Casussen per taal en foutsoort beoordelen

Microsoft adviseert AI-evaluaties op dezelfde casussen te vergelijken en afzonderlijke fouten te bekijken. Voor dit proces moeten casussen ook ontkenningen, beperkingen en verschillend benoemde omgevingen bevatten. De verwachte werkinstructie blijft controleerbaar vastgelegd.

Houd resultaten per taal en casustype apart. Een goede totaalbeoordeling toont anders niet in welke taal een belangrijke beperking verloren gaat. Betrek bij de taalkundige en inhoudelijke beoordeling mensen die de betreffende taal en het werkproces kunnen beoordelen.

Goedkeuring vraagt passende resultaten voor het beoogde gebruik. Goed geschreven teksten zijn daar een deel van; de behouden betekenis en de gecontroleerde vervolghandeling bepalen of de automatisering de opdracht vervult.

Bronnen

• Microsoft — How to perform language detection

• Microsoft — Evaluate models, prompts, and agents