Sprachqualität und fachliche Richtigkeit getrennt prüfen

Eine gut lesbare Übersetzung kann eine falsche Arbeitsanweisung enthalten. In einer mehrsprachigen Automatisierung müssen deshalb Sprachqualität und fachliche Richtigkeit getrennt beurteilt werden. Ein höflicher Ton oder ein verständlicher Satz genügt nicht als Freigabe für die Folgeaktion.

Ein flüssiger Satz kann das falsche Ziel nennen

Im fiktiven Beispiel wird eine deutsche Anweisung für ein englisch arbeitendes Supportteam übersetzt. Der Ausgangstext lautet: Nur die Testumgebung neu starten. Die Produktivumgebung unverändert lassen. Ein absichtlich falscher englischer Beispieltext lautet: Restart the production environment. Dies ist ein konstruierter Fehlerfall.

Der englische Satz ist verständlich. Inhaltlich ändert er das Ziel von der Test- zur Produktivumgebung und lässt die ausdrückliche Einschränkung weg. Eine Prüfung, die nur Sprachfluss bewertet, würde die Wahl der Zielumgebung nicht ausreichend untersuchen.

Das Team hält deshalb zwei Urteile fest: Ist der Text in der Zielsprache brauchbar, und bewahrt er die gemeinte Anweisung einschließlich Umgebung und Einschränkung? Vor einer Ausführung muss zusätzlich geprüft werden, welche Aktion die Anwendung daraus ableitet und ob sie zulässig ist.

Eine Sprachkennung hat eine andere Aufgabe

Microsoft beschreibt Sprachenerkennung als Bestimmung der vorherrschenden Dokumentsprache mit einem zugehörigen Konfidenzwert. Dieser Wert bezieht sich auf die Spracherkennung. Er belegt weder eine richtige Übersetzung noch einen passenden Neustartauftrag.

Auch eine gelungene Übersetzung kann später falsch zugeordnet werden. Steht im übersetzten Text weiterhin die Testumgebung, während die Anwendung eine andere Zielumgebung auswählt, liegt die Abweichung in einem späteren Verarbeitungsschritt. Dafür braucht die Prüfung Einblick in Text und abgeleitete Aktion.

Fälle pro Sprache und Fehlerart auswerten

Microsoft empfiehlt bei KI-Evaluationen den Vergleich an gleichen Fällen und die Betrachtung einzelner Fehler. Für diesen Ablauf sollten die Fälle auch Verneinungen, Einschränkungen und unterschiedlich bezeichnete Umgebungen enthalten. Der erwartete Arbeitsauftrag bleibt dabei nachvollziehbar festgehalten.

Führen Sie Ergebnisse nach Sprache und Fallart getrennt. Eine gute Gesamtbewertung zeigt sonst nicht, in welcher Sprache eine wichtige Einschränkung verloren geht. Beziehen Sie für die sprachliche und fachliche Beurteilung Personen ein, die die jeweilige Sprache und den Arbeitsablauf beurteilen können.

Eine Freigabe braucht passende Ergebnisse für den vorgesehenen Einsatz. Sprachlich gute Texte sind ein Teil davon; die erhaltene Bedeutung und die geprüfte Folgeaktion bestimmen, ob die Automatisierung den Auftrag erfüllt.

Quellen

• Microsoft — How to perform language detection

• Microsoft — Evaluate models, prompts, and agents