Dil kalitesiyle doğru iş kararını ayrı kontrol etmek

Rahat okunan bir çeviri yanlış iş talimatı içerebilir. Bu nedenle çok dilli otomasyonda dil kalitesiyle iş doğruluğu ayrı değerlendirilmelidir. Nazik ton veya anlaşılır cümle, sonraki eylemi onaylamak için yeterli değildir.

Akıcı bir cümle yanlış hedefi belirtebilir

Kurgusal örnekte Almanca talimat, İngilizce çalışan destek ekibi için çevrilir. Kaynak metin şudur: Nur die Testumgebung neu starten. Die Produktivumgebung unverändert lassen. Bilerek yanlış yazılmış İngilizce örnek metin ise şöyledir: Restart the production environment. Bu, oluşturulmuş bir hata vakasıdır.

İngilizce cümle anlaşılırdır. Ancak anlamda hedefi test ortamından üretim ortamına değiştirir ve açık kısıtlamayı çıkarır. Yalnızca akıcılığı değerlendiren bir inceleme, hedef ortamın seçimini yeterince ele almaz.

Bu nedenle ekip iki değerlendirmeyi kaydeder: Metin hedef dilde kullanılabilir mi? Ortam ve kısıtlama dahil, amaçlanan talimatı koruyor mu? İşlem yürütülmeden önce uygulamanın buradan hangi eylemi türettiği ve eyleme izin verilip verilmediği ayrıca kontrol edilmelidir.

Dil etiketinin görevi farklıdır

Microsoft, dil tespitini belgenin baskın dilinin ilgili güven değeriyle belirlenmesi olarak açıklıyor. Bu değer dil tespitiyle ilgilidir. Doğru çeviriyi veya uygun yeniden başlatma görevini kanıtlamaz.

Başarılı çeviri de sonraki aşamada yanlış eşlenebilir. Çevrilen metinde hâlâ test ortamı yazarken uygulama başka hedef ortam seçiyorsa sapma, daha sonraki işlem adımındadır. İnceleme için metnin ve türetilen eylemin görülebilmesi gerekir.

Vakaları dil ve hata türüne göre değerlendirin

Microsoft, YZ değerlendirmelerinde aynı vakalarla karşılaştırmayı ve tek tek hatalara bakmayı önerir. Bu akışın vakaları olumsuz ifadeleri, kısıtlamaları ve farklı biçimlerde adlandırılmış ortamları da içermelidir. Beklenen iş talimatı izlenebilir biçimde kaydedilir.

Sonuçları dil ve vaka türüne göre ayrı tutun. Aksi hâlde iyi genel değerlendirme, önemli kısıtlamanın hangi dilde kaybolduğunu göstermez. Dil ve iş doğruluğu değerlendirmesine, ilgili dili ve iş akışını değerlendirebilecek kişileri dahil edin.

Kullanıma alma onayı, amaçlanan kullanım için uygun sonuçlar gerektirir. Dili iyi metinler bunun bir parçasıdır; korunan anlam ve kontrol edilmiş sonraki eylem, otomasyonun görevi yerine getirip getirmediğini belirler.

Kaynaklar

• Microsoft — How to perform language detection

• Microsoft — Evaluate models, prompts, and agents