Valutare separatamente lingua e correttezza del compito

Una traduzione facile da leggere può contenere un’istruzione di lavoro errata. Nell’automazione multilingue occorre quindi valutare separatamente qualità linguistica e correttezza del compito. Un tono cortese o una frase comprensibile non bastano ad approvare l’azione successiva.

Una frase scorrevole può indicare la destinazione sbagliata

In questo esempio ipotetico, un’istruzione tedesca viene tradotta per un team di assistenza che lavora in inglese. Il testo originale è: Nur die Testumgebung neu starten. Die Produktivumgebung unverändert lassen. Un esempio inglese volutamente errato è: Restart the production environment. Si tratta di un caso di errore costruito.

La frase inglese è comprensibile. Nel contenuto, sposta la destinazione dall’ambiente di test a quello di produzione e omette il vincolo esplicito. Una verifica concentrata solo sulla scorrevolezza non esaminerebbe adeguatamente la scelta dell’ambiente di destinazione.

Il team registra quindi due valutazioni: il testo è utilizzabile nella lingua di destinazione e conserva l’istruzione voluta, inclusi ambiente e vincolo? Prima dell’esecuzione, occorre anche verificare quale azione l’applicazione ne ricavi e se sia consentita.

Un identificativo di lingua ha un altro compito

Microsoft descrive il rilevamento linguistico come l’identificazione della lingua predominante del documento con un punteggio di confidenza associato. Tale valore riguarda il rilevamento della lingua. Non dimostra né una traduzione corretta né una richiesta di riavvio appropriata.

Anche una traduzione riuscita può essere associata male in seguito. Se il testo tradotto indica ancora l’ambiente di test ma l’applicazione sceglie un’altra destinazione, la discrepanza è in una fase successiva. La verifica deve quindi poter vedere testo e azione derivata.

Esaminare casi per lingua e tipo di errore

Microsoft raccomanda di confrontare le valutazioni dell’IA sugli stessi casi e di esaminare gli errori individuali. Per questo flusso, i casi dovrebbero includere anche negazioni, vincoli e ambienti denominati in modi diversi. L’istruzione attesa rimane registrata in modo verificabile.

Tenga separati i risultati per lingua e tipo di caso. Una buona valutazione complessiva altrimenti non mostra in quale lingua vada perso un vincolo importante. Coinvolga nella valutazione linguistica e del compito persone capaci di valutare la lingua e il flusso di lavoro pertinenti.

L’approvazione richiede risultati adeguati all’uso previsto. Testi ben scritti ne sono una parte; significato conservato e azione successiva verificata determinano se l’automazione soddisfa il compito.

Fonti

• Microsoft — How to perform language detection

• Microsoft — Evaluate models, prompts, and agents