YZ pilotu için beklenen sonucu belli test örnekleri seçmek

Görevi ve beklenen yönlendirmeyi kararlaştırmak

Kurgusal bir yazılım şirketi, destek mesajları için YZ pilotu planlar. YZ bir yönlendirme önerecektir: bug, access, review veya out-of-scope. Erişim açma, durum değiştirme ve talep kapatma destek ekibinin görevi olarak kalır. Bu nedenle değerlendirme, otomatik tamamlanmış destek hizmetini değil öneriyi ele alır.

Model çıktısı görülmeden önce beklenen kararı işi bilen ekiple belirleyin. Sorumlular uzlaşamıyorsa önce kural açıklığa kavuşturulmalıdır. NIST AI RMF, test koşullarının belgelenmesini ve kullanıma benzer koşullarda değerlendirmeyi önerir.

Farklı kontrol amaçları taşıyan örnekler seçmek

Aşağıdaki seçim kurgusaldır. Metinler durumları açıklar; gerçek pilot için paylaşımı onaylanmış özgün girdiler, dil ve kaynak bilgisiyle kaydedilir.

Son işaret, bu örnekte silme işlemi başlatmaz. Seçim farklı kararları görünür kılar; durumların sıklığını veya test veri kümesinin yeterli büyüklüğünü kanıtlamaz. Daha sonra örnek toplarken gereken dilleri, girdi biçimlerini ve eksik bilgileri de kapsayın.

Geliştirme örneklerini sonraki kontrolden ayırmak

Ekibin prompt’u veya yönlendirme kurallarını değiştirmek için kullandığı örnekler geliştirme örneğidir. Sonraki kontrol için, daha önce iyileştirmede kullanılmamış başka örnekler ayırın. Aynı kaynak mesajın kopyaları ve yakın yeniden yazımları, iki tarafa bağımsız kanıt gibi dağıtılmamalıdır.

Google, makine öğrenmesinde tekrar kullanılan test verilerinin ve kopyaların değerlendirmeyi nasıl çarpıtabildiğini açıklar. Prompt geliştirme için buradan pratik bir önlem çıkar: Bilinen örnekler hata bulmaya yarar, ancak sonraki kontrolde ek ve görülmemiş örnekler bulunmalıdır. Prompt’u düzenlemek, model eğitimi anlamına gelmez.

Sonuçları örneğe ve hata türüne göre kaydetmek

Sonraki testte model, prompt ve test kümesi sürümünü; beklenen yönlendirmeyi, gerçek çıktıyı ve iş açısından değerlendirmeyi kaydedin. Belirsiz durumda beklenen insan incelemesi uygun bir sonuçtur. Aceleyle kesin bir kategori seçilmesi ise hata olabilir.

Rutin, belirsiz ve görev dışı girdileri ayrı raporlayın. Bir hatayı çözümü değiştirmek için kullanırsanız ilk bulgu raporda kalır; örnek daha sonra geliştirmeye ve bilinen hatanın geri dönüp dönmediğini kontrol etmeye yarar. Yeni bir bağımsız kontrol için ayrılmış başka uygun örnekler gerekir. Tablo, seçim için gerekçeli bir başlangıçtır; çalıştırılmış test veya üretime uygunluk kanıtı değildir.

Kaynaklar

• NIST · AI Risk Management Framework 1.0

• Google · Dividing the original dataset