YZ demosu seçilmiş koşullardaki davranışı gösterir
Demo, bir fikri değerlendirmeye yardımcı olur. Sonraki kullanım için gösterimde bulunmayan durumlar da önemlidir.
Sonuçtan önce seçime bakmak
Başarılı bir YZ gösterimi, görevin gösterilen koşullarda çalışabildiğini ortaya koyabilir. Sonraki işletim hakkında konuşmak için ekip, hangi girdilerin, belirsizliklerin ve sınırların kapsandığını da incelemelidir. NIST AI RMF, kullanıma benzer koşullarda performansın ve aktarılabilirlik sınırlarının belgelenmesini önerir.
Destek pilotunda örneklerin yalnız açık hata bildirimlerini mi, yoksa karma istekleri de mi içerdiği ayırt edilmelidir. Açık bir ifade, anlamı önce netleştirilmesi gereken bir mesajdan farklı karar ister. Bir durum türündeki iyi sonuç, diğeri hakkındaki soruyu yanıtlamaz.
Farklı amaçları olan iki örnek listesini karşılaştırmak
Kurgusal bir yazılım şirketi planlanan iki seçimi karşılaştırır. Demo için açık mesajlar akışı anlaşılır biçimde gösterecektir. Sonraki değerlendirme kümesine ise özellikle ek zorluklar alınacaktır.
Durum türü | Demo seçimi | Planlanan değerlendirme kümesi |
|---|---|---|
Açıkça anlatılmış yazılım hatası | 8 | 16 |
Kesin erişim isteği | 4 | 14 |
Belirsiz veya karma mesaj | 0 | 12 |
Görev dışı mesaj | 0 | 8 |
Toplamlar 12 ve 50 olur. Bu sayılar kurgusal seçimimizi açıklar; başarı oranları ve işletmedeki sıklıklar ayrıca ölçülmelidir. Demodaki boş gruplar, gösterimin hangi soruları açık bıraktığını görünür kılar.
Büyük küme de belirli bir amaçla oluşturulur. Zor durumlar özellikle eklendiğinden oranları günlük gelen mesajları kendiliğinden yansıtmaz. Hata bulmak için bu yararlıdır. İşletimdeki hata oranını tahmin etmek için seçim ve değerlendirme gerçek dağılıma göre yapılmalıdır.
Demoyu uygun karar için kullanmak
Ekip önce dar kapsamlı bir akışı ve arayüzünü anlamak istiyorsa demo yararlı bir yapılabilirlik denemesi olabilir. İlk kapsam yalnız açıkça tanımlanmış girdileri içeriyorsa gösterim, sonradan düşünülebilecek her genişlemeyi şimdiden kapsamak zorunda değildir. Sonraki kullanım adımı da bu sınırlı kapsama göre şekillenmelidir.
Aynı örnekler sürekli prompt’u iyileştirmek için kullanılıyorsa daha sonra bilinen hataların yeniden görülmesini kontrol etmeye yararlar. Yeni durumları bağımsız değerlendirmek için ek, ayrılmış örnekler gerekir. Google, makine öğrenmesinde aynı test verilerine göre tekrar tekrar karar vermenin bunların kanıt değerini nasıl değiştirdiğini açıklar. Prompt seçimine uygulandığında sonuç şudur: Demo yararlı kalır; ancak bilinen örnekler aynı zamanda bağımsız son kontrol işlevi göremez.
Kaynaklar
Devamını okuyun
Tüm yazılar
ASES ile Yapay zekâ ve otomasyon
Yapay zekâ asistanları ve otomatik iş akışları