Yapay zekâ modelini değiştirmek ve aynı akışta sınamak

Model değiştirirken etkilenen uygulama akışını bütünüyle inceleyin. Yapılandırmadaki model kimliğini değiştirmek tek başına yeterli kanıt değildir. Mevcut bir değerlendirme kümesini kullanın ve gerçekte hangi değişikliği karşılaştırdığınızı kaydedin.

İki yapılandırmayı açıkça kaydedin

Her iki seçeneğin model kimliğini, prompt sürümünü, sağlanan kaynaklarını, araçlarını ve ayarlarını belgeleyin. Girdiler, kurallar ve işleme aynı kalırsa model değişikliğini daha doğrudan inceleyebilirsiniz. Prompt’u, adaptörü veya değerlendirmeyi de değiştirmeniz gerekiyorsa iki uygulama yapılandırmasını karşılaştırıyorsunuzdur; farkı yalnızca modele bağlamayın.

Microsoft, kaydedilmiş seçenekleri aynı vakalarla karşılaştırmayı ve tek tek hataları incelemeyi açıklıyor. Kendi akışınız için beklenen iş kararları karşılaştırmadan önce belirlenmiş olmalıdır.

Her vakadaki farkı görünür kılın

Aşağıdaki örnek tamamen kurgusaldır. Uygulamanın bir mesajdan proje kimliği çıkarması veya elle inceleme istemesi beklenir. Uygulama projeye erişim yetkisi vermez. Alan adları bize ait iç şemadır; sağlayıcı API’si değildir.

Tabloda açıklama için varsayılan çıktılar bulunur. Bu, çalıştırılmış model testi değildir. Vaka açıklamaları gerçek karşılaştırmada sürümlenmiş özgün girdilerin yerini tutmaz.

İkinci vakada yeni seçenek belirsizliğe rağmen bir proje seçiyor. Üçüncüde alan sözleşmesini ihlal ediyor. Toplu bir değerlendirme farklı hata nedenlerini gizleyebilir. Biçim bakımından geçerli çıktılar da iş açısından doğru olmalıdır.

Sonraki işlemden önce hataları ele alın

OWASP, model çıktılarını sonraki bileşenlere iletmeden önce doğrulamayı öneriyor. Örnekte eksik zorunlu alan, başarılı veri çıkarma sonucu olarak ilerlememelidir. Uygulama çıktıyı reddetmeli veya öngörülen inceleme yoluna göndermelidir. Bir proje alanının bulunması yine de erişim yetkisi değildir.

Bu iş ve biçim vakalarının yanında gerçekten gereken dilleri, kesintileri ve tekrarları da inceleyin. Tek çalıştırma, istikrarlı hata sıklığı göstermez. Bilinen hatalar yeni seçeneği düzeltmekte kullanılıyorsa bağımsız kontrol için ayrıca önceden ayrılmış vakalar gerekir.

Kullanıma almayı ve geri dönüşü birlikte planlayın

Kullanıma almadan önce hangi hataların geçişi engelleyeceğini ve açık farkları kimin değerlendireceğini belirleyin. Tablo örneğinde belirsiz mesajdan aceleyle proje seçilmesi ve zorunlu alanın eksikliği önce açıklığa kavuşturulmalıdır.

Önceki uygulama yapılandırmasını ve kontrol edilmiş bir geri dönüş yolunu saklayın. Önceki modelin hâlâ kullanılabilir olup olmadığını ve saklanan verilerin uyumlu kalıp kalmadığını da netleştirin. Geçişten sonra etkilenen akışın gerçek sonuçlarını izleyin; açıklama amaçlı üç vaka genel üretim hazırlığını kanıtlamaz.

Kaynaklar

• Microsoft — Evaluate models, prompts, and agents

• OWASP 2025 — Improper Output Handling