YZ işletimini seçmek: Modelden önce veri yolunu incelemek
Somut bir portal örneğiyle kendi model sunucunuzu ve bulut hizmetini veri akışı, günlükler ve işletim görevleri açısından karşılaştırın.
YZ işletimini belirli bir iş akışı için seçin. Kendi sunucunuzdaki model ile yönetilen model hizmeti, işleme ve işletim açısından farklıdır. Uygun seçeneği, girdiden kaydedilen sonuca kadar verinin izlediği yol gösterir.
Görevi ve veri sınırını belirlemek
Kurgusal bir yazılım şirketi proje portalındaki iç notları özetlemek ister. Kullanıcı yalnızca erişim izni olan projenin notlarını okuyabilir ve taslağı kaydetmeden önce kontrol eder. Modele mesaj gönderme veya proje yetkilerini değiştirme görevi verilmez.
Örnek proje P-72 için şirket içi bir kural vardır: İşlenmemiş müşteri notları dış işleme hizmetlerine gönderilemez. Bu, örneğin varsayımıdır. Şirketinizin gerçek verileri ve gereksinimleri ayrıca incelenmelidir.
Verinin izlediği bütün yolu karşılaştırmak
Tablo planlanan akışları gösterir; denenmiş bir kurulum değildir. Burada “kendi model sunucusu”, şirketin onaylanan ortam içinde işlettiği sunucudur. Kiralık bir sunucuyu da şirket işletebilir; bu sunucunun onaylı ortama dahil edilmesi ayrıca değerlendirilmelidir. Fiziksel konum tek başına görev paylaşımını açıklamaz.
Adım | Kendi model sunucusu | Yönetilen model hizmeti |
|---|---|---|
Girdi | Portal proje erişimini kontrol eder ve seçilen notu okur. | Portal aynı erişimi kontrol eder ve aynı notu okur. |
Not şirket içindeki model hizmetine gider. | Not sağlayıcıya gidecektir; örnekteki kural nedeniyle engellenir. | |
Günlükler | Portal, vekil sunucu ve hata hizmetinde metin kopyası olup olmadığı incelenir. | Ek olarak sağlayıcının işleme ve günlük tutma biçimi açıklığa kavuşturulur. |
Kesinti | Kişi elle özetler; dış hizmete yedek çağrı yapılmaz. | Kişi elle özetler; incelenmemiş başka bir hizmete geçilmez. |
Planlanan işletim günlüğünde örneğin requestId ve status bulunur; tam not metni veya model yanıtı bulunmaz. Bu örnek alanlar eksiksiz bir güvenlik günlüğü tanımlamaz. Hata yönetimi, destek için dışa aktarımlar ve yedekler de belirlenen veri sınırını korumalıdır.
Gerçekte kullanılan çalışma ortamını incelemek
Örneğin Ollama SSS, yerel işleme ile bulut modellerini ayırır ve bulut özelliklerinin kapatılmasını açıklar. Bu, ilgili çalışma ortamıyla sınırlıdır. Önündeki arayüzün, bir eklentinin veya ayrı hata hizmetinin başka bağlantıları olabilir. Kurulu programın adı bu yüzden bütün veri yolunu kanıtlamaz.
Onaylı bir pilot kurulumda kullanılan hedefleri, oluşan günlüklerin içeriğini ve kesinti akışını inceleyin. Yalnızca ağ hedeflerini listelemek, şifreli aktarımın içeriğini veya sağlayıcıdaki saklamayı kanıtlamaz. Dış hizmet için onun somut işleme ve saklama bilgileri de gerekir; genel bir bulut açıklaması yeterli değildir.
İşletim ve uygunluğu birlikte değerlendirmek
Kendi model sunucunuzda güncelleme, erişim, kapasite, izleme ve geri yükleme görevlerini üstlenen kişiler olmalıdır. Model hizmetinde sağlayıcı, üzerinde anlaşılan model işletimini üstlenir; portal yetkileri, entegrasyon ve kendi günlükleriniz ekibinizin sorumluluğunda kalır. Önce iki seçeneği örnek için oluşturulmuş aynı girdiler ve beklenen sonuçlarla karşılaştırın. Bu, gerçek müşteri notlarının işlenmesine izin verildiği anlamına gelmez. Gerekli yük altındaki kalite ve bekleme süreleri pilotta belirlenir; konumdan çıkarılmaz.
Örnekteki kurala göre dış model çağrısına henüz izin verilmemiştir. Kendi sunucusu; veri yolu, sonuç kalitesi ve işletimi incelendiğinde aday olabilir. Sorumlu bir işletim ekibi yoksa bu seçenek de kullanıma hazır değildir. Farklı bir veri sınıfı veya belirli bir dış veri yolunun onaylanması kararı değiştirebilir.
Kaynaklar
Devamını okuyun
Tüm yazılar
ASES ile Yapay zekâ ve otomasyon
Yapay zekâ asistanları ve otomatik iş akışları