Yapay zekâ denetim kuralları
Guardrails, yapay zekâ uygulamasının davranışını sınırlar ve denetler. Model talimatı ile teknik uygulamanın görevleri farklıdır.
Guardrails, yapay zekâ uygulamasının davranışını sınırlamak için kullanılan kural ve denetimlerdir. Girdileri, çıktıları veya önerilen eylemleri inceleyebilir. Model talimatları, teknik kontroller ve uygun onaylar bunlara dahil olabilir.
Mesaj örneği
Varsayımsal asistan e-posta taslağı hazırlar. Gönderim, ayrıca denetlenen yetkiye ve öngörülen onaya bağlı kalır. Modelin metni sorunsuz bulması gönderim yolunu açmaz.
Çıktı filtresi yasak içeriği kaçırabilir veya izinli içeriği engelleyebilir. Prompt’taki bir talimat da kesin bir erişim sınırı değildir. Denetimler işe uygun olmalı, izinli ve yasak durumlarla sınanmalıdır. Guardrails adı tek başına güvenlik kanıtı değildir.
Kaynaklar
İlgili terimler
- Human-in-the-LoopHuman-in-the-Loop, otomatik akışa etkin insan katılımını anlatır. İşe yarayan inceleme için anlaşılır bilgi ve müdahale olanağı gerekir.
- Prompt injectionPrompt injection, araya sokulan talimatlarla yapay zekâ uygulamasını yönlendirmeye çalışır. Bu talimatlar okunan belgelerde de bulunabilir.
- En az ayrıcalık ilkesiEn az ayrıcalık, yetkiyi gerekli görev ve veri kapsamıyla sınırlar. Gerekli iş yapılabilir kalır; gereksiz haklar kaldırılır.
- Model kartıModel kartı; bir yapay zekâ modelinin amacını, dayanaklarını, değerlendirme koşullarını ve bilinen sınırlarını belirli sürüm için belgeler.
- Yapay zekâya hazırlıkYapay zekâya hazırlık; bir proje için amaç, kullanılabilir veri, yetkinlik, sorumluluk ve işletim sürecinin durumunu değerlendirir.
- Bağlam mühendisliğiBağlam mühendisliği, her model çağrısı için uygun talimatları, mesajları, kaynakları ve güncel durum bilgisini hazırlar.
Bu konudaki yazılar
ASES ile Yapay zekâ ve otomasyon
Yapay zekâ asistanları ve otomatik iş akışları