Acil alarmlar somut bir eylem gerektirir
Kurgusal bir vaka, yinelenen hata bildirimlerini uyarılardan ayırıyor. Daha az kesinti tek başına güvenilirliğin arttığını kanıtlamaz.
Acil bir bildirim, çalışmayı ancak hemen yapılması gereken anlamlı bir müdahale varsa kesmelidir. Bütün uyarılar aynı öncelikteyse gerçek ayrımı nöbetçi yapmak zorunda kalır. Google SRE kitabı, sık kesintilerin önemli bildirimlerin de üstünkörü okunmasına veya görmezden gelinmesine yol açabileceğini anlatır.
10 bildirim, 10 olay değildir
Kurgusal örnekte uygulamanın 4 çalışan örneği proje listesindeki aynı sorunu bildirir. Buna, o anda hemen müdahale gerektirmeyen 6 CPU uyarısı eklenir. 4 + 6 = 10 hesabı bildirimleri sayar; bağımsız olayları değil. Bu nedenle ekip şu dağılımı tasarlar:
Sinyal | Örnekteki değerlendirme | Planlanan bildirim yolu |
|---|---|---|
Aynı portal sorununa ait 4 bildirim | Ortak olay bağlamı; etkilenen uygulama örnekleri görünür kalır. | Gruplanmış 1 acil bildirim. |
6 CPU uyarısı | Şu anda doğrudan müdahale gerekmiyor. | Acil kesinti oluşturmayan, görünür iş listesi. |
Bu dağılım açıklama için hazırlanmış örnektir; ölçülmüş işletim sonucu değildir. CPU uyarıları izlenmekten çıkarılmaz. Yalnız araştırılmaları farklı bir bildirim yolunu izler.
Daha az kesintide bağlam korunmalı
Alertmanager, gruplamayı ve yapılandırılmış alıcılara yönlendirmeyi destekler. Benzer bildirimler ortak bir bildirime dönüşürken hangi uygulama örneklerinin etkilendiği anlaşılmalıdır. Farklı bölge veya sorumluların bağımsız ele alınması gerekiyorsa ortak ad tek başına yeterli değildir.
Acil mesajların azalması, hata oranının düştüğünü veya hizmetin daha hızlı düzeldiğini göstermez. Uyarılar yalnız gizlenirse ya da bildirim kaybolursa nöbetçi yine daha az mesaj görür. Bu nedenle kalite, kaçırılan sorunlar ve bildirim yolunun çalışması üzerinden de değerlendirilmelidir.
Erken kaynak sinyali ne zaman acildir?
Bu, her zaman kullanıcıya görünen bir hatayı beklemek gerektiği anlamına gelmez. Prometheus, kesinti oluşmadan insan müdahalesi gerektirebilen kapasite darboğazlarını belirtir. Örneğin kritik depolama sıkıntısı yaklaşıyorsa veya gerekli yedeklilik yoksa zamanında müdahale acil olabilir.
Erteleme ciddi zarar olasılığını artırıyorsa ve çağrılan ekip şimdi etkili müdahale edebiliyorsa değerlendirme değişir. O zaman erken kaynak sinyali de acil yola aittir. Belirleyici olan, hangi somut tepkinin beklendiği ve zamanında verilip verilemeyeceğidir; yalnız CPU, uygulama veya altyapı kategorisi bunu belirlemez.
Kaynaklar
Devamını okuyun
Tüm yazılar
ASES ile Bulut ve işletim
Barındırma, yayına alma, bakım ve destek