Gerçek zamanlı işleme

Gerçek zamanlı işleme, gelen olayları uygulama için belirlenmiş bir gecikme hedefiyle sürekli işler. Uygulama, tamamlanmış bir veri grubunu beklemek yerine veri akışına tepki verir. “Gerçek zamanlı” ifadesi tek başına sabit bir milisaniye sınırı veya garantili azami yanıt süresi belirtmez.

Kurgusal örnekte bir gösterge paneli, tamamlanan dışa aktarma işlerini dakika bazında sayar. J-31 işinin tamamlanma olayı 10:04 saatinde oluşur ancak işleme katmanına 10:07 saatinde ulaşır. İki saat de aynı saat dilimindedir. Olay zamanına göre sayım, olayı 10:04 dakikasına; işleme zamanına göre sayım ise 10:07 dakikasına dahil eder. Bu iki yaklaşım farklı soruları yanıtlar.

Hızlı gösterim ile eksiksiz değerlendirmeyi birlikte düşünün

Panel olay zamanına göre sayacaksa geç gelen bildirimler için kural gerekir: Önceden gösterilen dakika değeri düzeltilecek mi, yoksa geç gelen bildirim ayrı mı kaydedilecek? Daha uzun beklemek, daha fazla gecikmiş olayı kapsayabilir ancak sonucu geciktirir. Watermark, olay zamanının varsayılan ilerleyişini gösterir. Daha eski zaman damgalı olaylar yine de sonradan gelebilir.

Gecikme ölçümünün nerede başlayıp biteceğini, bekleyen en eski kaydın yaşını ve iş birikiminin nasıl görünür olacağını tanımlayın. Güvenilir zaman eşlemesi için zaman damgaları ve saat eşitlemesi de tasarıma dahildir. Düzenli güncellenen bir panel, alttaki olayların eksiksiz işlendiğini tek başına kanıtlamaz.

Kaynaklar

• Apache Flink — Timely Stream Processing