Elaborazione in tempo reale

L’elaborazione in tempo reale tratta gli eventi in arrivo in modo continuo, secondo un obiettivo di latenza definito per l’applicazione. Invece di attendere un lotto completo, l’applicazione reagisce a un flusso di dati. L’espressione «tempo reale» non specifica da sola un limite fisso in millisecondi né un tempo massimo di risposta garantito.

In un esempio fittizio, una dashboard conta al minuto i processi di esportazione completati. L’evento di completamento di J-31 si verifica alle 10:04, ma arriva all’elaborazione soltanto alle 10:07. Entrambi gli orari usano lo stesso fuso. Un calcolo basato sull’ora dell’evento lo assegna al minuto 10:04; uno basato sull’ora di elaborazione al minuto 10:07. Rispondono a domande diverse.

Conciliare una visualizzazione rapida e risultati completi

Se la dashboard conta in base all’ora dell’evento, serve una regola per gli arrivi tardivi: si corregge il totale di un minuto già mostrato o si registra separatamente l’evento tardivo? Attendere più a lungo può includere più eventi in ritardo, ma rinvia il risultato. Un watermark segna l’avanzamento presunto del tempo degli eventi. Dopo possono ancora arrivare eventi con timestamp precedenti.

Definisca dove inizia e finisce la misurazione della latenza, l’età del record in attesa più vecchio e come rendere visibile l’accumulo. Anche timestamp e sincronizzazione degli orologi rientrano in un’assegnazione temporale affidabile. Una dashboard aggiornata regolarmente non dimostra da sola che tutti gli eventi sottostanti siano già stati elaborati.

Fonti

• Apache Flink — Timely Stream Processing