Echtzeitverarbeitung

Echtzeitverarbeitung verarbeitet eintreffende Ereignisse fortlaufend mit einem für die Anwendung festgelegten Latenzziel. Statt auf einen vollständigen Stapel zu warten, reagiert die Anwendung auf den Datenstrom. Das Wort „Echtzeit“ allein benennt weder eine feste Millisekundengrenze noch eine garantierte maximale Reaktionszeit.

Im fiktiven Beispiel zählt ein Dashboard abgeschlossene Exportaufträge je Minute. Das Abschlussereignis für J-31 entsteht um 10:04, erreicht die Verarbeitung aber erst um 10:07. Beide Uhrzeiten verwenden dieselbe Zeitzone. Eine Auswertung nach Ereigniszeit ordnet es der Minute 10:04 zu; eine Auswertung nach Verarbeitungszeit der Minute 10:07. Beide beantworten unterschiedliche Fragen.

Schnelle Anzeige und vollständige Auswertung abstimmen

Soll die Anzeige nach Ereigniszeit zählen, braucht sie eine Regel für verspätete Meldungen: Wird ein bereits angezeigter Minutenwert korrigiert, oder wird die verspätete Meldung gesondert erfasst? Längeres Warten kann mehr Nachzügler einbeziehen, verzögert aber das Ergebnis. Eine Watermark markiert den angenommenen Fortschritt der Ereigniszeit. Auch Ereignisse mit früherem Zeitstempel können danach noch eintreffen.

Definieren Sie, wo die Latenzmessung beginnt und endet, wie alt der älteste wartende Eintrag ist und wie Rückstau sichtbar wird. Für verlässliche Zeitzuordnung gehören auch Zeitstempel und Uhrensynchronisierung zum Entwurf. Ein regelmäßig aktualisiertes Dashboard beweist für sich allein nicht, dass die zugrunde liegenden Ereignisse bereits vollständig verarbeitet wurden.

Quellen

• Apache Flink — Timely Stream Processing