Realtimeverwerking

Realtimeverwerking verwerkt binnenkomende gebeurtenissen doorlopend volgens een latentiedoel voor de toepassing. De toepassing reageert op een gegevensstroom in plaats van op een volledige batch te wachten. Het woord ‘realtime’ alleen geeft geen vaste millisecondegrens of gegarandeerde maximale reactietijd aan.

In een fictief voorbeeld telt een dashboard voltooide exporttaken per minuut. De voltooiingsgebeurtenis voor J-31 ontstaat om 10:04, maar bereikt de verwerking pas om 10:07. Beide tijden gebruiken dezelfde tijdzone. Een berekening op gebeurtenistijd rekent deze tot minuut 10:04; een berekening op verwerkingstijd tot minuut 10:07. Ze beantwoorden verschillende vragen.

Stem een snelle weergave en volledige resultaten op elkaar af

Telt het dashboard op gebeurtenistijd, dan is een regel voor late meldingen nodig: wordt een al weergegeven minuuttotaal gecorrigeerd of wordt de late gebeurtenis apart vastgelegd? Langer wachten kan meer vertraagde gebeurtenissen meenemen, maar stelt het resultaat uit. Een watermark markeert de veronderstelde voortgang van de gebeurtenistijd. Gebeurtenissen met eerdere tijdstempels kunnen daarna nog binnenkomen.

Leg vast waar de latentiemeting begint en eindigt, hoe oud het oudste wachtende record is en hoe achterstand zichtbaar wordt. Ook tijdstempels en kloksynchronisatie horen bij een betrouwbare tijdtoewijzing. Een regelmatig ververst dashboard bewijst op zichzelf niet dat alle onderliggende gebeurtenissen al volledig zijn verwerkt.

Bronnen

• Apache Flink — Timely Stream Processing