Realtidsbearbetning

Realtidsbearbetning hanterar inkommande händelser löpande mot ett latensmål som fastställts för tillämpningen. I stället för att vänta på en komplett batch reagerar tillämpningen på en dataström. Ordet ”realtid” anger inte i sig en fast millisekundgräns eller en garanterad maximal svarstid.

I ett fiktivt exempel räknar en instrumentpanel slutförda exportjobb per minut. Sluthändelsen för J-31 inträffar klockan 10:04 men når bearbetningen först klockan 10:07. Båda tiderna använder samma tidszon. En beräkning efter händelsetid placerar den i minuten 10:04; en beräkning efter bearbetningstid i minuten 10:07. De besvarar olika frågor.

Samordna snabb visning och fullständiga resultat

Om visningen räknar efter händelsetid behövs en regel för sena meddelanden: rättas ett redan visat minutvärde eller registreras den sena händelsen separat? Längre väntan kan få med fler försenade händelser men skjuter upp resultatet. En watermark markerar den antagna framdriften i händelsetiden. Händelser med tidigare tidsstämplar kan ändå komma senare.

Bestäm var latensmätningen börjar och slutar, hur gammal den äldsta väntande posten är och hur eftersläpning blir synlig. Tidsstämplar och klocksynkronisering hör också till en tillförlitlig tidsplacering. En instrumentpanel som uppdateras regelbundet bevisar inte i sig att alla underliggande händelser redan är färdigbehandlade.

Källor

• Apache Flink — Timely Stream Processing