Beskriv alarmer med fund og en reaktionsplan
Et gennemarbejdet portaleksempel forbinder fejlrate, ansvarlig og første kontrol. En alarm alene beviser hverken årsagen eller en vellykket genopretning.
En nyttig alarm viser, hvad der er galt med en applikation, og hvilken første reaktion der er planlagt. Modtageren skal kunne forstå den uden at gætte tjenesten ud fra et ukendt servernavn.
Fra brugeropgave til signal
Begynd med en vigtig opgave, eksempelvis at indlæse projektlisten i en kundeportal. For interaktive tjenester anbefaler Prometheus blandt andet fejl, brugeren oplever, og egnede oversigter til at undersøge årsager. Et mål for ressourceudnyttelse kan give sammenhæng; det forklarer ikke automatisk, om projektlisten virker.
Fastlæg, hvilke anmodninger og svar målingen omfatter. Gentagne kald er flere anmodninger, ikke automatisk flere berørte personer. En fejlrate kræver derfor en klar nævner.
Et gennemarbejdet alarmeksempel
Det følgende softwareteam, måleværdierne og reglerne er opdigtede. Eksemplet beskriver hverken en ASES-hændelse, generelle grænseværdier eller et supportløfte. Alle registrerede anmodninger for den nævnte operation er nævneren her. Reglen vurderer et vindue på 5 minutter uden yderligere krav til varighed.
Felt | Eksempel |
|---|---|
Melding | Projektlisten i kundeportalen returnerer serverfejl. |
Omfang |
|
Tidsvindue | 09:10–09:15, Europe/Berlin |
Fund | 100 anmodninger, heraf 20 med serverfejlsvar |
Eksempelregel | Mere end 10 % serverfejl i vinduet på 5 minutter ved mindst 50 anmodninger. |
Ansvarlig | Tilkaldevagten i |
Startpunkt | Oversigt for netop denne tjeneste, operation og periode; runbook “Projektliste”. |
Her er både mindsteantallet af anmodninger og fejlgrænsen overskredet. De 20 % beskriver anmodninger i dette vindue. De beviser hverken en tilsvarende andel berørte brugere eller en bestemt årsag.
Forbered den første reaktion
Runbooken er en kort vejledning til den planlagte diagnose. Først bekræfter den ansvarlige overtagelsen og undersøger, om problemet fortsat er der. Bekræftelsen betyder ikke, at fejlen er løst. De valgte filtre skal anvende samme tjeneste, operation og tidsperiode.
Derefter afgrænses berørte instanser, versioner og afhængigheder. En release klokken 09:08 ville her være en hændelse at undersøge, ikke et bevis på årsagen. Tilbagerulning kræver en egnet, på forhånd kontrolleret fremgangsmåde; alarmen giver ikke adgang til vilkårlige genstarter eller ændringer.
Kontrollér også meldingsvejen
Alertmanager kan gruppere lignende alarmer og sende dem til konfigurerede modtagere. Berørte instanser skal stadig kunne ses. Uafhængige problemer må ikke falde sammen alene på grund af lignende navne.
Kontrollér med en tydeligt markeret testmelding også modtagelse, overtagelse og den planlagte reservevej. Prometheus nævner udtrykkeligt overvågning af selve overvågningen. Senere normale målinger kan afslutte alarmtilstanden; de erstatter hverken kontrol af brugeropgaven eller videre årsagsanalyse. Funktionelt forkerte succesfulde svar eller langsomme svar dækkes ikke af denne simple serverfejlsregel alene.
Kilder
Læs videre
Alle artikler
Cloud & drift med ASES
Hosting, deployment, vedligeholdelse og support