Vorrei che alcuni alert con bassa priorità non fossero invati durante la notte.

Prometheus ha alcune function legate al tempo che si possono utilizzare, come per esempio la time(), che ritorna il tempo in UTC.

Visto però che almeno in Europa esiste l’ora legale, tutte le soluzioni che si basano solo l’UTC soffrono del problema dell’ora solare, cioè lo spostamento avanti dell’orario di un’ora durante l’estate; tutte queste soluzioni hanno bisogno di aggiustamenti durante l’anno in funzione del fatto che l’ora solare sia attiva o meno.

Per esempio in Italia abbiamo il timezone Europe/Rome che può corrispondere ad un UTC +1 o +2.

Fortunamente utilizzando le potenzialità del PromQL si può sopperire a questa problematica.

Prima di tutto (nel file dove sono definite le rules - alert_rules.yml?) possiamo registrare una metrica che indichi se l’ora solare è attiva o meno, per esempio così:

Questa espressione verificherà le varie condizioni sui mesi e giorni dell’anno e restituirà 1 se se siamo nel periodo dell’orario solare, 0 altrimenti.

A questo punto possiamo convertire il nostro orario UTC in Europe/Rome, registrandolo in un’altra rule.

Ricordo che l’orario Europe/Rome corrisponde a UTC + 1 ora (3600 secondi) + un’altra ora se siamo in estate.

Adesso possiamo creare la nostra metrica europe_rome_hour che contiene l’orario del giorno.

(esiste una funzione Prometheus hour() che restituisce l’ora del giorno in UTC e quindi non fa al caso nostro.

Con questa nuova metrica europe_home_hour siamo già a buon punto, manca solo l’ultimo passo!

A questo punto vediamo un possibile utilizzo di europe_rome_hour nell’espressione di un’alert.

Non è proprio immediato come uno potrebbe aspettarsi, vero?

La spiegazione di come combinare le alert conditions la puoi trovare qui Combining alert conditions.

Filtrare gli alert in funzioni di condizioni legate all’orario del giorno non è per niente banale in Prometheus + Alertmanager. Una piccola guida come questa può far risparmiare molto tempo a chi approccia al problema per la prima volta, speriamo ti sia stata di aiuto e che possa essere facilmente adattata alle tue esigenze.

La problematica del Time of day based alert routing/notification è tratta in una issue ufficiale #876 dell’alertmanager.

Questo documento è un ri-adattamento dell’articolo di Tom Fawcett su Medium Time of day based notifications with Prometheus and Alertmanager. Ringraziamo Tom per averci fatto risparmiare un po’ di tempo la prima volta che abbiamo affrontato questa problematica.