Prometheus und Grafana für kleine Unternehmen

Die Bausteine und was sie tun

Prometheus und Grafana werden oft in einem Atemzug genannt. Dahinter stecken mehrere getrennte Programme, die jeweils eine Aufgabe haben.

• Prometheus sammelt Messwerte. Es fragt in festen Abständen bei allen überwachten Systemen nach und speichert die Antworten als Zeitreihen: Wie voll ist die Platte, wie hoch ist die Last, läuft der Dienst. Außerdem prüft Prometheus die Alarmregeln.
• Grafana zeigt die Messwerte an. Es baut aus den Zeitreihen Diagramme und Übersichten. Grafana selbst sammelt nichts, es liest nur aus Prometheus und anderen Quellen.
• Alertmanager verschickt die Alarme. Prometheus meldet ihm, dass eine Regel greift. Alertmanager bündelt gleiche Meldungen, unterdrückt Wiederholungen und schickt den Alarm an die richtige Stelle, etwa per Mail oder Chat.
• node-exporter läuft auf jedem Server und liefert dessen Werte: Prozessor, Arbeitsspeicher, Platten, Netzwerk.
• cAdvisor liefert die gleichen Werte für einzelne Container. So siehst du, welcher Container gerade den Speicher füllt.
• Blackbox-Exporter prüft von außen. Er ruft deine Website oder deinen Dienst so auf, wie es ein Kunde tun würde, und meldet, ob die Antwort kommt und wie lange das Zertifikat noch gültig ist.

Bei mir sammelt Prometheus laufend die Messwerte aller Server und Container, Grafana zeigt sie an und Alertmanager alarmiert mich. Von außen prüfen Blackbox-Tests im Minutentakt, ob ein Dienst erreichbar ist und sein Zertifikat gültig bleibt.

Die Überwachung gehört nicht auf den überwachten Server

Läuft Prometheus auf demselben Server wie deine Anwendung, fällt beides gemeinsam aus. Dann kommt genau in dem Moment kein Alarm, in dem du ihn brauchst. Dasselbe gilt, wenn die Überwachung im selben Netz oder beim selben Anbieter hängt und dort die Leitung ausfällt.

Meine Überwachung läuft deshalb auf einem eigenen Server in Deutschland, getrennt von den Systemen, die sie überwacht. Für eine kleine Firma muss das kein großer Server sein. Wichtig ist nur, dass er nicht mit dem Rest zusammen ausfällt.

Welche Alarme sich für eine kleine Firma lohnen

Mit Prometheus kannst du fast alles messen. Für den Alltag einer kleinen Firma reichen wenige Alarme, auf die dann aber auch jemand reagiert.

• Platte bald voll. Eine volle Platte legt Datenbanken, Mailserver und Sicherungen lahm. Der Alarm sollte kommen, solange noch Zeit zum Aufräumen ist, und nicht erst bei 100 Prozent.
• Dienst nicht erreichbar. Von außen geprüft, so wie deine Kunden den Dienst sehen. Ein Server kann laufen, während die Website trotzdem nicht antwortet.
• Zertifikat läuft ab. Eigentlich erneuern sich Zertifikate automatisch. Wenn das einmal hakt, sehen deine Kunden eine Warnung im Browser. Ein Alarm einige Tage vorher gibt dir Zeit.
• Sicherung zu alt. Eine Sicherung, die still nicht mehr läuft, fällt sonst erst auf, wenn du sie brauchst. Der Alarm prüft, wann die letzte erfolgreiche Sicherung war.

Ein Beispiel für eine Regel, die meldet, wenn auf einem Dateisystem weniger als 10 Prozent frei sind:

node_filesystem_avail_bytes / node_filesystem_size_bytes < 0.10

In der Praxis schließt du dabei Systemlaufwerke wie tmpfs aus und lässt die Bedingung einige Minuten anstehen, bevor der Alarm kommt.

Typische Fallen

Zu viele Alarme. Wer jeden kurzen Lastanstieg meldet, bekommt so viele Nachrichten, dass niemand mehr hinschaut. Dann geht der eine wichtige Alarm unter. Für jeden Alarm sollte feststehen, was danach zu tun ist. Gibt es nichts zu tun, ist es kein Alarm, sondern ein Diagramm.

Keiner reagiert. Ein Alarm an ein Sammelpostfach, das niemand liest, nützt nichts. Vorher muss klar sein, wer den Alarm bekommt, zu welchen Zeiten und wer ihn vertritt. Überwachung allein bedeutet keine Rund-um-die-Uhr-Bereitschaft.

Die Überwachung überwacht sich nicht selbst. Fällt Prometheus oder Alertmanager aus, ist es still. Stille sieht genauso aus wie „alles in Ordnung“. Deshalb braucht es eine Prüfung von außen, die meldet, wenn von der Überwachung selbst nichts mehr kommt.

Lohnt sich der Eigenbau für dich?

Ehrlich gesagt: Für eine kleine Firma ist das oft zu viel, um es selbst aufzubauen. Prometheus, Grafana und Alertmanager wollen eingerichtet, aktualisiert und selbst überwacht werden. Die Alarme müssen passen, und jemand muss reagieren. Das ist laufende Arbeit, auch wenn gerade nichts passiert.

Wenn du gerne selbst an Servern arbeitest und jemanden im Team hast, der sich darum kümmert, ist der Eigenbau ein gutes Projekt. Wenn nicht, ist es meist sinnvoller, den Betrieb abzugeben und die Überwachung gleich mit.