Infrastruktur
Die Störung, die sich bei uns meldete, bevor der Kunde sie sah
Am ersten Tag einer Übernahme meldete die Überwachung, dass das Backup des Vorgängers seit 57 Tagen still ins Leere lief. Niemand hatte es gemerkt. Eine Geschichte darüber, warum die beste Störungsmeldung von der Maschine kommt.
Wir haben ein System übernommen. Am ersten Tag, noch bevor wir irgendetwas umgestellt hatten, schlug unsere Überwachung an: Das Backup dieses Systems lief seit 57 Tagen ins Leere. Nichts wurde mehr gesichert. Und niemand hatte es gemerkt, weil nach außen alles normal aussah.
So laufen Übernahmen bei uns ab: Bevor wir am Bestand etwas ändern, hängen wir ihn erst einmal an unsere Überwachung. Metriken einsammeln, Erreichbarkeit prüfen, Zertifikate im Blick, und eben auch: Wann wurde das letzte Mal erfolgreich gesichert? Das ist Routine. Meistens passiert dabei nichts Aufregendes. Diesmal schon.
Die Anzeige, die keiner sehen wollte
Der Alarm hieß, technisch nüchtern, BackupStale. Übersetzt: Die letzte erfolgreiche Sicherung liegt zu lange zurück. Wie lange, stand direkt daneben. 57 Tage.
Ich habe erst überlegt, ob unsere frisch eingerichtete Prüfung sich vertut, ob wir vielleicht auf den falschen Zeitstempel schauen. Das ist der ehrliche Reflex, wenn eine Zahl zu heftig ist: Man verdächtigt zuerst das eigene Messgerät. Also nachgesehen, von Hand. Der Zeitstempel stimmte. Die letzte Sicherung, die wirklich durchgelaufen war, lag fast zwei Monate zurück.
Zwei Monate. In denen jeden Tag ganz normal weitergearbeitet wurde. Daten kamen rein, wurden geändert, gelöscht. Und im Hintergrund lief ein Backup-Job, der jede Nacht brav startete und jede Nacht ins Leere lief. Kein Mensch bekam davon etwas mit, denn ein stiller Ausfall macht keinen Lärm. Das ist ja das Gemeine daran.
Warum niemand es merkte
Ein Backup, das läuft, meldet sich nicht. Ein Backup, das nicht läuft, meldet sich auch nicht, es sei denn, jemand hat es so eingerichtet, dass genau dieses Schweigen einen Alarm auslöst. Genau das war hier nicht der Fall gewesen. Der Job war irgendwann vor 57 Tagen kaputtgegangen, vermutlich eine abgelaufene Zugangsberechtigung zum Speicher, und danach passierte einfach: nichts. Keine Fehlermail, keine rote Zahl auf irgendeinem Bildschirm, den jemand ansieht.
Der einzige Moment, in dem so ein Ausfall auffällt, ist der schlimmstmögliche: wenn man das Backup tatsächlich braucht. Wenn eine Platte stirbt, eine Datenbank sich zerlegt, jemand versehentlich das Falsche löscht. Dann greift man zur Sicherung und stellt fest, dass die letzte brauchbare Version zwei Monate alt ist. Zwei Monate Arbeit, weg.
Was daraus wurde
Bei uns ist genau diese Frage, „meldet sich das Schweigen?“, eine feste Prüfung. Jede Sicherung, die wir betreiben, hat einen Wächter, der nicht auf Erfolg wartet, sondern auf Ausbleiben. Wird eine Nacht ausgelassen, wird die Sicherung zu alt oder schlägt der Integritäts-Check fehl, schlägt der Alarm an, bei uns, nicht beim Kunden. Deshalb stand die 57-Tage-Anzeige am ersten Tag der Übernahme sofort auf dem Schirm: nicht weil wir Glück hatten, sondern weil wir immer zuerst danach schauen.
Der Fund selbst war schnell behoben. Zugang erneuert, Sicherung neu aufgesetzt, ab da lief sie wieder, und wir stellen sie regelmäßig probeweise zurück, damit „läuft wieder“ auch „ist wirklich benutzbar“ heißt. Aber das ist gar nicht der Punkt der Geschichte.
Der Punkt ist: Der Kunde erfuhr von seinem eigenen 57-Tage-Loch nicht durch einen Datenverlust, sondern durch unseren Anruf am ersten Tag. Das ist der Unterschied zwischen einer Überwachung, die es gibt, und einer, die keiner scharf gestellt hat.
Die beste Zahl im Betriebsbericht ist die Null. Die zweitbeste ist die, die wir sehen, bevor sie jemandem wehtut.
Wie so eine Überwachung technisch aufgebaut ist, steht auf koetting.io/de/betrieb/monitoring. Wer den ganzen Betrieb zum Festpreis abgeben will, findet das Angebot unter koetting.io/de/betrieb.