Nachanalyse eines Vorfalls
Vorfall: Bezahlvorgang 47 Minuten lang nicht verfügbar
Datum: 11. Oktober 2027
Schweregrad: Hoch
Vorfallleitung: Hamza Idrissi
Analyse erstellt von: Anna Berg
Datum der Analyse: 14. Oktober 2027
Diese Analyse erfolgt ohne Schuldzuweisung. Ziel ist es, zu lernen und Systeme und Abläufe zu verbessern, nicht Personen zu beschuldigen.
Zusammenfassung
Am 11. Oktober konnten Kunden von 14:03 bis 14:50 Uhr nicht bezahlen. Eine Datenbankänderung füllte die Festplatte, und der Bezahldienst stoppte.
Auswirkungen
Etwa 310 fehlgeschlagene Zahlungsversuche. Geschätzter Umsatzverlust von EUR 9.000. 42 Support-Tickets. Es gingen keine Daten verloren.
Ablauf
14:03 Alarm für fehlgeschlagene Zahlungen
14:08 Der Bereitschaftsingenieur beginnt zu prüfen
14:21 Ursache gefunden: Festplatte voll
14:38 Alte Logs entfernt, Dienst neu gestartet
14:50 Zahlungen funktionieren, Vorfall abgeschlossen
Ursachen
Direkte Ursache: Die Festplatte erreichte 100 Prozent.
Grundlegende Ursachen: Kein Alarm für Festplattennutzung, Logdateien wurden nie rotiert, die Änderung wurde nicht mit realen Datenmengen getestet.
Was gut lief
Der Zahlungsalarm wurde nach 3 Minuten ausgelöst. Das Team arbeitete zusammen und informierte die Kunden auf der Statusseite.
Was schlecht lief oder Glück war
Die Ursachenfindung dauerte 18 Minuten, weil das Dashboard die Festplattennutzung nicht anzeigte. Das Runbook war veraltet.
Folgemaßnahmen
| Maßnahme | Verantwortlich | Fälligkeitsdatum |
|---|---|---|
| Alarm für Festplattennutzung bei 80 Prozent hinzufügen | Hamza Idrissi | 21. Oktober |
| Logrotation einrichten | Daniel Roche | 21. Oktober |
| Runbook aktualisieren | Anna Berg | 28. Oktober |
Erkenntnisse für andere Teams
Alle Dienste sollten Alarmmeldungen zur Festplattennutzung und Logrotation haben.