Vyhodnocení incidentu
Incident: Pokladna nedostupná 47 minut
Datum: 11. října 2027
Závažnost: Vysoká
Vedoucí incidentu: Hamza Idrissi
Vyhodnocení zpracoval(a): Anna Berg
Datum vyhodnocení: 14. října 2027
Toto vyhodnocení je vedeno bez hledání viníka. Jeho cílem je poučit se a zlepšit systémy a procesy, ne obviňovat lidi.
Shrnutí
Dne 11. října od 14:03 do 14:50 nemohli zákazníci platit. Změna v databázi zaplnila disk a služba pokladny se zastavila.
Dopad
Přibližně 310 neúspěšných pokusů o platbu. Odhadovaná ztráta tržeb 9 000 EUR. 42 požadavků na podporu. Žádná data se neztratila.
Časová osa
14:03 Alert na neúspěšné platby
14:08 Inženýr v pohotovosti začíná vyšetřovat
14:21 Příčina nalezena: plný disk
14:38 Staré logy odstraněny, služba restartována
14:50 Platby fungují, incident uzavřen
Příčiny
Přímá příčina: disk se zaplnil na 100 procent.
Skryté příčiny: žádný alert na využití disku, logy se nikdy nerotovaly, změna nebyla otestována s reálným objemem dat.
Co fungovalo dobře
Alert na platby se spustil za 3 minuty. Tým spolupracoval a informoval zákazníky na stavové stránce.
Co se nepovedlo nebo bylo o štěstí
Nalezení příčiny trvalo 18 minut, protože dashboard neukazoval využití disku. Runbook byl zastaralý.
Následná opatření
| Akce | Vlastník | Termín |
|---|---|---|
| Přidat alert na disk při 80 procentech | Hamza Idrissi | 21. října |
| Nastavit rotaci logů | Daniel Roche | 21. října |
| Aktualizovat runbook | Anna Berg | 28. října |
Poučení pro ostatní
Všechny služby by měly mít alerty na disk a rotaci logů.