Revizuire post-incident
Incident: Finalizarea comenzii indisponibilă timp de 47 de minute
Data: 11 octombrie 2027
Severitate: Ridicată
Responsabil de incident: Hamza Idrissi
Revizuire întocmită de: Anna Berg
Data revizuirii: 14 octombrie 2027
Această revizuire nu caută vinovați. Scopul ei este să învățăm și să îmbunătățim sistemele și procesele, nu să găsim persoane de vină.
Rezumat
Pe 11 octombrie, între 14:03 și 14:50, clienții nu au putut plăti. O modificare a bazei de date a umplut discul, iar serviciul de plată s-a oprit.
Impact
Aproximativ 310 încercări de plată eșuate. Vânzări pierdute estimate la 9.000 EUR. 42 de tichete de suport. Nu s-au pierdut date.
Cronologie
14:03 Alertă pentru plăți eșuate
14:08 Inginerul de gardă începe investigarea
14:21 Cauza găsită: discul plin
14:38 Logurile vechi au fost șterse, serviciul a fost repornit
14:50 Plățile funcționează, incidentul este închis
Cauze
Cauza directă: discul a ajuns la 100 la sută.
Cauze de fond: nu exista alertă pentru utilizarea discului, fișierele de log nu erau rotite niciodată, modificarea nu a fost testată cu volume reale de date.
Ce a mers bine
Alerta de plată s-a declanșat în 3 minute. Echipa a lucrat împreună și a ținut clienții la curent prin pagina de status.
Ce a mers prost sau a ținut de noroc
Găsirea cauzei a durat 18 minute, pentru că panoul de monitorizare nu arăta utilizarea discului. Procedura operațională era învechită.
Acțiuni de urmărire
| Acțiune | Responsabil | Termen |
|---|---|---|
| Adăugarea unei alerte de disc la 80 la sută | Hamza Idrissi | 21 octombrie |
| Configurarea rotației logurilor | Daniel Roche | 21 octombrie |
| Actualizarea procedurii operaționale | Anna Berg | 28 octombrie |
Lecții pentru celelalte echipe
Toate serviciile ar trebui să aibă alerte de disc și rotație a logurilor.