Rétrospective post-incident
Incident : Paiement indisponible pendant 47 minutes
Date : 11 octobre 2027
Gravité : Élevée
Responsable de l'incident : Hamza Idrissi
Rétrospective rédigée par : Anna Berg
Date de la rétrospective : 14 octobre 2027
Cette rétrospective est sans reproche. Elle vise à apprendre et à améliorer les systèmes et les processus, non à blâmer les personnes.
Résumé
Le 11 octobre, de 14:03 à 14:50, les clients n'ont pas pu payer. Un changement de base de données a rempli le disque et le service de paiement s'est arrêté.
Impact
Environ 310 tentatives de paiement échouées. Ventes perdues estimées à 9 000 EUR. 42 tickets d'assistance. Aucune donnée perdue.
Chronologie
14:03 Alerte pour paiements échoués
14:08 L'ingénieur d'astreinte commence les recherches
14:21 Cause trouvée : disque plein
14:38 Anciens journaux supprimés, service redémarré
14:50 Paiements fonctionnels, incident clôturé
Causes
Cause directe : le disque a atteint 100 pour cent.
Causes sous-jacentes : aucune alerte sur l'utilisation du disque, la rotation des fichiers journaux n'était pas configurée, le changement n'a pas été testé avec des volumes de données réels.
Ce qui a bien fonctionné
L'alerte de paiement s'est déclenchée en 3 minutes. L'équipe a collaboré et a tenu les clients informés sur la page de statut.
Ce qui a mal tourné ou tenait de la chance
Trouver la cause a pris 18 minutes car le tableau de bord n'affichait pas l'utilisation du disque. La procédure d'exploitation était obsolète.
Actions de suivi
| Action | Responsable | Date d'échéance |
|---|---|---|
| Ajouter une alerte disque à 80 pour cent | Hamza Idrissi | 21 octobre |
| Configurer la rotation des journaux | Daniel Roche | 21 octobre |
| Mettre à jour la procédure d'exploitation | Anna Berg | 28 octobre |
Enseignements pour les autres
Tous les services devraient avoir des alertes disque et une rotation des journaux.