Evaluatie na incident
Incident: Checkout 47 minuten niet beschikbaar
Datum: 11 oktober 2027
Ernst: Hoog
Incidentleider: Hamza Idrissi
Evaluatie opgesteld door: Anna Berg
Datum evaluatie: 14 oktober 2027
Deze evaluatie is zonder schuldvraag. Het doel is leren en systemen en processen verbeteren, niet mensen de schuld geven.
Samenvatting
Op 11 oktober konden klanten van 14:03 tot 14:50 niet betalen. Door een databasewijziging liep de schijf vol en stopte de checkoutdienst.
Impact
Ongeveer 310 mislukte betalingspogingen. Geschatte omzetderving van EUR 9.000. 42 supporttickets. Er gingen geen gegevens verloren.
Tijdlijn
14:03 Melding voor mislukte betalingen
14:08 Dienstdoende engineer begint te zoeken
14:21 Oorzaak gevonden: schijf vol
14:38 Oude logs verwijderd, dienst herstart
14:50 Betalingen werken, incident gesloten
Oorzaken
Directe oorzaak: de schijf raakte 100 procent vol.
Onderliggende oorzaken: geen waarschuwing bij schijfgebruik, logbestanden werden nooit geroteerd, de wijziging was niet getest met echte datavolumes.
Wat goed ging
De waarschuwing voor betalingen kwam binnen 3 minuten. Het team werkte samen en hield klanten op de hoogte via de statuspagina.
Wat misging of geluk was
Het vinden van de oorzaak duurde 18 minuten omdat het dashboard het schijfgebruik niet toonde. Het runbook was verouderd.
Vervolgacties
| Actie | Eigenaar | Uiterste datum |
|---|---|---|
| Waarschuwing voor schijfgebruik bij 80 procent toevoegen | Hamza Idrissi | 21 oktober |
| Logrotatie instellen | Daniel Roche | 21 oktober |
| Runbook bijwerken | Anna Berg | 28 oktober |
Lessen voor anderen
Alle diensten zouden waarschuwingen voor schijfgebruik en logrotatie moeten hebben.