[Community-Discuss] AFRINIC Services outage May 30, 2019 - post mortem report

[AFRINIC Communication]

Dear colleagues, 

On May 30, 2019 AFRINIC services faced a major outage. At 14:29 MUT on that same day, AFRINIC NOC team started receiving alert about service unavailability and degradation. The team reacted instantly to identify the root cause of the alerts and restore services.

Few minutes later, communication was sent to inform our community and our fellow RIR on the ongoing outage. NOC team also proceed to activate counter measure and allow some critical services to be restored from another location.

Upon further investigation we determined that all AFRINIC’s equipment at our main data centre in Johannesburg had lost power. The issue was fixed with the help of our hosting partner Internet Solution which team was, once the problem was identified, quick to respond and provide a remediation to our outage.

It is unfortunate that this incident happened while the AFRINIC infrastructure enhancement plan is still in his implementation phase, but our community can rest assure that AFRINIC is moving toward its goal to provide resilience to AFRINIC infrastructure.

Once again, we thank our community for the support and encouragement while we go through this unfortunate issue.

………………………….


Panne des services AFRINIC le 30 mai 2019 - rapport post mortem

Chers collègues,

Le 30 mai 2019, les services AFRINIC ont fait face à une panne majeure. Le même jour, à 14 h 29 MUT, l’équipe technique d’AFRINIC a commencé à recevoir une alerte concernant l’indisponibilité et la dégradation du service. L'équipe a immédiatement réagi pour identifier la cause première des alertes et restaurer les services.

Quelques minutes plus tard, une communication a été envoyée pour informer notre communauté et nos collègues RIR de la panne en cours. L’équipe technique s’active également à prendre les mesures nécessaires afin de  et permettre à certains services critiques d’être restaurés à partir d’un autre emplacement.

Après une enquête plus approfondie, nous avons constaté que tous les équipements d’AFRINIC situés dans notre principal centre de données à Johannesburg avaient perdu leur alimentation. Le problème a été résolu avec l’aide de notre partenaire d’hébergement Internet Solution, qui, une fois le problème identifié, a été rapide à réagir et à apporter une solution à notre problème.

Il est regrettable que cet incident se soit produit alors que le plan d'amélioration de l'infrastructure d'AFRINIC en est encore à sa phase d'implémentation, mais notre communauté peut être assurée qu'AFRINIC s'achemine vers son objectif de fournir une résilience à son infrastructure.

Une fois encore, nous remercions notre communauté pour le soutien et les encouragements apportés  face à cette situation regrettable.