<div dir="auto">+1 and Ack @saul</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, 10 Apr 2019, 12:57 Saul Stein, <<a href="mailto:saul@enetworks.co.za">saul@enetworks.co.za</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div bgcolor="white" lang="EN-ZA" link="blue" vlink="purple"><div class="m_-4592790368224664121WordSection1"><p class="MsoNormal"><span style="font-size:11.0pt;color:#1f497d">Agreed.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1f497d">There is a bigger issue at stake here: I have yet to see any evidence that AFRINIC takes RPKI seriously. <u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1f497d">The last issue I had, when no ROAs could be added, deleted etc, it was admitted that the issue was known about for over two weeks without anything on the announce list or being fixed! After escalation to the CEO and others it was fixed in a couple of hours!<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1f497d">RPKI is serious and needs to be taken seriously. We can’t continuously be having issues with it. It  is like customs at immigration being offline!<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1f497d">Cheers<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1f497d">Saul<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1f497d"><u></u> <u></u></span></p><div><div style="border:none;border-top:solid #e1e1e1 1.0pt;padding:3.0pt 0cm 0cm 0cm"><p class="MsoNormal"><b><span lang="EN-US" style="font-size:11.0pt;color:windowtext">From:</span></b><span lang="EN-US" style="font-size:11.0pt;color:windowtext"> Mark Tinka [mailto:<a href="mailto:mark.tinka@seacom.mu" target="_blank" rel="noreferrer">mark.tinka@seacom.mu</a>] <br><b>Sent:</b> 10 April 2019 08:32 AM<br><b>To:</b> <a href="mailto:community-discuss@afrinic.net" target="_blank" rel="noreferrer">community-discuss@afrinic.net</a><br><b>Subject:</b> Re: [Community-Discuss] 06 April 2019 RPKI incident - Postmortem report<u></u><u></u></span></p></div></div><p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p><p class="MsoNormal" style="margin-bottom:12.0pt"><span lang="EN-GB" style="font-family:"Tahoma",sans-serif">Thanks, Cedrick.<br><br>A question that is, perhaps, obvious... are you able to take the human component out of this? If 2 reminders were not enough to get the humans to act, I'm not sure the current methodology is sustainable.<br><br>Mark.</span><span lang="EN-GB"><u></u><u></u></span></p><div><p class="MsoNormal"><span lang="EN-GB">On 8/Apr/19 17:46, Cedrick Adrien Mbeyet wrote:<u></u><u></u></span></p></div><blockquote style="margin-top:5.0pt;margin-bottom:5.0pt"><p class="MsoNormal"><span lang="EN-US">Dear AFRINIC community,</span><span lang="EN-GB"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">Find below postmortem report on the incident that happen on 06 April 2019. </span><span lang="EN-GB"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"> </span><span lang="EN-GB"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">The AFRINIC RPKI engine has an offline part that has to be renewed on a monthly bases. The process is known, documented and automated reminders set. The system is set to send 2 reminders each month, one 15 days prior to the expiry date and the second one 7 days before expiry. On the 2nd half of March, the monitoring system sent a reminder to perform the offline refresh but this was not acted upon. </span><span lang="EN-GB"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"> </span><span lang="EN-GB"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"> </span><span lang="EN-GB"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">On Saturday 06 April 2019,  Certificate revocation List (CRL) and the manifest file of AFRINIC RPKI repository expired (around 07:24AM UTC). Our monitoring system picked this up. The immediate action was to generate new certificates and manifest file and upload them onto RPKI engine system.</span><span lang="EN-GB"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"> </span><span lang="EN-GB"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">The failure was as a result of human error, no changes were made on the system but we have taken additional steps to the existing process to ensure that this does not happen again. We do acknowledge that it is unacceptable to have such a failure with critical infrastructure and necessary done in this regard. </span><span lang="EN-GB"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"> </span><span lang="EN-GB"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"> </span><span lang="EN-GB"><u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">We do apologize for the inconvenience caused and thank you for your patience in this regard.</span><span lang="EN-US"> </span><span lang="EN-GB"><u></u><u></u></span></p><pre>-- <u></u><u></u></pre><pre>_______________________________________________________________<u></u><u></u></pre><pre>Cedrick Adrien Mbeyet                                           <u></u><u></u></pre><pre>Infrastructure Unit Manager, AFRINIC Ltd.<u></u><u></u></pre><pre>t:  +230 403 5100 / 403 5115 | f: +230 466 6758 | tt: @afrinic | w: <a href="http://www.afrinic.net" target="_blank" rel="noreferrer">www.afrinic.net</a><u></u><u></u></pre><pre><a href="http://facebook.com/afrinic" target="_blank" rel="noreferrer">facebook.com/afrinic</a> | <a href="http://flickr.com/afrinic" target="_blank" rel="noreferrer">flickr.com/afrinic</a> | <a href="http://youtube.com/afrinicmedia" target="_blank" rel="noreferrer">youtube.com/afrinicmedia</a><u></u><u></u></pre><pre>______________________________________________________<u></u><u></u></pre><pre><u></u> <u></u></pre></blockquote><p class="MsoNormal"><span style="font-family:"Times New Roman",serif"><u></u> <u></u></span></p></div></div>_______________________________________________<br>
Community-Discuss mailing list<br>
<a href="mailto:Community-Discuss@afrinic.net" target="_blank" rel="noreferrer">Community-Discuss@afrinic.net</a><br>
<a href="https://lists.afrinic.net/mailman/listinfo/community-discuss" rel="noreferrer noreferrer" target="_blank">https://lists.afrinic.net/mailman/listinfo/community-discuss</a><br>
</blockquote></div>