Tijdens het geplande onderhoud aan een van de top of rack switches in het datacenter (behorend bij onze dedicated server racks in het cluster), heeft een misconfiguratie plaatsgevonden. Hierdoor werd voor een van de server racks in ons netwerk alle verkeer van en naar het interne netwerk tegengehouden, waardoor enkele VPS'en en servers onbereikbaar werden voor publiek verkeer. Nadat een van de datacenter specialisten de top of rack switch configuratie opnieuw heeft ingeladen en geherstart, was het probleem verholpen. Om dit in de toekomst sneller te kunnen identificeren, zal hiervoor een custom monitoring oplossing worden toegevoegd.
Nogmaals excuses voor het ongemak. We gaan op basis van bovenstaande kijken hoe we onze interne processen hier ook op aan kunnen passen, om zo een zo hoog mogelijke uptime en stabiliteit voor alle diensten te kunnen blijven garanderen.
00:18 uur - Netwerk issue met enkele servers gedetecteerd
00:32 uur - Probleem is geïdentificeerd en we zijn bezig met herstel
01:14 uur - De onderstaande servers zijn nog niet volledig hersteld qua bereikbaarheid:
-
v2104.myfasthosting.com
-
v2122.myfasthosting.com
-
v2161.myfasthosting.com
-
v2162.myfasthosting.com
-
v2163.myfasthosting.com
-
v2172.myfasthosting.com
-
s1117.myfasthosting.com
01:43 uur - Het herstel loopt nog. Dank voor je geduld.
03:52 uur - Het probleem is volledig opgelost.
