Perturbations sur notre site suite à l’incendie ovh

 Les faits: Incendie du datacenter ovh la nuit du 09 au 10 mars

La majorité de nos clients le savent probablement déjà: le datacenter ovh de Strasbourg a pris feu dans la nuit du 09 au 10 mars. Un deuxième incendie aurait également démarré dans le même Datacenter quelques jours plus tard. C'est le même Datacenter d'ovh qui a déjà vécu en 2017 une panne de courant complète. Les groupes électrogènes de secours n'avaient pas démarré après une coupure accidentelle des lignes électriques qui alimentaient ce Datacenter. Les sites hébergés par ovh sur ce datacenter étaient restés hors ligne pendant plus d'une semaine...

Cette fois-ci c'est un incendie qui a ravagé le datacenter la nuit du 09 mars 2021. Notre serveur sur lequel est hébergé ce site est parti en fumée cette nuit du 09 mars. A ce jour (le 30 mars, date de publication de cet article) les clients impactés par cet accident n'ont accès à aucune information personnalisée sur le retour à la normale de leurs services. Nos serveurs sont down depuis plus de 15 jours et c'est dans la presse que nous parvenons souvent à obtenir le plus d'information, voir cet article du journal du net sur le sujet. Seuls des liens vers des faq incompréhensibles nous ont été envoyés par le support ovh, aucune proposition d'assistance, rien!

Les conséquences sur notre site

Notre serveur était situé dans la salle serveur la plus touchée par l'incendie. Selon l'article du jdn - cité ci-dessus- plus de 3,6 millions de serveurs web sont tombés cette nuit du 09 mars! Le 10 au matin, nous avons fini par comprendre pourquoi notre site n'était plus en ligne. Nous avons surtout compris rapidement qu'il ne faudrait compter que sur nos propres moyens pour remettre notre site en ligne.  Notre site a été remis en ligne le 10 dans la soirée. Nous remercions d'ailleurs la qualité d'accueil du support technique de Ionos et sa réactivité pour nous mettre à disposition un nouveau serveur en quelques heures. Aucune solution de secours ne nous a été proposée spontanément chez ovh. Merci également à notre équipe pour son sang froid et sa persévérance (bravo le dev!). Notre activité a donc pu reprendre quasi normalement dés le jeudi 11 mars 2021. Fort heureusement, peu de nos clients ont été impactés directement par l'incendie. Nous avons fait en sorte d'installer le plus rapidement possible les sites de nos clients impactés par l'accident ovh sur nos propres serveurs de secours.

Défaillance du système de sauvegarde OVH ?

Notre site a donc été remis en ligne le soir même sur un serveur ionos. Toutefois, nous avons restauré une sauvegarde de notre site qui remontait à une quinzaine de jours avant l'incendie. Nous comptions alors sur OVH, chez qui nous avions souscrit (fort cher!) une option de sauvegarde automatique de notre serveur. Ce service nous permettait de pouvoir restaurer à tout instant une image de notre serveur J-1 à J-14. Et devinez quoi ? Plus aucune nouvelle de ovh à propos de ce système de sauvegarde! Pour réponse à nos questions au support OVH: des liens vers des faqs! Nous lisons dans l'article du jdnet: "De l'hébergement web aux services de cloud public en passant par les serveurs privés virtuels et le bare metal, OVH reconnaît que de nombreux backups sont non-récupérables. "

C'est pourquoi, nos clients ont constaté que sur une fenêtre d'une quinzaine de jours, certaines de leur demandes d'assistances, factures, etc avaient disparu de leur espace client. Nous en sommes désolés, et notre équipe a travaillé pour combler ce vide d'une quinzaine de jours au mieux nous l'espérons. N'hésitez pas si besoin à revenir vers nous.

Nous recevons enfin le 30 mars un email du support nous informant que "nos vps seront restaurés depuis leur(s) backup(s) à partir du mercredi 31 mars 2021" mais que "Toutefois, étant donné le volume de données à traiter, cette restauration se déroulera sur plusieurs jours". Encore une information de première main d'une précision d'horloger Suisse qui a vidé une bouteille de gentiane !

On nous redirige ensuite sur les FAQs habituels et sur la "plateforme communautaire pour interagir avec les membres de la communauté ovh". La communauté ovh...

Ce rebondissement est d'autant plus inattendu que les informations diffusées jusqu'à présent nous informaient que l'ensemble des sauvegardes de la salle des serveurs hébergés dans la salle sbg2 étaient irrécupérables. La raison officieuse avancée dans la presse était que les sauvegardes étaient localisées dans le même datacenter et qu'elles aussi étaient parties en fumée avec les serveurs. Allez donc savoir, le feuilleton continue donc à l'heure où j'écris cet article que je ne manquerai pas de le compléter au fur et à mesure des rebondissements dans les jours prochains.

Merci à OVH pour nous avoir aidé à affronter le pire !

Nous tenions donc pour finir sur une note positive et à remercier OVH. En effet, OVH nous a aidés à prendre conscience que le pire peut arriver à tout instant. Qu'il ne faut jamais "mettre tous ses oeufs dans le même panier". Et surtout qu'il faut être en situation d'affronter le pire à l'aide de ses propres moyens en mettant en place un plan de reprise digne de ce nom.

Il y aura donc un avant et après de cette triste expérience. Dans un premier temps le bon sens nous conduit à déménager sans exception aucune, l'intégralité de nos services souscrits chez OVH. On dit jamais 2 sans 3. Sans nous donc pour la prochaine.

Au programme donc:

• nos domaines seront gérés par un registrar spécialisé qui ne propose que des services liés aux domaines et couvre la quasi totalité des extensions disponibles
• nos dns seront gérés chez un spécialiste qui propose tous les services annexes,
• notre messagerie d'entreprise sera gérée en externe par un poids lourd du secteur,
• nos serveurs seront dupliqués chez 2 hébergeurs différents
• un système de failover permettra à tout instant de basculer d'un serveur à l'autre
• un système de sauvegarde robuste sera mis en place par nos propres moyens et contrôlé lors de chaque maintenance

Nous privilégierons également des fournisseurs qui nous proposeront un contact tant commercial que technique qui soit disponible, réactif et efficace. Des changements de prestataire ont déjà été réalisés dans la liste précédente. Notre messagerie a été déménagée vers un nouveau prestataire, l'ancien nous ayant laissé 2 jours de suite sans réponse pour débloquer une situation critique.

Voici donc nos bonnes résolutions de reprise. Cet accident nous a réellement permis de progresser et d'améliorer encore notre site. Nous nous excusons pour les perturbations occasionnées pendant cette période. Nous encourageons également nos nombreux clients à qui nous avons recommandé des solutions de VPS OVH avec un backup automatique à se rapprocher de nous pour mettre à jour ou créer un plan de reprise capable de surmonter le pire!