OVH GATE, retour sur la journée noire

Retour sur cette journée 

A 07:15 précise, notre prestataire OVH perd l’ensemble de son alimentation en électricité sur le DATA Center (salles serveurs) de Strasbourg. Les onduleurs sensés prendre le relais se mettent en défaut plongeant l’infrastructure dans le noir (ces onduleurs sont pourtant testés tous les 10 jours pour éviter ce type d’anomalie).

Nos outils de monitoring (surveillance technique) nous remonte des premières défaillances sur nos hébergements CLOUD (hébergement hautes disponibilités & infrastructure Systadmin). A cet instant seules les instances web sont down. L’ensemble des communications e-mails et des DNS (systèmes de communication des noms de domaine) sont toujours en place et fonctionnels.

A environ 08:00, c’est le black out général. L’infrastructure OVH de Roubaix subit une panne matérielle importante coupant l’ensemble des entrées en Fibre Optique (connexion internet très haut débit) dans les data-centers. Ce dernier a pour effet de rendre inaccessible : nos outils de communication avec le prestataire, l’ensemble des e-mails, les serveurs et hébergements présent sur place. De nombreuses entreprises (pas seulement nos clients) sont touchées par la panne paralysant les communications.

A cet instant seul 98% de nos sites internet WordPress sont encore en ligne sur un autre de nos prestataires (Agora Hosting), le reste de l’infrastructure est DOWN.

Il faudra 2h30 à OVH pour pouvoir réparer la fibre optique dans le Datacenter de Roubaix et presque la journée pour rendre accessible les adresses e-mails. Aucune perte e-mail n’est annoncée… juste beaucoup beaucoup de retard.

Pour Strasbourg c’était une autre histoire … nous n’avons constaté qu’un début de mieux à partir de 11:50. Il fallait ensuite que nous prenions la main le plus rapidement possible sur les serveurs pour les rendre opérationnels et faire en sorte que les sites internet soient de retour.

L’infrastructure Premium a été rétablie en premier à 12:00 replaçant en ligne les hébergements de hautes disponibilités (2% des WordPress, Prestashop et développements spécifiques), les sites internet Systadmin, …

Il a fallu attendre encore 2/3 heures pour voir revenir à la vie les VPS gérant les multi-sites entreprises, les sites internet en développement, les outils de marketing automation, les outils de diffusion publicitaire et de monitoring.

Les adresses e-mails pro ont été rétablies à partir de 16:00 et les adresses e-mails classiques à partir de 18:00 – 18:30 … les e-mails de la journée ont ensuite commencé à arriver dans les boites mail (dans le sens inversés et mal horodaté).

A 23:45, l’ensemble des services Jolifish EUROPE étaient fonctionnels à 100% mais pas l’infrastructure OVH qui est remonté à 80%. A ce jour il s’agissait d’un des plus gros crash que nous ayons connu … avec très peu de communication de la part du prestataire.

Pendant le crash

Nous avons répondu à l’ensemble de vos questions tout au long de la journée. Nous avons publié une série de message sur notre page Facebook (les e-mails étant inopérants) pour vous tenir informé au même rythme que nous l’étions.

Vous avez été nombreux à nous contacter directement par téléphone et message Facebook et nous avons répondu à l’ensemble de vos questions au même rythme que nous avions des réponses.

Ils en parlent ailleurs sur le web :

Lemonde.fr : L’hébergeur Internet OVH touché par une importante panne

Le Figaro : Panne géante chez l’hébergeur français OVH

France 3 – Roubaix : OVH : la situation revient peu à peu à la normale après la panne géante chez l’hébergeur internet

Les echos : OVH : la méga-panne en voie de résolution