Oxito : Hébergement web, messagerie, nom de domaine
Incident majeur
Chère Cliente, Cher Client,

L'incident sur notre infrastructure est toujours en cours.
Vous trouverez ci-dessous un résumé détaillé des événements et des différents jalons qui ont eu lieu.
A ce jour, nous ne pouvons malheureusement pas vous donner de date de retour à la normale de façon précise. Cependant, nos estimations nous amènent aujourd’hui à penser que la situation pourrait être rétablie dans une quinzaine de jours.

Jeudi 20/05

Matin : Le fournisseur de datacenter dans lequel nous opérons déclenche par erreur le système anti-incendie. Le gaz à haute pression a été projeté dans tout l’étage du datacenter et a abîmé les disques de notre SAN.
Nous contactons notre fournisseur de disque en urgence et lui demandons des disques de remplacement. Nos techniciens vont sur place.
Après-midi : Rétablissement du service monitoring.
Rétablissement du service mail pour une partie des clients.
Le fournisseur de disques nous explique qu’il sera difficile d’obtenir rapidement les disques à cause de la pénurie de composants informatiques actuelle.
Soirée/Nuit : Analyse précise des dégâts et impacts.

Vendredi 21/05

Matin : préparation d’une machine temporaire pour accueillir le stockage de machines critiques
Après-midi : Redémarrage de certains composants dans le DC.
Analyse des canaux d’approvisionnement : nos partenaires ne sont pas en mesure de fournir le nombre de disques nécessaires à cause de la pénurie de composants informatiques
Installation de la machine temporaire sur place
Validation de la configuration de la machine et début des restaurations de certains machines mutualisées
Soirée : Restauration de certaines machines mutualisées

Samedi 22/05

Matin : Notre fournisseur de disque intervient au DC mais est en mesure de nous fournir uniquement 2 disques.
Poursuite des investigations avec notre partenaire fournisseur de disques : mise en œuvre de plans d’actions qui s’avèrent infructueuses car besoin du matériel commandé.
Le fournisseur nous confirme qu’en raison de la pénurie, il peut nous livrer 4 disques le 25/05 puis 5 autres le 27/05.
Après-midi : Oxito réussit à obtenir quelques disques auprès d’un autre fournisseur et va au datacenter pour l’installation.
Nuit : Le fournisseur de disque réussit à faire venir des disques depuis Paris. Ils sont réceptionnés par Oxito au DC. Les disques sont installés et la reconstruction est lancée.

Dimanche 23/05

Matin : la reconstruction continue
Après-midi : 2 nouveaux disques cèdent après avoir été fragilisés à cause du gaz et sont remplacés.
Nous recommandons 4 nouveaux disques afin d’avoir du stock.
Nuit : Tous les disques sont reconstruits mais l’outil de diagnostic annonce une erreur sévère que seul le support du fournisseur de disque peut prendre en charge. Investigation du fournisseur

Lundi 24/05

Matin : Le fournisseur de disque nous confirme qu’un disque spécifique est endommagé
Après-midi : le fournisseur nous indique que le disque ne pourra pas être livré avant mercredi 26
Les restaurations continuent de se faire

Mardi 25/05

Journée : Suivi des restaurations en cours et coordination des différentes parties prenantes
Mercredi 26/05 Matin : Commande de 39 disques supplémentaires pour prévenir le cas où d’autres disques céderaient à la suite de l’incident du 20/05
Soirée : livraison du disque spécifique de la part du fournisseur (commandé le 24.05)

Jeudi 27/05

Matin : intervention sur site pour installation des disques et restauration
Après-midi : rétablissement du service Winbiz. Oxito prévient le fournisseur de disques que le dernier disque est remplacé. Investigation du côté du fournisseur.
Nuit : prise en main à distance du système par le fournisseur

Vendredi 28/05

Matin : le fournisseur diagnostique des problématiques de configurations. Ils demandent un temps supplémentaire pour investiguer et proposer un plan d’action.
Après-midi : le fournisseur transmet son rapport : des informations (segments) doivent être récupérées sur certains disques préalablement remplacés. Oxito et le fournisseur travaille en binôme tout l’après-midi
Soirée : Le binôme ne parvient pas à reconstruire le système

Samedi 29/05

Matin : Le fournisseur continue les investigations
Après-midi : le fournisseur propose 2 options :
• La reconstruction complète du DC -> implique une reconstruction compète et l’intervention de différents prestataires
• Poursuivre les investigations en LAB -> sans garantie de résultat mais beaucoup moins chronophage si efficace.
Oxito confirme l’option 2. Nous partirons sur l’option 1 si celle-ci ne fonctionne pas
Dimanche 30/05 Journée : travail sur l’option 2 par le fournisseur

Lundi 31/05

Matin : échange avec le fournisseur. L’option 2 n’a pas été concluante pour l’instant. Demande de chiffrage pour les autres options.
Après-midi : Prise de contact avec le fournisseur de la solution de management de plateforme cloud mutualisée et réception de leurs proposition technique et tarifaire
Echange avec le fournisseur de disques : fin du test en LAB, présentation des options possibles. Point de situation avec la Direction Oxito
Soirée : Réception du chiffrage des options par le fournisseur de disques

Mardi 01/06

Matin : Alignement sur le périmètre d’intervention avec le fournisseur de la solution de management de plateforme cloud mutualisée
Prise de décision sur l’option à choisir avec notre fournisseur de disque en CODIR Exceptionnel : le choix de partir sur un nouveau SAN afin d’assurer la reconstruction sans nouvelle casse de disques.

Nous sommes évidemment conscients de la gêne que cela vous occasionne et vous remercions pour votre patience.
Nous vous remercions d’avance de votre compréhension et vous transmettons nos salutations les meilleures.
 © Oxito I 2021