DevOps et supervision

Des logs de sauvegarde verts ne prouvent pas que la récupération des données fonctionne

Un développeur démontre que les tâches cron réussies masquent souvent des sauvegardes défaillantes, illustrant comment des exercices de restauration automatisés vérifient l'intégrité réelle des données.

Rack de serveur avec voyant vert mais intérieur cassé
Illustration créée pour cet article

Traduit automatiquement depuis l’original en anglais.

Un développeur a récemment découvert que sa tâche de sauvegarde nocturne de base de données signalait un succès depuis des mois sans jamais avoir été testée pour une véritable récupération de données. En simulant une perte de données et en tentant une restauration, il a révélé qu'un statut vert dans les logs confirme uniquement qu'un fichier a été écrit, et non que les données qu'il contient sont utilisables ou complètes.

Ce qui s'est passé

L'auteur, qui travaille sur la plateforme de déploiement auto-hébergée Levelrail, a décidé d'auditer ses propres pratiques de sauvegarde après avoir réalisé qu'il ne se souvenait pas de la dernière fois où il avait chargé avec succès un fichier de sauvegarde dans une base de données. Il a mis en place un environnement de test utilisant Postgres 16 sur un Mac avec Docker, exécutant Levelrail construit à partir de la branche de release v1.0.1. Le test consistait à créer une base de données avec des nombres de lignes spécifiques et des totaux financiers, à planifier une sauvegarde, puis à supprimer intentionnellement des données du système en production pour simuler une erreur catastrophique.

Après avoir déclenché la sauvegarde et supprimé 500 commandes de la base de données active, l'auteur a utilisé la commande restore-as-new pour créer une base de données séparée à partir du fichier de sauvegarde. Ce processus laissait la base de données active endommagée intacte tout en lançant une nouvelle instance à partir de la sauvegarde. La comparaison des deux a révélé que la base de données restaurée contenait les 2000 commandes originales et les totaux financiers corrects, tandis que la base de données active montrait les dommages. Ce test manuel a prouvé que le mécanisme de sauvegarde fonctionnait, mais a également souligné que la tâche cron quotidienne n'avait jamais fourni ce niveau d'assurance.

Pour automatiser cette vérification, l'auteur a exploré la fonctionnalité "drill" (exercice) de Levelrail. Contrairement à une simple vérification de l'existence du fichier, un drill télécharge la sauvegarde, vérifie sa somme de contrôle SHA-256, la restaure dans un conteneur isolé et valide le contenu. L'auteur a noté que les drills nécessitent une cible de stockage objet plutôt qu'un stockage local, ce qui l'a amené à configurer un point de terminaison compatible S3. Une fois configuré, le drill a réussi tous les contrôles, y compris la validation de la somme de contrôle et la correspondance du contenu, faisant passer le statut de santé de la base de données de "non vérifié" à "sain".

Détails clés

  • Un log de sauvegarde réussi ne prouve qu'un fichier a été écrit, pas que les données peuvent être restaurées ou sont cohérentes.
  • Les tests manuels de restauration doivent comparer les nombres de lignes et les sommes financières pour détecter les corruptions subtiles des données.
  • La commande restore-as-new crée une instance de base de données séparée, garantissant que les données de production actives restent inchangées pendant les tests.
  • Les exercices de restauration automatisés dans Levelrail vérifient les sommes de contrôle et le contenu pour les bases de données Postgres, MySQL et MariaDB.
  • Les drills nécessitent une cible de stockage objet comme S3 ou R2 ; les cibles de stockage local ne prennent pas en charge les opérations de drill automatisées.
  • Des copies de sauvegarde vers une seconde destination peuvent être activées pour protéger contre les pannes d'un seul bucket, bien que cela n'ait été examiné que dans la documentation.

Contexte

Dans de nombreux environnements auto-hébergés, les administrateurs comptent sur les tâches cron pour exécuter des scripts comme pg_dump et enregistrer la sortie sur un disque ou dans un bucket cloud. Ces scripts quittent généralement avec un code de statut zéro si l'écriture du fichier réussit, ce qui amène les outils de surveillance à signaler un statut vert. Cependant, cela ne tient pas compte des problèmes tels que les fichiers corrompus, les écritures incomplètes ou les incompatibilités de schéma qui pourraient empêcher une restauration réussie. Sans un test régulier de restauration, les équipes opèrent sous la fausse hypothèse que leur plan de reprise après sinistre est fonctionnel.

Levelrail est une plateforme de déploiement auto-hébergée conçue pour simplifier la gestion de l'infrastructure sans Kubernetes. Elle inclut des outils intégrés pour gérer les bases de données et les sauvegardes, visant à remplacer les scripts manuels par des workflows intégrés. La plateforme prend en charge divers fournisseurs de stockage, notamment AWS S3, Cloudflare R2 et des points de terminaison personnalisés compatibles S3, permettant aux utilisateurs de stocker les sauvegardes hors site pour une meilleure durabilité.

Pourquoi c'est important

Pour les équipes qui exploitent leur propre logiciel, la différence entre un fichier sauvegardé et une base de données récupérable est critique. Un tableau de bord de surveillance vert peut créer un sentiment dangereux de sécurité, amenant les ingénieurs à croire qu'ils sont protégés alors qu'ils ne le sont pas. Si une vraie catastrophe survient, comme une attaque par ransomware ou une suppression accidentelle, la première fois qu'une équipe tente une restauration pourrait être la première fois qu'elle découvre que la sauvegarde est inutilisable. Ce délai peut prolonger les temps d'arrêt de quelques minutes à plusieurs jours, causant un impact commercial significatif.

L'automatisation du processus de vérification élimine la dépendance à la mémoire humaine et à la discipline. Les tests manuels de restauration sont souvent ignorés en raison de contraintes de temps ou de la peur d'impacter les systèmes de production. En intégrant des exercices de restauration dans le workflow de sauvegarde, les équipes peuvent s'assurer que chaque sauvegarde n'est pas seulement un fichier sur un disque, mais un instantané vérifié de leurs données. Ce passage d'une journalisation passive à une vérification active transforme les stratégies de sauvegarde de gestes d'espoir en filets de sécurité fiables.

Ce que vous pouvez faire

  • Planifiez immédiatement un test manuel de restauration en utilisant un environnement non de production pour vérifier vos fichiers de sauvegarde actuels.
  • Comparez les nombres de lignes et les valeurs agrégées critiques, telles que les totaux financiers, entre les bases de données actives et restaurées pour garantir l'intégrité des données.
  • Configurez des exercices de restauration automatisés si votre plateforme les prend en charge, en veillant à ce qu'ils s'exécutent selon un calendrier régulier, comme hebdomadaire.
  • Utilisez des cibles de stockage objet pour les sauvegardes au lieu du stockage disque local pour permettre des fonctionnalités avancées comme les drills automatisés et la redondance hors site.
  • Activez des copies de sauvegarde vers une seconde destination pour protéger contre les pannes du fournisseur de stockage ou les suppressions accidentelles.
  • Documentez votre procédure de restauration et incluez des étapes pour vérifier la cohérence des données, pas seulement l'existence du fichier.

Autres actualités

Toutes les actualités