5.11. Sauvegarde des données graphe (Log shipping)

La sauvegarde des données graphe des métadonnées (UNIT/GOT) consiste à récupérer au fil de l’eau depuis la base de données (MongoDB) les données graphe par (UNIT/GOT) pour les stocker dans les offres de stockage.

Prudence

En cas de problème de sauvegarde des données graphe, on écrit dans le fichier log une [Consistency Error] qu’il conviendra de surveiller.

Avertissement

Si l’instance qui démarre le service de sauvegarde s’arrête, il faut lancer ce service de sauvegade dans une autre instance.

5.11.1. Déclenchement de la sauvegarde

La sauvegarde des données graphe est lancée via un timer systemd ( vitam-metadata-store-graph ), qui démarre le service systemd associé.

  • Le timer se lance chaque 30 minutes (par défaut, modifiable selon le besoin - se reporter à Modifier la fréquence de lancement de certains timers systemD -)
  • Le sauvegarde des données graphe se fait sur un intervalle de temps (depuis la dernière sauvegarde jusqu’au temps présent)
  • Le fichier généré est un fichier au format zip, qui contient un ou plusieurs fichiers JSON. Ces fichiers JSON contiennent un tableau de données graphe.
  • Le nom du fichier de la dernière sauvegarde contient les dates début et fin de sauvegarde. Ce nom est utilisé pour déterminer la dernière date de sauvegarde.
  • La sauvegarde des UNIT est séparée de celle des GOT (Deux containers distincts dans chaque offre de stockage)

5.11.2. Reconstruction des données graphe

La reconstruction des données graphe se fait avec le même principe que la reconstruction des méta-données (UNIT/GOT) :

  • Gérer l’offset de reconstruction des fichiers de sauvegarde des données graphe.
  • Mettre à jour uniquement les données graphe. Si un document n’est pas trouvé, une création de ce document est faite et ne contiendra que les données du graphe.
  • De même, la reconstruction des métadonnées ne modifie pas les données graphe potentiellement déjà existantes.
  • Une purge est faite de tous les documents ayant uniquement les données graphe et qui sont vieux de (1 mois Configurable)
  • Les documents ayant uniquement les données graphe ne sont pas indexés dans ElasticSearch.
  • La reconstruction est séquentielle (D’abord les métadonnées UNIT/GOT ensuite leur graphe)

Voir aussi

Se reporter à la procédure de Reconstruction des métadonnées pour plus d’informations.