VITAM - Architecture

• 1. Introduction
  • 1.1. Objectif de ce document
  • 1.2. Structure du document
• 2. Rappels
  • 2.1. Information concernant les licences
  • 2.2. Documents de référence
    • 2.2.1. Documents internes
    • 2.2.2. Référentiels externes
  • 2.3. Glossaire
• 3. Vue d’ensemble
  • 3.1. Drivers du projet
    • 3.1.1. Enjeux
    • 3.1.2. Contraintes et objectifs
    • 3.1.3. Positionnement
  • 3.2. Interfaces externes du système
    • 3.2.1. Interfaces requises
    • 3.2.2. Interfaces métier exposées
  • 3.3. Orientations générales
    • 3.3.1. Open Source
    • 3.3.2. API REST
    • 3.3.3. Big Data et Cloud computing
    • 3.3.4. Cloud storage
    • 3.3.5. PCA/PRA et répartitions des travaux
    • 3.3.6. Sécurité des données additionnelle
    • 3.3.7. Architecture multi-tenants
    • 3.3.8. Solution exploitable
  • 3.4. Architecture fonctionnelle
• 4. Architecture applicative
  • 4.1. Architecture applicative
    • 4.1.1. Drivers de l’architecture
    • 4.1.2. Services
    • 4.1.3. Détail des flux d’information métier
    • 4.1.4. Données métier
  • 4.2. Architecture des données & multisite
    • 4.2.1. Inventaire des données
    • 4.2.2. Multisite
  • 4.3. Services métiers
    • 4.3.1. API externes (ingest-external et access-external)
    • 4.3.2. Moteur d’entrée (ingest-internal)
    • 4.3.3. Moteur d’accès (access-internal)
    • 4.3.4. Gestion des droits & accès (security-internal)
    • 4.3.5. Moteur d’exécution (processing)
    • 4.3.6. Espace de travail (workspace)
    • 4.3.7. Worker (worker)
    • 4.3.8. Moteur de données (metadata)
    • 4.3.9. Moteur de journalisation (logbook)
    • 4.3.10. Gestion des référentiels (functional-administration)
    • 4.3.11. Moteur de stockage (storage)
    • 4.3.12. Offre de stockage par défaut (storage-offer-default)
    • 4.3.13. Interface de démonstration (ihm-demo)
• 5. Architecture technique / exploitation
  • 5.1. Principes d’architecture technique
    • 5.1.1. Principes communs et environnement des services
      • 5.1.1.1. Principes relatifs aux composants délivrés
        • 5.1.1.1.1. Nommage
        • 5.1.1.1.2. Principles relatifs aux services VITAM
        • 5.1.1.1.3. Principes relatifs aux COTS
    • 5.1.2. Utilisateurs, dossiers & droits
      • 5.1.2.1. Utilisateurs et groupes d’exécution
        • 5.1.2.1.1. Groupes
        • 5.1.2.1.2. Utilisateurs
      • 5.1.2.2. Arborescence de fichiers
        • 5.1.2.2.1. Services VITAM
        • 5.1.2.2.2. COTS
    • 5.1.3. Principes sur les communications inter-services et le clustering
      • 5.1.3.1. Clusters applicatifs métier
        • 5.1.3.1.1. Appels REST des services métier
        • 5.1.3.1.2. Workers
      • 5.1.3.2. COTS & clustering
      • 5.1.3.3. Annuaire de services (service registry)
    • 5.1.4. Packaging
      • 5.1.4.1. Principes communs
      • 5.1.4.2. Dépôts
        • 5.1.4.2.1. CentOS
        • 5.1.4.2.2. Debian
      • 5.1.4.3. Prise en compte de la configuration dans le packaging
        • 5.1.4.3.1. CentOS
        • 5.1.4.3.2. Debian
    • 5.1.5. Déploiement de la solution
      • 5.1.5.1. Principes de déploiement
      • 5.1.5.2. Contraintes et vue d’ensemble
      • 5.1.5.3. Installation initiale
      • 5.1.5.4. Principes de mise à jour à chaud
      • 5.1.5.5. Multi-site
      • 5.1.5.6. Support de l’élasticité
      • 5.1.5.7. Validation du déploiement
    • 5.1.6. Suivi de l’état du système
      • 5.1.6.1. API de supervision
      • 5.1.6.2. Métriques
      • 5.1.6.3. Logs
        • 5.1.6.3.1. Protocoles : syslog
        • 5.1.6.3.2. Types de log
      • 5.1.6.4. Suivi de l’état de déploiement
      • 5.1.6.5. Intégration à un système de monitoring tiers
    • 5.1.7. Administration technique
      • 5.1.7.1. Démarrage / arrêt des services
      • 5.1.7.2. Tâches régulières
    • 5.1.8. Gestion des données du système
      • 5.1.8.1. Cas des déploiements de petite taille
        • 5.1.8.1.1. Dossiers
        • 5.1.8.1.2. Sauvegarde
      • 5.1.8.2. Restauration
  • 5.2. Services techniques fournis par la solution
    • 5.2.1. Moteur de déploiement et de configuration
    • 5.2.2. Chaîne de traitement de logs et de métriques
    • 5.2.3. Service registry
  • 5.3. Composants logiciels utilisés
    • 5.3.1. Fournis
      • 5.3.1.1. COTS
      • 5.3.1.2. Bibliothèques structurantes
    • 5.3.2. Requis
  • 5.4. Architecture technique détaillée
    • 5.4.1. Flux métier
    • 5.4.2. Flux exploitation
    • 5.4.3. Flux techniques
  • 5.5. Stockage des données
    • 5.5.1. Offre filesystem
    • 5.5.2. Offre Swift
  • 5.6. Concentration et exploitation des logs applicatifs
    • 5.6.1. Besoins
    • 5.6.2. Modèle générique
    • 5.6.3. Choix des implémentations
      • 5.6.3.1. Emetteur de logs
      • 5.6.3.2. Agent de transport de log
      • 5.6.3.3. Concentration de logs
      • 5.6.3.4. Stockage des logs
        • 5.6.3.4.1. Gestion des index
      • 5.6.3.5. Visualisation des logs
    • 5.6.4. Intégration à un système de gestion de logs existants
    • 5.6.5. Limites
  • 5.7. Métriques applicatives
    • 5.7.1. Besoins
    • 5.7.2. Modèle générique
    • 5.7.3. Choix des implémentations
      • 5.7.3.1. Enregistreur de métriques
      • 5.7.3.2. Reporters de métriques
      • 5.7.3.3. Stockage des métriques
    • 5.7.4. Limites
  • 5.8. Outillage de déploiement
    • 5.8.1. Outil
    • 5.8.2. Architecture de l’outil
    • 5.8.3. Gestion des secrets
  • 5.9. Service registry
    • 5.9.1. Architecture
    • 5.9.2. Résolution DNS
    • 5.9.3. Packaging
    • 5.9.4. Monitoring
  • 5.10. Dépendances aux services d’infrastructures
    • 5.10.1. Ordonnanceurs techniques / batchs
      • 5.10.1.1. Curator
      • 5.10.1.2. Sécurisation des journaux d’opérations
      • 5.10.1.3. Sécurisation des journaux d’écriture
      • 5.10.1.4. Cas de la sauvegarde
    • 5.10.2. Socles d’exécution
      • 5.10.2.1. Middlewares
  • 5.11. Composants déployés
    • 5.11.1. Access-external
    • 5.11.2. Access-internal
    • 5.11.3. Consul
      • 5.11.3.1. Architecture de déploiement
    • 5.11.4. Curator
    • 5.11.5. Elasticsearch-data
      • 5.11.5.1. Architecture de déploiement
      • 5.11.5.2. Monitoring
    • 5.11.6. Elasticsearch-log
      • 5.11.6.1. Architecture de déploiement
    • 5.11.7. Functional-administration
    • 5.11.8. Ingest-external
      • 5.11.8.1. Antivirus
    • 5.11.9. Ingest-internal
    • 5.11.10. Kibana
      • 5.11.10.1. Déploiement
    • 5.11.11. Logbook
    • 5.11.12. Logstash
    • 5.11.13. Metadata
    • 5.11.14. Mongodb
      • 5.11.14.1. Architecture de déploiement
        • 5.11.14.1.1. Architecture 1 noeud
        • 5.11.14.1.2. Architecture distribuée
        • 5.11.14.1.3. Ports utilisés
    • 5.11.15. Processing
    • 5.11.16. Security-internal
      • 5.11.16.1. API d’administration
    • 5.11.17. Siegfried
      • 5.11.17.1. Mode de fonctionnement dans VITAM
    • 5.11.18. Storage
    • 5.11.19. Storage-offer
      • 5.11.19.1. Types d’offre de stockage
    • 5.11.20. Worker
      • 5.11.20.1. Particularités
    • 5.11.21. Workspace
  • 5.12. Guidelines de déploiement
  • 5.13. Eléments de dimensionnement
    • 5.13.1. Compute
      • 5.13.1.1. « xsmall » : développement local
      • 5.13.1.2. « small » : recette simple métier
      • 5.13.1.3. « medium » : production pour volumétries moyennes
      • 5.13.1.4. « large » : production pour volumétries moyennes avec besoin de résilience
      • 5.13.1.5. « xlarge » : production pour fortes volumétries
    • 5.13.2. Stockage
    • 5.13.3. Réseau : inter-site
    • 5.13.4. Scalabilité
  • 5.14. Matrice des flux
    • 5.14.1. Matrice des flux intra-site
    • 5.14.2. Matrice des flux inter-site
• 6. Sécurité
  • 6.1. Principes
    • 6.1.1. Principes de cloisonnement
    • 6.1.2. Principes de sécurisation des accès externes
    • 6.1.3. Principes de sécurisation des communications internes au système
    • 6.1.4. Principes de sécurisation des bases de données
      • 6.1.4.1. MongoDB
      • 6.1.4.2. Elasticsearch
    • 6.1.5. Principes de sécurisation des secrets de déploiement
  • 6.2. Liste des secrets
  • 6.3. Certificats
  • 6.4. Documentation de sécurité
• 7. Architecture détaillée
  • 7.1. Access
    • 7.1.1. Architecture Fonctionnelle
      • 7.1.1.1. Généralités
    • 7.1.2. Architecture Technique
      • 7.1.2.1. Introduction
        • 7.1.2.1.1. Présentation
        • 7.1.2.1.2. Itération 4
        • 7.1.2.1.3. Modules - packages
      • 7.1.2.2. Access-api
        • 7.1.2.2.1. Présentation
      • 7.1.2.3. Access-client
      • 7.1.2.4. Utilisation
      • 7.1.2.5. Le client
      • 7.1.2.6. Access-common
        • 7.1.2.6.1. Présentation
      • 7.1.2.7. Access-core
        • 7.1.2.7.1. Présentation
        • 7.1.2.7.2. Packages:
      • 7.1.2.8. Access-rest
        • 7.1.2.8.1. Présentation
        • 7.1.2.8.2. Packages:
        • 7.1.2.8.3. fr.gouv.vitam.access.external.rest
      • 7.1.2.9. -AccessApplication.java
      • 7.1.2.10. -AccessResourceImpl.java
      • 7.1.2.11. -LogbookExternalResourceImpl.java
      • 7.1.2.12. -AdminManagementExternalResourceImpl.java
    • 7.1.3. Sécurité
  • 7.2. Common
    • 7.2.1. Architecture Fonctionnelle
      • 7.2.1.1. Introduction
        • 7.2.1.1.1. But de cette documentation
        • 7.2.1.1.2. GUID
        • 7.2.1.1.3. ServerIdentity et Logger
      • 7.2.1.2. GUID
        • 7.2.1.2.1. Présentation de la problématique
        • 7.2.1.2.2. Solutions envisagées
      • 7.2.1.3. Graphes
        • 7.2.1.3.1. Objectifs
      • 7.2.1.4. Vérification des formats :
    • 7.2.2. Architecture Technique
      • 7.2.2.1. Introduction
        • 7.2.2.1.1. But de cette documentation
        • 7.2.2.1.2. GUID
      • 7.2.2.2. GUID
        • 7.2.2.2.1. Identifiant Vitam
      • 7.2.2.3. Configuration jetty
      • 7.2.2.4. Gestion des Handlers :
      • 7.2.2.5. Schéma de certificats et d’authentification
        • 7.2.2.5.1. Présentation
      • 7.2.2.6. Common format identification
        • 7.2.2.6.1. Présentation
        • 7.2.2.6.2. Sous packages
      • 7.2.2.7. Messages
      • 7.2.2.8. Messages Logbook
      • 7.2.2.9. Request ID
        • 7.2.2.9.1. Filtre client
        • 7.2.2.9.2. Sauvegarde dans le thread local
        • 7.2.2.9.3. Filtre Serveur
        • 7.2.2.9.4. Affichage dans les logs
    • 7.2.3. Securite
      • 7.2.3.1. Introduction
      • 7.2.3.2. Securité de MongoDB
        • 7.2.3.2.1. Objectifs
      • 7.2.3.3. secret de la plateforme
        • 7.2.3.3.1. Objectifs
  • 7.3. Functional administration
    • 7.3.1. Architecture Fonctionnelle
      • 7.3.1.1. Introduction
        • 7.3.1.1.1. But de cette documentation
      • 7.3.1.2. Gestion de format
      • 7.3.1.3. Gestion de règles
      • 7.3.1.4. Sauvegarde du référentiel des règles de gestion
    • 7.3.2. Architecture Technique
      • 7.3.2.1. Introduction
    • 7.3.3. Securite
      • 7.3.3.1. Introduction
  • 7.4. IHM demo
    • 7.4.1. Architecture fonctionnelle
      • 7.4.1.1. Architecture fonctionnelle de l’application Back
        • 7.4.1.1.1. But de cette documentation
        • 7.4.1.1.2. Fonctionnement général du module
      • 7.4.1.2. Architecture fonctionnelle de l’application Front
        • 7.4.1.2.1. But de cette documentation
        • 7.4.1.2.2. Modules AngularJS déclarés
        • 7.4.1.2.3. Routage
        • 7.4.1.2.4. Factories/Services
        • 7.4.1.2.5. Controllers
        • 7.4.1.2.6. Components
    • 7.4.2. Architecture technique
      • 7.4.2.1. Architecture technique de l’application Back
        • 7.4.2.1.1. But de cette documentation
        • 7.4.2.1.2. Organisation du module ihm-demo
      • 7.4.2.2. Architecture technique de l’application Front
        • 7.4.2.2.1. But de cette documentation
        • 7.4.2.2.2. Le Framework Front : AngularJS 1.5.3
        • 7.4.2.2.3. Organisation de l’application
  • 7.5. IHM recette
    • 7.5.1. Architecture technique
      • 7.5.1.1. Architecture technique de l’application Back
        • 7.5.1.1.1. But de cette documentation
        • 7.5.1.1.2. Organisation du module ihm-recette
      • 7.5.1.2. Architecture technique de l’application Front
        • 7.5.1.2.1. But de cette documentation
        • 7.5.1.2.2. Le Framework Front : AngularJS 1.5.3
        • 7.5.1.2.3. Organisation de l’application
  • 7.6. Ingest
    • 7.6.1. Architecture Fonctionnelle
      • 7.6.1.1. Généralités
      • 7.6.1.2. Généralités
      • 7.6.1.3. Téléchargement standard et test à blanc d’un SIP:
      • 7.6.1.4. Autres Fonctionnalités:
      • 7.6.1.5. Ingest ExternalAntivirus
      • 7.6.1.6. Généralités
      • 7.6.1.7. Fonctionnalités concernant le workflow
      • 7.6.1.8. Les actions:
      • 7.6.1.9. Asynchrone:
    • 7.6.2. Technique
      • 7.6.2.1. Architecture Technique Ingest
        • 7.6.2.1.1. Présentation
      • 7.6.2.2. ingest-rest
        • 7.6.2.2.1. Présentation
        • 7.6.2.2.2. IngestInternalApplication.java
    • 7.6.3. Securite
      • 7.6.3.1. Introduction
  • 7.7. Security-Internal
    • 7.7.1. Architecture Fonctionnelle
      • 7.7.1.1. Introduction
        • 7.7.1.1.1. But de cette documentation
        • 7.7.1.1.2. Security-internal
    • 7.7.2. Architecture Technique
      • 7.7.2.1. Introduction
    • 7.7.3. Securite
      • 7.7.3.1. Introduction
  • 7.8. Logbook
    • 7.8.1. Architecture Fonctionnelle
      • 7.8.1.1. Généralités
        • 7.8.1.1.1. Journal d’opération
      • 7.8.1.2. Journal de cycle de vie
      • 7.8.1.3. Modèle de données
        • 7.8.1.3.1. Description des champs
      • 7.8.1.4. Modèle de données
        • 7.8.1.4.1. Description des champs
    • 7.8.2. Architecture technique
      • 7.8.2.1. Introduction
        • 7.8.2.1.1. Présentation
        • 7.8.2.1.2. Itération 3 et Itération 5
        • 7.8.2.1.3. Modules - packages logbook
      • 7.8.2.2. DSL
        • 7.8.2.2.1. Analyse
        • 7.8.2.2.2. Conclusion
      • 7.8.2.3. Rest
        • 7.8.2.3.1. Présentation
        • 7.8.2.3.2. Services
      • 7.8.2.4. Common-client
        • 7.8.2.4.1. Présentation
        • 7.8.2.4.2. Services
      • 7.8.2.5. Common-client
        • 7.8.2.5.1. Présentation
        • 7.8.2.5.2. Services
        • 7.8.2.5.3. Données
      • 7.8.2.6. Commons
        • 7.8.2.6.1. Présentation
        • 7.8.2.6.2. Services
      • 7.8.2.7. Operation Client
        • 7.8.2.7.1. Présentation
        • 7.8.2.7.2. Services
      • 7.8.2.8. Opération
        • 7.8.2.8.1. Présentation
        • 7.8.2.8.2. Services
        • 7.8.2.8.3. Rest API
      • 7.8.2.9. Lifecycle Client
        • 7.8.2.9.1. Présentation
        • 7.8.2.9.2. Services
      • 7.8.2.10. Lifecycle
        • 7.8.2.10.1. Présentation
        • 7.8.2.10.2. Services
        • 7.8.2.10.3. Rest API
      • 7.8.2.11. Administration-client
        • 7.8.2.11.1. Présentation
        • 7.8.2.11.2. Services
      • 7.8.2.12. Administration
        • 7.8.2.12.1. Présentation
        • 7.8.2.12.2. Services
        • 7.8.2.12.3. Rest API
    • 7.8.3. Securite
      • 7.8.3.1. Introduction
  • 7.9. Metadata
    • 7.9.1. Architecture Fonctionnelle
      • 7.9.1.1. Introduction
      • 7.9.1.2. Généralités
    • 7.9.2. Architecture technique
      • 7.9.2.1. Introduction
        • 7.9.2.1.1. Présentation
        • 7.9.2.1.2. Itération 4
        • 7.9.2.1.3. Modules - packages
      • 7.9.2.2. Opération
        • 7.9.2.2.1. Présentation
        • 7.9.2.2.2. Services
        • 7.9.2.2.3. Rest API
      • 7.9.2.3. Metadata-api
        • 7.9.2.3.1. Présentation
      • 7.9.2.4. Metadata-builder
        • 7.9.2.4.1. Présentation
      • 7.9.2.5. Operation Client
        • 7.9.2.5.1. Présentation
      • 7.9.2.6. metadata-core
        • 7.9.2.6.1. Présentation
        • 7.9.2.6.2. 1. Modules et packages
        • 7.9.2.6.3. 2. Classes
      • 7.9.2.7. metadata-parser
        • 7.9.2.7.1. Présentation
      • 7.9.2.8. Métadata
        • 7.9.2.8.1. Présentation
        • 7.9.2.8.2. Services
        • 7.9.2.8.3. Rest API
      • 7.9.2.9. Rest
        • 7.9.2.9.1. Présentation
        • 7.9.2.9.2. Services
    • 7.9.3. Securite
      • 7.9.3.1. Introduction
  • 7.10. Processing
    • 7.10.1. architecture-fontionnelle-processing
      • 7.10.1.1. Introduction
        • 7.10.1.1.1. But de cette documentation
        • 7.10.1.1.2. Processing
      • 7.10.1.2. Processing Management
      • 7.10.1.3. Engine
      • 7.10.1.4. Distributor
      • 7.10.1.5. Worker
      • 7.10.1.6. Process Monitoring
    • 7.10.2. Architecture Technique
      • 7.10.2.1. Introduction
      • 7.10.2.2. DAT : module processing
        • 7.10.2.2.1. Module et packages
        • 7.10.2.2.2. Modèle
        • 7.10.2.2.3. Process Distributor
        • 7.10.2.2.4. Parallélisme dans le distributeur
      • 7.10.2.3. Rangement des objets
        • 7.10.2.3.1. Algorithme
      • 7.10.2.4. Vérification de la disponibilité
        • 7.10.2.4.1. Algorithme
      • 7.10.2.5. Vérifier SEDA
        • 7.10.2.5.1. Algorithme
    • 7.10.3. Securite
      • 7.10.3.1. Introduction
  • 7.11. Storage
    • 7.11.1. Architecture Fonctionnelle
      • 7.11.1.1. Introduction
    • 7.11.2. Architecture Technique
      • 7.11.2.1. Introduction
        • 7.11.2.1.1. Présentation
        • 7.11.2.1.2. Itération 16
        • 7.11.2.1.3. Modules - packages Storage
      • 7.11.2.2. Architecture générale
        • 7.11.2.2.1. Schéma général
        • 7.11.2.2.2. Workflow du stockage des objets
        • 7.11.2.2.3. Itération 6
        • 7.11.2.2.4. Itération 7
        • 7.11.2.2.5. Itération 13
        • 7.11.2.2.6. Itération 14
        • 7.11.2.2.7. Itération 16
      • 7.11.2.3. Storage Driver
        • 7.11.2.3.1. Présentation
        • 7.11.2.3.2. Architecture
        • 7.11.2.3.3. Pour aller plus loin
      • 7.11.2.4. Storage Engine
        • 7.11.2.4.1. Présentation
      • 7.11.2.5. Storage Engine Client
        • 7.11.2.5.1. Présentation
      • 7.11.2.6. Storage Offers
        • 7.11.2.6.1. Présentation
      • 7.11.2.7. Vitam Offer
        • 7.11.2.7.1. Présentation
        • 7.11.2.7.2. Driver
        • 7.11.2.7.3. Serveur
    • 7.11.3. Securite
      • 7.11.3.1. Introduction
  • 7.12. Technical administration
    • 7.12.1. Architecture Fonctionnelle
      • 7.12.1.1. Introduction
    • 7.12.2. Architecture Technique
      • 7.12.2.1. Introduction
    • 7.12.3. Securite
      • 7.12.3.1. Introduction
  • 7.13. Worker
    • 7.13.1. architecture-fontionnelle-processing
      • 7.13.1.1. Introduction
        • 7.13.1.1.1. But de cette documentation
        • 7.13.1.1.2. Worker
      • 7.13.1.2. Worker
      • 7.13.1.3. notification-atr-ok
      • 7.13.1.4. notification-atr-ko
      • 7.13.1.5. Contrôle de la cohérence de SIPs
    • 7.13.2. Architecture Technique
      • 7.13.2.1. Module Worker
      • 7.13.2.2. Worker server
        • 7.13.2.2.1. Présentation
      • 7.13.2.3. Extraire les métadonnées des ArchiveUnit et DataObject
        • 7.13.2.3.1. Général
        • 7.13.2.3.2. Algorithme
      • 7.13.2.4. notification-atr-ok
      • 7.13.2.5. notification-atr-ko
      • 7.13.2.6. Plugin Worker
        • 7.13.2.6.1. But de cette documentation
        • 7.13.2.6.2. Introduction
        • 7.13.2.6.3. Appel du plugin
        • 7.13.2.6.4. Résultat du plugin
        • 7.13.2.6.5. Implémentation
    • 7.13.3. Securite
      • 7.13.3.1. Introduction
  • 7.14. Workspace
    • 7.14.1. Architecture Fonctionnelle
      • 7.14.1.1. Introduction
    • 7.14.2. Architecture Technique
      • 7.14.2.1. Introduction
    • 7.14.3. Securite
      • 7.14.3.1. Introduction