VITAM - Architecture

• 1. Introduction
  • 1.1. Objectif de ce document
  • 1.2. Structure du document
• 2. Rappels
  • 2.1. Information concernant les licences
  • 2.2. Documents de référence
    • 2.2.1. Documents internes
    • 2.2.2. Référentiels externes
  • 2.3. Glossaire
• 3. Vue d’ensemble
  • 3.1. Drivers du projet
    • 3.1.1. Enjeux
    • 3.1.2. Contraintes et objectifs
    • 3.1.3. Positionnement
  • 3.2. Interfaces externes du système
    • 3.2.1. Interfaces requises
    • 3.2.2. Interfaces métier exposées
  • 3.3. Orientations générales
    • 3.3.1. Open Source
    • 3.3.2. API REST
    • 3.3.3. Big Data et Cloud computing
    • 3.3.4. Cloud storage
    • 3.3.5. PCA/PRA et répartitions des travaux
    • 3.3.6. Sécurité des données additionnelle
    • 3.3.7. Architecture multi-tenants
    • 3.3.8. Solution exploitable
  • 3.4. Architecture fonctionnelle
• 4. Architecture applicative
  • 4.1. Architecture applicative
    • 4.1.1. Drivers de l’architecture
    • 4.1.2. Services
    • 4.1.3. Détail des flux d’information métier
    • 4.1.4. Données métier
  • 4.2. Architecture des données & multisite
    • 4.2.1. Inventaire des données
    • 4.2.2. Stockage et stratégies
    • 4.2.3. Multisite
    • 4.2.4. Stratégies & multisite
      • 4.2.4.1. Mode standard: exemple d’architecture mono-stratégie
      • 4.2.4.2. Mode avancé: exemple d’architecture multi-stratégie orienté Qualité de service
      • 4.2.4.3. Mode avancé: exemple d’architecture multi-stratégie orienté Offres objets
  • 4.3. Services métiers
    • 4.3.1. API externes (ingest-external et access-external)
    • 4.3.2. Moteur d’entrée (ingest-internal)
    • 4.3.3. Moteur d’accès (access-internal)
    • 4.3.4. Gestion des droits & accès (security-internal)
    • 4.3.5. Moteur d’exécution (processing)
    • 4.3.6. Espace de travail (workspace)
    • 4.3.7. Worker (worker)
    • 4.3.8. Moteur de données (metadata)
    • 4.3.9. Moteur de journalisation (logbook)
    • 4.3.10. Gestion des référentiels (functional-administration)
    • 4.3.11. Moteur de stockage (storage)
    • 4.3.12. Offre de stockage par défaut (storage-offer-default)
    • 4.3.13. Interface de démonstration (ihm-demo)
• 5. Architecture technique / exploitation
  • 5.1. Principes d’architecture technique
    • 5.1.1. Principes communs et environnement des services
      • 5.1.1.1. Principes relatifs aux composants délivrés
        • 5.1.1.1.1. Nommage
        • 5.1.1.1.2. Principles relatifs aux services VITAM
        • 5.1.1.1.3. Principes relatifs aux COTS
    • 5.1.2. Utilisateurs, dossiers & droits
      • 5.1.2.1. Utilisateurs et groupes d’exécution
        • 5.1.2.1.1. Groupes
        • 5.1.2.1.2. Utilisateurs
      • 5.1.2.2. Arborescence de fichiers
        • 5.1.2.2.1. Services VITAM
        • 5.1.2.2.2. COTS
    • 5.1.3. Principes sur les communications inter-services et le clustering
      • 5.1.3.1. Clusters applicatifs métier
        • 5.1.3.1.1. Appels REST des services métier
        • 5.1.3.1.2. Workers
      • 5.1.3.2. COTS & clustering
      • 5.1.3.3. Annuaire de services (service registry)
    • 5.1.4. Packaging
      • 5.1.4.1. Principes communs
      • 5.1.4.2. Dépôts
        • 5.1.4.2.1. CentOS
        • 5.1.4.2.2. Debian
      • 5.1.4.3. Prise en compte de la configuration dans le packaging
        • 5.1.4.3.1. CentOS
        • 5.1.4.3.2. Debian
    • 5.1.5. Déploiement de la solution
      • 5.1.5.1. Principes de déploiement
      • 5.1.5.2. Contraintes et vue d’ensemble
      • 5.1.5.3. Installation initiale
      • 5.1.5.4. Principes de mise à jour à chaud
      • 5.1.5.5. Multi-site
      • 5.1.5.6. Support de l’élasticité
      • 5.1.5.7. Validation du déploiement
    • 5.1.6. Suivi de l’état du système
      • 5.1.6.1. API de supervision
      • 5.1.6.2. Métriques
      • 5.1.6.3. Logs
        • 5.1.6.3.1. Protocoles : syslog
        • 5.1.6.3.2. Types de log
      • 5.1.6.4. Suivi de l’état de déploiement
      • 5.1.6.5. Intégration à un système de monitoring tiers
    • 5.1.7. Administration technique
      • 5.1.7.1. Démarrage / arrêt des services
      • 5.1.7.2. Tâches régulières
    • 5.1.8. Gestion des données du système
      • 5.1.8.1. Cas des déploiements de petite taille
        • 5.1.8.1.1. Dossiers
        • 5.1.8.1.2. Sauvegarde
      • 5.1.8.2. Restauration
  • 5.2. Services techniques fournis par la solution
    • 5.2.1. Moteur de déploiement et de configuration
    • 5.2.2. Chaîne de traitement de logs et de métriques
    • 5.2.3. Service registry
  • 5.3. Composants logiciels utilisés
    • 5.3.1. Fournis
      • 5.3.1.1. COTS
      • 5.3.1.2. Bibliothèques structurantes
    • 5.3.2. Requis
  • 5.4. Architecture technique détaillée
    • 5.4.1. Flux métier
    • 5.4.2. Flux exploitation
    • 5.4.3. Flux techniques
    • 5.4.4. Découpage en zones
  • 5.5. Stockage des données
    • 5.5.1. Stratégies de stockage
    • 5.5.2. Offre filesystem
    • 5.5.3. Offre Swift
    • 5.5.4. Offre S3
    • 5.5.5. Offre Tape-library
  • 5.6. Concentration et exploitation des logs applicatifs
    • 5.6.1. Besoins
    • 5.6.2. Modèle générique
    • 5.6.3. Choix des implémentations
      • 5.6.3.1. Emetteur de logs
      • 5.6.3.2. Agent de transport de log
      • 5.6.3.3. Concentration de logs
      • 5.6.3.4. Stockage des logs
        • 5.6.3.4.1. Gestion des index
      • 5.6.3.5. Visualisation des logs
    • 5.6.4. Intégration à un système de gestion de logs existants
    • 5.6.5. Limites
  • 5.7. Métriques applicatives
    • 5.7.1. Besoins
    • 5.7.2. Modèle générique
    • 5.7.3. Choix des implémentations
      • 5.7.3.1. Enregistreur de métriques
      • 5.7.3.2. Reporters de métriques
      • 5.7.3.3. Endpoint des métriques
      • 5.7.3.4. Stockage des métriques
    • 5.7.4. Limites
  • 5.8. Outillage de déploiement
    • 5.8.1. Outil
    • 5.8.2. Architecture de l’outil
    • 5.8.3. Gestion des secrets
  • 5.9. Service registry
    • 5.9.1. Architecture
    • 5.9.2. Résolution DNS
    • 5.9.3. Multi-site
    • 5.9.4. Packaging
    • 5.9.5. Monitoring
  • 5.10. Dépendances aux services d’infrastructures
    • 5.10.1. Ordonnanceurs techniques / batchs
      • 5.10.1.1. Curator
      • 5.10.1.2. Sécurisation des journaux d’opérations
      • 5.10.1.3. Sécurisation des journaux d’écriture
      • 5.10.1.4. Sécurisation des cycles de vie
      • 5.10.1.5. Cas de la sauvegarde
    • 5.10.2. Socles d’exécution
      • 5.10.2.1. Middlewares
  • 5.11. Composants déployés
    • 5.11.1. Access-external
    • 5.11.2. Access-internal
    • 5.11.3. Batch-report
    • 5.11.4. Consul
      • 5.11.4.1. Architecture de déploiement
    • 5.11.5. Curator
    • 5.11.6. Elasticsearch-data
      • 5.11.6.1. Architecture de déploiement
      • 5.11.6.2. Monitoring
    • 5.11.7. Elasticsearch-log
      • 5.11.7.1. Architecture de déploiement
    • 5.11.8. Functional-administration
    • 5.11.9. Grafana
      • 5.11.9.1. Architecture de déploiement
        • 5.11.9.1.1. Ports utilisés
    • 5.11.10. Ingest-external
      • 5.11.10.1. Antivirus
    • 5.11.11. Ingest-internal
    • 5.11.12. Kibana
      • 5.11.12.1. Déploiement
    • 5.11.13. Logbook
    • 5.11.14. Logstash
    • 5.11.15. Metadata
    • 5.11.16. Mongodb
      • 5.11.16.1. Architecture de déploiement
        • 5.11.16.1.1. Architecture 1 noeud
        • 5.11.16.1.2. Architecture distribuée
        • 5.11.16.1.3. Ports utilisés
    • 5.11.17. Processing
    • 5.11.18. Prometheus server
      • 5.11.18.1. Architecture de déploiement
        • 5.11.18.1.1. Ports utilisés
    • 5.11.19. Prometheus alertmanager
      • 5.11.19.1. Architecture de déploiement
        • 5.11.19.1.1. Ports utilisés
    • 5.11.20. Prometheus node exporter
      • 5.11.20.1. Architecture de déploiement
        • 5.11.20.1.1. Ports utilisés
        • 5.11.20.1.2. API exposées
    • 5.11.21. Security-internal
      • 5.11.21.1. API d’administration
    • 5.11.22. Siegfried
      • 5.11.22.1. Mode de fonctionnement dans VITAM
    • 5.11.23. Storage
    • 5.11.24. Storage-offer
      • 5.11.24.1. Types d’offre de stockage
        • 5.11.24.1.1. Cas des containers objet
    • 5.11.25. Worker
      • 5.11.25.1. Particularités
    • 5.11.26. Workspace
  • 5.12. Guidelines de déploiement
  • 5.13. Eléments de dimensionnement
    • 5.13.1. Compute
      • 5.13.1.1. « xsmall » : développement local
      • 5.13.1.2. « small » : recette simple métier
      • 5.13.1.3. « medium » : production pour volumétries moyennes
      • 5.13.1.4. « large » : production pour volumétries moyennes avec besoin de résilience
      • 5.13.1.5. « xlarge » : production pour fortes volumétries
    • 5.13.2. Stockage
    • 5.13.3. Réseau : inter-site
    • 5.13.4. Scalabilité
  • 5.14. Matrice des flux
    • 5.14.1. Matrice des flux intra-site
    • 5.14.2. Matrice des flux inter-site
• 6. Sécurité
  • 6.1. Principes
    • 6.1.1. Principes de cloisonnement
    • 6.1.2. Principes de sécurisation des accès externes
    • 6.1.3. Principes de sécurisation des communications internes au système
    • 6.1.4. Principes de sécurisation des bases de données
      • 6.1.4.1. MongoDB
      • 6.1.4.2. Elasticsearch
    • 6.1.5. Principes de sécurisation des secrets de déploiement
  • 6.2. Liste des secrets
  • 6.3. Certificats
  • 6.4. SELinux
  • 6.5. Documentation de sécurité
• 7. Architecture détaillée