8.2.14.2. Configuration / fichiers utiles

8.2.14.2.1. Fichier metadata.conf

#jinja2: lstrip_blocks: True
workspaceUrl: {{vitam.workspace | client_url}}
urlProcessing: {{vitam.processing | client_url}}
contextPath: {{ vitam_struct.context_path }}

# Archive Unit Profile cache settings (max entries in cache & retention timeout in seconds)
archiveUnitProfileCacheMaxEntries: {{ vitam.metadata.archiveUnitProfileCacheMaxEntries }}
archiveUnitProfileCacheTimeoutInSeconds: {{ vitam.metadata.archiveUnitProfileCacheTimeoutInSeconds }}

# Schema validator cache settings (max entries in cache & retention timeout in seconds)
schemaValidatorCacheMaxEntries: {{ vitam.metadata.schemaValidatorCacheMaxEntries }}
schemaValidatorCacheTimeoutInSeconds: {{ vitam.metadata.schemaValidatorCacheTimeoutInSeconds }}

# DIP purge service (in minutes)
dipTimeToLiveInMinutes: {{ vitam.metadata.dipTimeToLiveInMinutes }}
criticalDipTimeToLiveInMinutes: {{ vitam.metadata.criticalDipTimeToLiveInMinutes }}

# TRANSFER purge service (in minutes)
transfersSIPTimeToLiveInMinutes: {{ vitam.metadata.transfersSIPTimeToLiveInMinutes }}

{% if primary_site | lower != "true" %}
# Reconstruction cache duration (in minutes)
reconstructionMetricsCacheDurationInMinutes: {{ vitam.metadata.reconstructionMetricsCacheDurationInMinutes | default(15) }}
{% endif %}

# Units and Objects Stream Threshold
unitsStreamThreshold: {{ vitam.metadata.unitsStreamThreshold | default(1000000) }}
unitsStreamExecutionLimit: {{ vitam.metadata.unitsStreamExecutionLimit | default(3) }}
objectsStreamThreshold: {{ vitam.metadata.objectsStreamThreshold | default(1000000) }}
objectsStreamExecutionLimit: {{ vitam.metadata.objectsStreamExecutionLimit | default(3) }}

# Configuration MongoDB
mongoDbNodes:
{% for server in groups['hosts_mongos_data'] %}
- dbHost: {{ hostvars[server]['ip_service'] }}
  dbPort: {{ mongodb.mongos_port }}
{% endfor %}
dbName: metadata
dbAuthentication: {{ mongodb.mongo_authentication }}
dbUserName: {{ mongodb['mongo-data'].metadata.user }}
dbPassword: {{ mongodb['mongo-data'].metadata.password }}

jettyConfig: jetty-config.xml

# ElasticSearch
clusterName: {{ vitam_struct.cluster_name }}
elasticsearchNodes:
{% for server in groups['hosts_elasticsearch_data'] %}
- hostName: {{ hostvars[server]['ip_service'] }}
  httpPort: {{ elasticsearch.data.port_http }}
{% endfor %}

# ElasticSearch External Metadata Mapping
elasticsearchExternalMetadataMappings:
- collection: Unit
  mappingFile: {{ vitam.metadata.elasticsearch_mapping_dir }}/unit-es-mapping.json
- collection: ObjectGroup
  mappingFile: {{ vitam.metadata.elasticsearch_mapping_dir }}/og-es-mapping.json

# ElasticSearch tenant indexation
elasticsearchTenantIndexation:
  default_config:
    unit:
      number_of_shards: {{ vitam_elasticsearch_tenant_indexation.default_config.unit.number_of_shards | default('1') }}
      number_of_replicas: {{ vitam_elasticsearch_tenant_indexation.default_config.unit.number_of_replicas | default('2') }}
    objectgroup:
      number_of_shards: {{ vitam_elasticsearch_tenant_indexation.default_config.objectgroup.number_of_shards | default('1') }}
      number_of_replicas: {{ vitam_elasticsearch_tenant_indexation.default_config.objectgroup.number_of_replicas | default('2') }}

{% if vitam_elasticsearch_tenant_indexation.dedicated_tenants is defined and vitam_elasticsearch_tenant_indexation.dedicated_tenants is not none %}
  dedicated_tenants:
  {% for entry in vitam_elasticsearch_tenant_indexation.dedicated_tenants %}
  - tenants: '{{ entry.tenants }}'
    {% if entry.unit is defined %}
    unit:
      {% if entry.unit.number_of_shards is defined %}
      number_of_shards: {{ entry.unit.number_of_shards }}
      {% endif %}
      {% if entry.unit.number_of_replicas is defined %}
      number_of_replicas: {{ entry.unit.number_of_replicas }}
      {% endif %}
    {% endif %}
    {% if entry.objectgroup is defined %}
    objectgroup:
      {% if entry.objectgroup.number_of_shards is defined %}
      number_of_shards: {{ entry.objectgroup.number_of_shards }}
      {% endif %}
      {% if entry.objectgroup.number_of_replicas is defined %}
      number_of_replicas: {{ entry.objectgroup.number_of_replicas }}
      {% endif %}
    {% endif %}
  {% endfor %}
{% endif %}

{% if vitam_elasticsearch_tenant_indexation.grouped_tenants is defined and vitam_elasticsearch_tenant_indexation.grouped_tenants is not none %}
  grouped_tenants:
  {% for entry in vitam_elasticsearch_tenant_indexation.grouped_tenants %}
  - name: '{{ entry.name }}'
    tenants: '{{ entry.tenants }}'
    {% if entry.unit is defined %}
    unit:
      {% if entry.unit.number_of_shards is defined %}
      number_of_shards: {{ entry.unit.number_of_shards }}
      {% endif %}
      {% if entry.unit.number_of_replicas is defined %}
      number_of_replicas: {{ entry.unit.number_of_replicas }}
      {% endif %}
    {% endif %}
    {% if entry.objectgroup is defined %}
    objectgroup:
      {% if entry.objectgroup.number_of_shards is defined %}
      number_of_shards: {{ entry.objectgroup.number_of_shards }}
      {% endif %}
      {% if entry.objectgroup.number_of_replicas is defined %}
      number_of_replicas: {{ entry.objectgroup.number_of_replicas }}
      {% endif %}
    {% endif %}
  {% endfor %}
{% endif %}

#Basic Authentication
adminBasicAuth:
- userName: {{ admin_basic_auth_user }}
  password: {{ admin_basic_auth_password }}

isDataConsistencyAuditRunnable: {{ vitam.metadata.isDataConsistencyAuditRunnable | default(false) }}
dataConsistencyAuditOplogMaxSize: {{ vitam.metadata.dataConsistencyAuditOplogMaxSize | default(100) }}
mongodShardsConf:
  dbUserName: {{ mongodb['mongo-data']['localadmin']['user'] }}
  dbPassword: {{ mongodb['mongo-data']['localadmin']['password'] }}
  mongoDbShards:
{% for shard in groups['hosts_mongod_data'] %}
  - shardName: shard{{ hostvars[shard]['mongo_shard_id']}}
    mongoDbNodes:
  {% for server in groups['hosts_mongod_data'] %}
    - dbHost: {{ hostvars[server]['ip_service'] }}
      dbPort: {{ mongodb.mongod_port }}
  {% endfor %}
{% endfor %}

8.2.14.2.1.1. Paramétrage des caches

Metadata maintient en mémoire un ensemble de caches pour la gestion des données peu modifiées et qui interviennent lors des modifications de métadonnées (référentiels d’ontologie, schéma de donnée).

Cache du référentiel de l’ontologie :

  • ontologyCacheMaxEntries: Nombre maximum d’objets à maintenir dans le cache (par défaut 100). Ce paramètre dépend du nombre de traitements actifs.
  • ontologyCacheTimeoutInSeconds: Durée en secondes de rétention des objets en cache (par défaut 300, soit 5 minutes)

Cache du référentiel des profiles d’unités archivistiques :

  • archiveUnitProfileCacheMaxEntries: Nombre maximum d’objets à maintenir dans le cache (par défaut 100). Ce paramètre dépend du nombre de traitements actifs.
  • archiveUnitProfileCacheTimeoutInSeconds: Durée en secondes de rétention des objets en cache (par défaut 300, soit 5 minutes)

Cache des validateurs de schémas chargés en mémoire :

  • schemaValidatorCacheMaxEntries: Nombre maximum d’objets à maintenir dans le cache (par défaut 100). Ce paramètre dépend du nombre de traitements actifs.
  • schemaValidatorCacheTimeoutInSeconds: Durée en secondes de rétention des objets en cache (par défaut 300, soit 5 minutes)

8.2.14.2.1.2. Paramétrage des mappings externes elasticsearch

  • elasticsearchExternalMetadataMappings: La liste des collections et le chemin vers le fichier de mapping elasticsearch associé dans le dossier de configuration /vitam/conf/metadata/mapping

la Liste elasticsearchExternalMetadataMappings est composée comme suit:

  • collection: La collection Unit en premier
  • mappingFile: Le chemin vers le fichier mapping de la collection, généralement dans le fichier de configuration du composant metadata.
  • collection: La collection ObjectGroup
  • mappingFile: Le chemin vers le fichier mapping de la collection, généralement dans le fichier de configuration du composant metadata.

Avertissement

ces mapping devront être en cohérence avec l’ontologie.

8.2.14.2.1.3. Paramétrage de la limite du flux des unités archivestiques

  • unitsStreamThreshold: c’est le seuil en nombre d’unités archivestiques de plateforme, si le nombre des résultats dépassent ce seuil.

aucun résultat ne sera fourni.

  • unitsStreamExecutionLimit: la limite d’exécution d’une recherche par jour. Si cette valeur est égale à zéro, le nombre de recherche est illimité.

8.2.14.2.1.4. Paramétrage de la limite du flux des groupes d’objets techniques

  • objectsStreamThreshold: c’est le seuil en nombre de group d’objets techniques.

Si le nombre des résultats dépassent ce seuil, aucun résultat ne sera fourni.

  • objectsStreamExecutionLimit: la limite d’exécution d’une recherche par jour. Si cette valeur est égale à zéro, le nombre de recherche est illimité.

8.2.14.2.2. Fichier functional-administration-client.conf

serverHost: {{ vitam.functional_administration.host }}
serverPort: {{ vitam.functional_administration.port_service }}

8.2.14.2.3. Fichier storage-client.conf

serverHost: {{ vitam.storageengine.host }}
serverPort: {{ vitam.storageengine.port_service }}