Cette page a été traduite par l'API Cloud Translation.

Déployer un système de fichiers parallèles Lustre sur GCP

1. Présentation

Bienvenue dans l'atelier de programmation Google pour exécuter un cluster de systèmes de fichiers parallèles Lustre sur Google Cloud Platform.

Les données sont au cœur du calcul hautes performances. L'accès à de grandes quantités de données à des vitesses extrêmement élevées et avec des latences faibles a toujours été un défi majeur pour l'exécution de charges de travail HPC. Cette exigence de stockage hautes performances n'a pas changé dans le cloud. En fait, la capacité à utiliser de vastes quantités de stockage rapidement et facilement est devenue primordiale.

Les centres HPC répondent depuis longtemps à ce besoin sur site à l'aide de technologies telles que le système de fichiers parallèles Lustre. Lustre est l'une des solutions de stockage Open Source hautes performances les plus populaires à l'heure actuelle. Depuis juin 2005, elle est utilisée de manière constante par au moins la moitié des dix supercalculateurs les plus rapides au monde, ainsi que par plus de 60 supercalculateurs parmi les 100 plus rapides. Lustre peut être étendu jusqu'à des centaines de pétaoctets de capacité et fournir les performances maximales possibles pour les tâches HPC, avec des systèmes offrant un débit de plusieurs téraoctets par seconde dans un seul espace de noms.

Pour répondre à la demande de stockage, Google Cloud a adopté deux approches. Tout d'abord, GCP s'est associé à DDN pour proposer son logiciel DDN EXAScaler Lustre professionnel et pris en charge sur GCP Marketplace. Deuxièmement, nos ingénieurs de Google Cloud ont développé et rendu Open Source un ensemble de scripts pour configurer et déployer facilement un cluster de stockage Lustre sur Google Compute Engine à l'aide de Google Cloud Deployment Manager.

Lustre sur Google Cloud Platform est également capable de fournir les performances maximales de l'infrastructure sur laquelle il s'exécute. Ses performances sur GCP sont si bonnes qu'il s'est classé 8e au benchmark du système de stockage IO-500 en 2019 avec notre partenaire DDN, ce qui en fait le système de fichiers cloud le mieux classé dans l'IO-500. Aujourd'hui, nous allons vous expliquer comment déployer les scripts Open Source de Deployment Manager pour Lustre. Si vous souhaitez bénéficier d'une expérience Lustre professionnelle et renforcée, avec l'assistance d'experts Lustre pour votre cluster Lustre, ainsi que des fonctionnalités telles qu'une IUG de gestion et de surveillance ou des réglages Lustre, nous vous recommandons d'examiner l'offre de place de marché DDN EXAScaler.

Points abordés

Utiliser le service GCP Deployment Manager
Configurer et déployer un système de fichiers Lustre sur GCP
Configurer le striping et tester les E/S simples sur le système de fichiers Lustre

Prérequis

Compte Google Cloud Platform et projet avec facturation
Expérience Linux de base

2. Configuration

Configuration de l'environnement au rythme de chacun

Créer un projet

Si vous ne possédez pas encore de compte Google (Gmail ou G Suite), vous devez en créer un. Connectez-vous à la console Google Cloud Platform ( console.cloud.google.com) et ouvrez la page Gérer les ressources:

Cliquez sur Create Project (Créer un projet).

Saisissez un nom de projet. Retenez l'ID du projet (en rouge dans la capture d'écran ci-dessus). L'ID du projet doit être un nom unique pour tous les projets Google Cloud. Si le nom de votre projet n'est pas unique, Google Cloud génère un ID de projet aléatoire en fonction de ce nom.

Vous devez ensuite activer la facturation dans Developers Console pour pouvoir utiliser les ressources Google Cloud.

Suivre cet atelier de programmation ne devrait pas vous coûter plus d'un euro. Cependant, cela peut s'avérer plus coûteux si vous décidez d'utiliser davantage de ressources ou si vous n'interrompez pas les ressources (voir la section "Conclusion" à la fin du présent document). Le simulateur de coût Google Cloud Platform est disponible sur cette page.

Les nouveaux utilisateurs de Google Cloud Platform peuvent bénéficier d'un essai sans frais avec 300$de crédits.

Google Cloud Shell

Bien que Google Cloud puisse être utilisé à distance depuis votre ordinateur portable, nous allons utiliser Google Cloud Shell pour cet atelier de programmation, un environnement de ligne de commande exécuté dans le cloud.

Lancer Google Cloud Shell

Depuis la console GCP, cliquez sur l'icône Cloud Shell de la barre d'outils située dans l'angle supérieur droit :

Cliquez ensuite sur Démarrer Cloud Shell:

Le provisionnement de l'environnement et la connexion ne devraient pas prendre plus de quelques minutes :

Cette machine virtuelle contient tous les outils de développement nécessaires. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud, ce qui améliore nettement les performances du réseau et simplifie l'authentification. Vous pouvez réaliser une grande partie, voire la totalité, des activités de cet atelier dans un simple navigateur Web ou sur un Google Chromebook.

Une fois connecté à Cloud Shell, vous êtes en principe authentifié, et le projet est déjà défini avec votre PROJECT_ID:

$ gcloud auth list

Résultat de la commande :

Credentialed accounts:
 - <myaccount>@<mydomain>.com (active)

$ gcloud config list project

Résultat de la commande :

[core]
project = <PROJECT_ID>

Si l'ID du projet n'est pas défini correctement, vous pouvez le définir avec la commande suivante:

$ gcloud config set project <PROJECT_ID>

Résultat de la commande :

Updated property [core/project].

3. Préparer et examiner la configuration de déploiement de Lustre

Télécharger les scripts du gestionnaire de déploiement Lustre

Dans la session Cloud Shell, exécutez la commande suivante pour cloner (télécharger) le dépôt Git contenant les fichiers Lustre pour le gestionnaire de déploiement de Google Cloud Platform:

git clone https://github.com/GoogleCloudPlatform/deploymentmanager-samples.git

Accédez au répertoire de configuration du déploiement Lustre en exécutant la commande suivante:

cd deploymentmanager-samples/community/lustre/

Configurer le fichier YAML de déploiement Lustre

Deployment Manager utilise un fichier YAML pour fournir la configuration de déploiement. Ce fichier YAML détaille la configuration du déploiement, comme la version de Lustre à déployer et les types d'instances de machine à déployer. Par défaut, le fichier est configuré pour être déployé dans un nouveau projet sans augmentation de quota. Toutefois, vous pouvez modifier le type de machine ou la capacité selon vos besoins pour cet atelier de programmation. Cet atelier de programmation est conçu pour utiliser ces valeurs par défaut. Si vous apportez des modifications, vous devez les appliquer tout au long de cet atelier pour éviter les erreurs. En production, nous vous recommandons d'utiliser au moins une instance de 32 vCPU pour le nœud MDS et une instance de 8 ou 16 vCPU pour les nœuds OSS, en fonction de la capacité et du type de stockage.

Pour examiner ou modifier le fichier YAML dans la session Cloud Shell, ouvrez le fichier YAML de configuration de déploiement Lustre-cluster.yaml. Vous pouvez utiliser l'éditeur de ligne de commande de votre choix (vi, nano, emacs, etc.) ou l'éditeur de code de la console Cloud Console pour afficher le contenu du fichier:

Le contenu du fichier se présente comme suit:

# [START cluster_yaml]
imports:
- path: lustre.jinja

resources:
- name: lustre
  type: lustre.jinja
  properties:
    ## Cluster Configuration
    cluster_name            : lustre
    zone                    : us-central1-f
    cidr                    : 10.20.0.0/16
    external_ips            : True
    ### Use these fields to deploy Lustre in an existing VPC, Subnet, and/or Shared VPC
    #vpc_net                 : < VPC Network Name >
    #vpc_subnet              : < VPC Subnet Name >
    #shared_vpc_host_proj    : < Shared VPC Host Project name >

    ## Filesystem Configuration
    fs_name                 : lustre
    ### Review https://downloads.whamcloud.com/public/ to determine version naming
    lustre_version          : latest-release
    e2fs_version            : latest

    ## Lustre MDS/MGS Node Configuration
    #mds_node_count          : 1
    mds_ip_address          : 10.20.0.2
    mds_machine_type        : n1-standard-8
    ### MDS/MGS Boot disk
    mds_boot_disk_type      : pd-standard
    mds_boot_disk_size_gb   : 10
    ### Lustre MetaData Target disk
    mdt_disk_type           : pd-ssd
    mdt_disk_size_gb        : 1000

    ## Lustre OSS Configuration
    oss_node_count          : 4
    oss_ip_range_start      : 10.20.0.5
    oss_machine_type        : n1-standard-4
    ### OSS Boot disk
    oss_boot_disk_type      : pd-standard
    oss_boot_disk_size_gb   : 10
    ### Lustre Object Storage Target disk
    ost_disk_type           : pd-standard
    ost_disk_size_gb        : 5000
#  [END cluster_yaml]

Ce fichier YAML contient plusieurs champs. Les champs ci-dessous suivis d'un astérisque (*) sont obligatoires. Ces champs sont les suivants :

Configuration du cluster

cluster_name* : nom du cluster Lustre, ajouté au début de toutes les ressources déployées
zone* : zone dans laquelle déployer le cluster
cidr* : plage d'adresses IP au format CIDR
external_ips* : vrai/faux, les nœuds Lustre disposent d'adresses IP externes. Si la valeur est "false", un Cloud NAT est configuré en tant que passerelle NAT.
vpc_net : définissez ce champ et le champ vpc_subnet pour déployer le cluster Lustre dans un VPC existant.
vpc_subnet : sous-réseau VPC existant sur lequel déployer le cluster Lustre
shared_vpc_host_proj : définissez ce champ, ainsi que les champs vpc_net et vpc_subnet, pour déployer le cluster dans un VPC partagé.

Configuration du système de fichiers

fs_name : nom du système de fichiers Lustre
lustre_version : version de Lustre à déployer. Utilisez "latest-release" pour déployer la dernière branche à partir de https://downloads.whamcloud.com/public/lustre/ ou lustre-X.X.X pour déployer d'autres versions.
e2fs_version : version d'E2fsprogs à déployer. Utilisez "latest" pour déployer la dernière branche à partir de https://downloads.whamcloud.com/public/e2fsprogs/ ou X.XX.X.wcX pour déployer d'autres versions.

Configuration MDS/MGS

mds_ip_address : adresse IP interne à spécifier pour le nœud MDS/MGS
mds_machine_type : type de machine à utiliser pour le nœud MDS/MGS (consultez la page https://cloud.google.com/compute/docs/machine-types)
mds_boot_disk_type : type de disque à utiliser pour le disque de démarrage MDS/MGS (pd-standard, pd-ssd)
mds_boot_disk_size_gb : taille du disque de démarrage MDS en Go
mdt_disk_type* : type de disque à utiliser pour le disque de la cible de métadonnées (MDT) (pd-standard, pd-ssd, local-ssd)
mdt_disk_size_gb* : taille du disque MDT en Go

Configuration de l'OS

oss_node_count* : nombre de nœuds de serveur de stockage d'objets (OSS) à créer
oss_ip_range_start : début de la plage d'adresses IP du ou des nœuds OSS. Si aucune valeur n'est spécifiée, utilisez l'attribution automatique d'adresses IP.
oss_machine_type : type de machine à utiliser pour le ou les nœuds OSS
oss_boot_disk_type : type de disque à utiliser pour le disque de démarrage OSS (pd-standard, pd-ssd)
oss_boot_disk_size_gb : taille du disque de démarrage MDS en Go
ost_disk_type* : type de disque à utiliser pour le disque OST (Object Storage Target) (pd-standard, pd-ssd, local-ssd)
ost_disk_size_gb* : taille du disque OST en Go

4. Déployer et vérifier la configuration

Déployer la configuration

Dans la session Cloud Shell, exécutez la commande suivante à partir du dossier Lustre-gcp:

gcloud deployment-manager deployments create lustre --config lustre.yaml

Cette commande crée un déploiement nommé Lustre. Cette opération peut prendre entre 10 et 20 minutes. Veuillez donc patienter.

Une fois le déploiement terminé, un résultat semblable à celui-ci s'affiche:

Create operation operation-1572410719018-5961966591cad-e25384f6-d4c905f8 completed successfully.
NAME                                TYPE                   STATE      ERRORS  INTENT
lustre-all-internal-firewall-rule  compute.v1.firewall    COMPLETED  []
lustre-lustre-network              compute.v1.network     COMPLETED  []
lustre-lustre-subnet               compute.v1.subnetwork  COMPLETED  []
lustre-mds1                        compute.v1.instance    COMPLETED  []
lustre-oss1                        compute.v1.instance    COMPLETED  []
lustre-oss2                        compute.v1.instance    COMPLETED  []
lustre-oss3                        compute.v1.instance    COMPLETED  []
lustre-oss4                        compute.v1.instance    COMPLETED  []
lustre-ssh-firewall-rule           compute.v1.firewall    COMPLETED  []

Vérifier le déploiement

Pour afficher le déploiement dans la console Google Cloud Platform, procédez comme suit:

Dans la console Cloud Platform, ouvrez le menu Products and Services (Produits et services) en haut à gauche de la console (trois lignes horizontales).
Cliquez sur Deployment Manager (Gestionnaire de déploiement).
Cliquez sur Lustre pour afficher les détails du déploiement.
Cliquez sur Vue d'ensemble - Lustre. Le volet Propriétés de déploiement affiche la configuration globale du déploiement.
Cliquez sur Afficher dans la propriété Config. Le volet Config affiche le contenu du fichier YAML de configuration de déploiement modifié précédemment. Vérifiez que le contenu est correct avant de continuer. Si vous devez modifier une configuration de déploiement, supprimez simplement le déploiement en suivant la procédure décrite dans la section "Nettoyer le déploiement", puis redémarrez le déploiement en suivant la procédure décrite dans la section "Configurer le fichier YAML de déploiement Lustre".
(Facultatif) Dans la section Lustre-cluster, cliquez sur chacune des ressources créées par le modèle Lustre.jinja et examinez les détails.

Une fois la configuration du déploiement validée, vérifions que les instances du cluster sont démarrées. Dans la console Cloud Platform, dans le menu Produits et services, cliquez sur Compute Engine > VM instances (Compute Engine > Instances de VM).

Sur la page VM Instances (Instances de VM), examinez les cinq instances de machines virtuelles créées par le gestionnaire de déploiement. Cela inclut lustre-mds1, lustre-oss1, lustre-oss2, lustre-oss3 et lustre-oss4.

5. Accéder au cluster Lustre

Surveiller l'installation

Sur la page "Instances de VM", cliquez sur "lustre-mds1" pour ouvrir la page "Détails de l'instance".

Cliquez sur Port série 1 (console) pour ouvrir la page de sortie de la console série. Nous utiliserons cette sortie série pour surveiller le processus d'installation de l'instance MDS et attendre la fin du script de démarrage. Cliquez sur le bouton "Actualiser" en haut de la page pour mettre à jour la sortie série. Le nœud redémarre une fois pour démarrer dans le noyau Lustre et affiche des messages semblables à ceux ci-dessous:

Startup finished in 838ms (kernel) + 6.964s (initrd) + 49.302s (userspace) = 57.105s.
Lustre: lustre-MDT0000: Connection restored to 374e2d80-0b31-0cd7-b2bf-de35b8119534 (at 0@lo)

Cela signifie que Lustre est installé sur le cluster Lustre et que le système de fichiers est prêt à être utilisé.

Accéder au cluster Lustre

Dans la session Cloud Shell, cliquez sur le bouton SSH à côté de l'instance lustre-mds1 dans la console Google Cloud. Vous pouvez également exécuter la commande suivante dans Cloud Shell, en remplaçant <ZONE> par la zone du nœud lustre-mds1:

gcloud compute ssh lustre-mds1 --zone=<ZONE>

Cette commande vous connecte à la machine virtuelle lustre-mds1. Il s'agit de l'instance du serveur de métadonnées (MDS) Lustre, qui sert également d'instance du serveur de gestion (MGS) Lustre. Cette instance gère toutes les requêtes d'authentification et de métadonnées pour le système de fichiers.

Installons le système de fichiers sur notre instance lustre-mds1 afin de pouvoir le tester plus tard. Exécutez les commandes suivantes:

sudo mkdir /mnt/lustre
sudo mount -t lustre lustre-mds1:/lustre /mnt/lustre
cd /mnt/lustre

Ces trois commandes remplissent trois fonctions. La première commande crée un répertoire local que nous utiliserons comme point d'installation à l'emplacement "/mnt/lustre". La deuxième commande exécute la commande "mount" pour monter le système de fichiers de type "lustre", qui se trouve sur le serveur lustre-mds1, et dont le nom est "lustre", affiché sous la forme "/lustre". La commande mount installe le système de fichiers Lustre dans le répertoire local "/mnt/lustre". Enfin, la troisième commande change de répertoire pour accéder au répertoire /mnt/lustre, où Lustre est installé.

Vous avez maintenant installé le système de fichiers Lustre à l'emplacement /mnt/lustre. Voyons ce que nous pouvons faire avec ce système de fichiers.

6. Présentation des outils CLI Lustre

Si vous ne connaissez pas bien Lustre et ses outils, nous allons vous présenter quelques commandes importantes.

L'outil de gestion de cluster de bas niveau de Lustre est "lctl". Nous pouvons utiliser lctl pour configurer et gérer le cluster Lustre, et pour afficher les services du cluster Lustre. Pour afficher les services et les instances de notre nouveau cluster Lustre, exécutez la commande suivante:

sudo lctl dl

Un résultat semblable à celui ci-dessous s'affiche, en fonction des modifications apportées au fichier de configuration YAML Lustre:

  0 UP osd-ldiskfs lustre-MDT0000-osd lustre-MDT0000-osd_UUID 11
  1 UP mgs MGS MGS 12
  2 UP mgc MGC10.128.15.2@tcp 374e2d80-0b31-0cd7-b2bf-de35b8119534 4
  3 UP mds MDS MDS_uuid 2
  4 UP lod lustre-MDT0000-mdtlov lustre-MDT0000-mdtlov_UUID 3
  5 UP mdt lustre-MDT0000 lustre-MDT0000_UUID 12
  6 UP mdd lustre-MDD0000 lustre-MDD0000_UUID 3
  7 UP qmt lustre-QMT0000 lustre-QMT0000_UUID 3
  8 UP lwp lustre-MDT0000-lwp-MDT0000 lustre-MDT0000-lwp-MDT0000_UUID 4
  9 UP osp lustre-OST0000-osc-MDT0000 lustre-MDT0000-mdtlov_UUID 4
 10 UP osp lustre-OST0002-osc-MDT0000 lustre-MDT0000-mdtlov_UUID 4
 11 UP osp lustre-OST0001-osc-MDT0000 lustre-MDT0000-mdtlov_UUID 4
 12 UP osp lustre-OST0003-osc-MDT0000 lustre-MDT0000-mdtlov_UUID 4

Nous pouvons voir notre serveur de gestion Lustre (MGS) à l'élément 1, notre serveur de métadonnées Lustre (MDS) à l'élément 3, notre cible de métadonnées Lustre (MDT) à l'élément 5 et nos quatre serveurs de stockage d'objets Lustre (OSS) aux éléments 8 à 12. Pour en savoir plus sur les autres services, consultez le manuel Lustre.

L'outil de configuration du système de fichiers Lustre est "lfs". Nous pouvons utiliser lfs pour gérer le fractionnement des fichiers sur nos serveurs de stockage d'objets (OSS) Lustre et leurs cibles de stockage d'objets (OST) respectives, ainsi que pour exécuter des opérations de système de fichiers courantes telles que find, df et la gestion des quotas.

Le striping nous permet de configurer la distribution d'un fichier sur notre cluster Lustre afin d'obtenir les meilleures performances possibles. Bien que le fractionnement d'un grand fichier sur autant d'OSD que possible offre souvent les meilleures performances en parallélisant les E/S, le fractionnement d'un petit fichier peut entraîner des performances inférieures à celles obtenues si ce fichier n'était écrit que dans une seule instance.

Pour tester cela, définissons deux répertoires, l'un avec un nombre de bandes de 1 OS et l'autre avec un nombre de bandes de "-1", ce qui indique que les fichiers écrits dans ce répertoire doivent être répartis sur autant d'OS que possible. Les répertoires peuvent contenir des configurations de bandes qui sont héritées par les fichiers créés dans ces répertoires. Toutefois, si vous le souhaitez, vous pouvez configurer les sous-répertoires et les fichiers individuels de ce répertoire pour qu'ils soient répartis différemment. Pour créer ces deux répertoires, exécutez les commandes suivantes dans le répertoire "/mnt/lustre" :

sudo mkdir stripe_one
sudo mkdir stripe_all
sudo lfs setstripe -c 1 stripe_one/
sudo lfs setstripe -c -1 stripe_all/

Vous pouvez afficher les paramètres de bande d'un fichier ou d'un répertoire à l'aide de lfs getstripe:

sudo lfs getstripe stripe_all/

Le résultat indique que le nombre de bandes est défini sur -1:

stripe_all/
stripe_count:  -1 stripe_size:   1048576 pattern:    raid0 stripe_offset: -1

Nous sommes maintenant prêts à tester les améliorations de performances que nous pouvons obtenir en écrivant un grand fichier en bandes sur plusieurs OSS.

7. Tester les E/S Lustre

Nous allons exécuter deux tests simples de l'I/O Lustre pour démontrer les avantages possibles en termes de performances et de capacités de mise à l'échelle du système de fichiers Lustre. Nous allons d'abord exécuter un test simple à l'aide de l'utilitaire "dd" pour écrire un fichier de 5 Go dans notre répertoire "stripe_one". Exécutez la commande suivante:

sudo dd if=/dev/zero of=stripe_one/test bs=1M count=5000

Le processus d'écriture de 5 Go de données dans le système de fichiers prend en moyenne 27 secondes, en écrivant sur un seul disque persistant (PD) sur un seul serveur de stockage d'objets (OSS).

Pour tester le striping sur plusieurs OSS et donc plusieurs, il suffit de modifier le répertoire de sortie dans lequel nous écrivons. Exécutez la commande suivante:

sudo dd if=/dev/zero of=stripe_all/test bs=1M count=5000

Notez que nous avons remplacé "of=stripe_one/test" par "of=stripe_all/test". Cela permettra à notre écriture en flux unique de distribuer ses écritures sur l'ensemble de nos serveurs Object Storage et d'effectuer l'écriture en moyenne en 5, 5 secondes, soit environ quatre fois plus rapidement avec quatre OSS.

Ces performances continuent d'augmenter à mesure que vous ajoutez des serveurs de stockage d'objets. Vous pouvez ajouter des OSS avec le système de fichiers en ligne et commencer à y stocker des données pour augmenter la capacité et les performances en ligne. Les possibilités sont infinies avec Lustre sur Google Cloud Platform. Nous sommes impatients de voir ce que vous pouvez créer et les problèmes que vous pouvez résoudre.

8. Conclusion

Félicitations ! Vous avez créé un cluster Lustre sur Google Cloud Platform. Vous pouvez utiliser ces scripts comme point de départ pour créer votre propre cluster Lustre et l'intégrer à votre cluster de calcul cloud.

Nettoyer le déploiement

Se déconnecter du nœud Lustre:

exit

Une fois le déploiement terminé, vous pouvez facilement le nettoyer en exécutant la commande suivante dans Google Cloud Shell après vous être déconnecté du cluster Lustre:

gcloud deployment-manager deployments delete lustre

Lorsque vous y êtes invité, saisissez Y pour continuer. Cette opération peut prendre un certain temps. Veuillez patienter.

Supprimer le projet

Pour effectuer un nettoyage, il suffit de supprimer notre projet.

Dans le menu de navigation, sélectionnez "IAM et administration".
Cliquez ensuite sur "Paramètres" dans le sous-menu.
Cliquez sur l'icône en forme de corbeille avec le texte "Supprimer le projet".
Suivez les instructions à l'écran.

Points abordés

Utiliser le service GCP Deployment Manager
Configurer et déployer un système de fichiers Lustre sur GCP
Configurer le striping et tester les E/S simples sur le système de fichiers Lustre

Obtenir de l'aide

Créez-vous quelque chose d'intéressant à l'aide des scripts du gestionnaire de déploiement Lustre ? Vous avez des questions ? Discutez avec nous dans le groupe de discussion Google Cloud Lustre. Pour demander des fonctionnalités, envoyer des commentaires ou signaler des bugs, veuillez utiliser ce formulaire. Vous pouvez également modifier le code et envoyer une demande de tirage. Vous souhaitez parler à un expert Google Cloud ? Contactez l'équipe Google Cloud dès aujourd'hui sur le site Web de Google Cloud dédié au calcul hautes performances.

En savoir plus

Commentaires

Veuillez nous faire part de vos commentaires sur cet atelier de programmation en cliquant ici. L'envoi de commentaires ne prend pas plus de cinq minutes. Merci !