Document AI: human-in-the-loop (avec intervention humaine)

1. Introduction

L'API Document AI est une solution de compréhension de documents qui exploite des données non structurées, telles que des documents, des e-mails, etc., pour en faciliter la compréhension, l'analyse et l'utilisation.

L'examen manuel vous permet d'améliorer la précision du traitement de vos documents. Les examens manuels peuvent améliorer la précision des prédictions et aider les entreprises à les évaluer à l'aide d'outils spécialement conçus pour les évaluer. Dans cet atelier, vous allez configurer et tester un processeur de dépenses par le biais d'une révision humaine pour valider les résultats du processeur à l'aide des outils de configuration et de gestion human-in-the-loop (avec intervention humaine).

REMARQUE:L'interface utilisateur de la console peut changer au fil du temps. Votre environnement peut donc être légèrement différent. Si vous rencontrez des problèmes au cours de cet atelier, veuillez les signaler.

Prérequis

Cet atelier s'appuie sur le contenu présenté dans d'autres ateliers de programmation Document AI.

Nous vous recommandons d'effectuer les ateliers de programmation suivants avant de continuer.

• Reconnaissance optique des caractères (ROC) avec Document AI et Python
• Analyse de formulaire avec Document AI et Python
• Outils de traitement spécialisés avec Document AI et Python

Points abordés

• Configurez la révision humaine pour un outil de traitement.
• Créez un pool de ressources utilisateur pour les avis humains.
• Créez une tâche de test d'examen manuel.
• Attribuer une tâche d'examen manuel à un utilisateur
• Effectuez l'examen manuel d'un document.

Prérequis

• Un projet Google Cloud
• Un navigateur (Chrome ou Firefox, par exemple)
• Connaissances sur Python 3

2. Préparation

Cet atelier de programmation suppose que vous avez effectué les étapes de configuration de Document AI présentées dans l'atelier de programmation d'introduction.

Veuillez effectuer les étapes suivantes avant de continuer :

• Démarrer Cloud Shell
• Activez Document AI et API Cloud Storage
• Installer la bibliothèque cliente Python

Vous devez également activer l'API Vertex AI.

1. Dans la barre de recherche en haut de la console, recherchez "API Vertex AI", puis cliquez sur Activer pour utiliser l'API dans votre projet Google Cloud.
2. Vous pouvez également activer l'API à l'aide de la commande gcloud suivante.

gcloud services enable aiplatform.googleapis.com

3. Créer un processeur

Vous devez d'abord créer une instance du processeur de dépenses à utiliser pour cet atelier.

1. Dans la console, accédez à la présentation de la plate-forme Document AI.
2. Cliquez sur Créer un processeur, faites défiler la page jusqu'à Spécialisé, puis sélectionnez Analyseur de dépenses.
3. Donnez-lui le nom codelab-expense-parser (ou un autre nom facile à mémoriser), puis sélectionnez la région la plus proche sur la liste.
4. Cliquez sur Créer pour créer le processeur.
5. Copiez l'ID du processeur. Vous devrez l'utiliser ultérieurement dans votre code.
6. Dans Cloud Shell, créez un bucket de stockage en utilisant le nom PROJECT_ID-hitl-results:

export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs://$PROJECT_ID-hitl-results

7. Associez votre compte utilisateur au rôle IAM Administrateur Vertex AI dans le projet de votre atelier.

export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

4. Configurer Human-in-the-loop

Dans cette tâche, vous allez configurer la révision humaine pour le processeur de dépenses que vous avez créé précédemment.

1. Dans la console, ouvrez le menu de navigation, puis sélectionnez Document AI.
2. Cliquez sur Human-in-the-loop AI.
3. Cliquez sur codelab-expense-parser pour ouvrir la page d'examen manuel du processeur.
4. Cliquez sur Configurer human-in-the-loop.

5. Sélectionnez Filtre au niveau du document.
6. Réglez le curseur Pourcentage du seuil de confiance sur 50 %.
7. Laissez l'option Spécialistes définie sur Utiliser mes propres spécialistes.

8. Cliquez dans la boîte déroulante Pool de spécialistes, puis cliquez sur NOUVEAU POOL DE SPÉCIALISTES.
9. Pour Nom du pool, saisissez Codelab HITL Pool dans la boîte de dialogue Nouveau pool de spécialistes.
10. Saisissez votre adresse e-mail personnelle pour les gestionnaires de piscines et les spécialistes
11. Cliquez sur Créer un pool.

Cette opération prend quelques minutes. Vous devriez recevoir un e-mail de Vertex AI [e-mail].

REMARQUE:Cliquez sur Réessayer si vous avez rencontré des problèmes d'autorisation. Vous devez disposer de l'autorisation Cloud IAM aiplatform.specialistPools.create, qui nécessite que le rôle roles/aiplatform.admin soit attribué à votre compte utilisateur au niveau du projet.

roles/project.owner ne suffit pas à lui seul.

12. Ne cochez pas la case Attribution automatique.
13. Cochez la case de la section Confirmer les débits.
14. Cliquez sur Emplacement des instructions et copiez le contenu à cet emplacement de stockage: - N'incluez PAS le préfixe gs:// dans le chemin d'accès.

cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf

REMARQUE:Ce document est une copie des consignes pour créer des ensembles d'instructions pour les examinateurs. Il ne s'agit pas d'un exemple fonctionnel.

15. Dans Emplacement des résultats, cliquez sur Parcourir et sélectionnez le bucket Cloud Storage que vous avez créé précédemment.
16. Cliquez sur Sélectionner.
17. Cliquez sur Save Configuration (Enregistrer la configuration).

La console affiche alors le message Configure human-in-the-loop (Configuration human-in-the-loop) qui s'affiche. Cette opération prend quelques minutes.

18. Une fois la configuration terminée, la console vous invite à activer Human-in-the-loop.

• Cliquez sur le bouton pour l'activer.
• Cliquez ensuite sur ACTIVER dans la boîte de dialogue pop-up.

Importer un exemple de formulaire de dépenses

1. Nous disposons d'un exemple de formulaire à utiliser, stocké dans Google Cloud Storage. Vous pouvez la télécharger à l'aide du bouton ou de la commande ci-dessous:

Télécharger dépense-claim.pdf

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .

2. Après avoir activé Human-in-the-loop, cliquez sur le bouton Importer un document et recherchez l'exemple de document que vous venez de télécharger.
3. Cliquez sur Importer et attendez la fin de l'opération.

5. Attribuer un élément à un examen manuel

1. Sur cette page, vous devriez voir des liens vers la console Pool Manager et la console spécialisée. Ces liens apparaîtront également dans un e-mail envoyé par Vertex AI [e-mail].
   • Elles devraient se présenter comme suit : https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks
   • Cliquez sur le lien vers la console Gestionnaire.

2. Une fois dans la console d'étiquetage de données, cliquez sur le titre de l'onglet Tasks (Tâches) pour ouvrir la page d'attribution des tâches.
3. Cochez la case Non attribuée. Vous devriez constater qu'une nouvelle entrée est répertoriée dans la file d'attente de tâches codelab-expense-parser-P1.

4. Sélectionnez codelab-expense-parser-P1.
5. Cliquez sur Gérer le devoir.
6. Saisissez votre adresse e-mail personnelle dans la zone de texte Inclure des spécialistes par e-mail, puis sélectionnez-la dans la liste déroulante.
7. Cliquez sur Appliquer.

L'écran indique maintenant que la tâche vous est attribuée. Il peut s'écouler quelques minutes avant que la modification soit prise en compte.

8. Sélectionnez le nouvel utilisateur et cliquez sur l'icône de menu.
9. Cliquez sur Attribuer à toutes les tâches dans le menu pop-up qui s'affiche.

10. Cliquez sur Valider les modifications.
11. Cliquez sur Commit.

6. Effectuer une tâche d'examen manuel

1. Revenez à la page de configuration de human-in-the-loop (avec intervention humaine) dans la console Cloud.

Cliquez sur le lien pour accéder à la console du spécialiste (nœud de calcul). L'URL ressemble à ceci : https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx.

La console du nœud de calcul devrait s'ouvrir et afficher votre nouvelle tâche.

2. Pointez sur l'élément de campagne contenant Réunion avec 4 min, puis cliquez sur l'icône Modifier (en forme de crayon).
3. Modifiez la valeur pour remplacer le texte par Rencontre avec Adam. Vous devrez peut-être faire défiler la zone de texte vers le bas pour voir le texte.
4. Cliquez sur Appliquer.
5. Cliquez sur l'icône Confirmer (coche verte) pour l'élément ci-dessous.
6. Cliquez sur l'icône Confirmer pour les autres entités mises en surbrillance.
7. Cliquez sur Envoyer. La tâche d'examen a été supprimée de votre file d'attente des étiqueteurs.

7. Afficher les tâches terminées

1. Revenez à la console Gestionnaire.
2. Cliquez sur Tâches et sélectionnez En cours.
3. Cliquez sur Spécialistes.
4. Sélectionnez votre adresse e-mail.
5. Cliquez sur Gérer le devoir.
6. Sélectionnez expense-processor-P1 dans les menus déroulants Select specialists working on specific tasks et Select tasks. Cliquez sur Appliquer pour chaque sélection. Dans le menu contextuel de l'instance expense-processor-P1 qui vous a été attribuée, sélectionnez Afficher les spécialistes.

Une fois la tâche d'étiquetage envoyée par l'étiqueteur, le nombre de tâches traitées et le temps total pris seront mis à jour, mais l'affichage des données dans cette vue peut prendre quelques minutes.

7. Fermez la fenêtre pop-up des spécialistes et accédez à l'onglet Spécialistes.
8. Cliquez sur le menu contextuel de votre nom d'utilisateur et sélectionnez Afficher les tâches.

Cette vue affiche la liste des tâches de l'utilisateur, leur nombre d'achèvements et le temps nécessaire, comme indiqué ci-dessous:

8. Félicitations

Félicitations ! Vous avez utilisé la fonctionnalité human-in-the-loop (avec intervention humaine) de Document AI pour configurer l'examen manuel des documents traités à l'aide d'un processeur de dépenses Document AI.

Effectuer un nettoyage

Pour éviter que les ressources utilisées dans ce tutoriel soient facturées sur votre compte Google Cloud, procédez comme suit :

• Dans la console Cloud, accédez à la page Gérer les ressources.
• Dans la liste des projets, sélectionnez votre projet, puis cliquez sur "Supprimer".
• Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur "Arrêter" pour supprimer le projet.

En savoir plus

Continuez à vous familiariser avec Document AI grâce aux ateliers de programmation suivants.

• Gérer les processeurs Document AI avec Python

Ressources

• The Future of Documents - YouTube Playlist
• Documentation Document AI
• Bibliothèque cliente Python Document AI
• Exemples Document AI

Licence

Ce document est publié sous une licence Creative Commons Attribution 2.0 Generic.