Document AI: human-in-the-loop (avec intervention humaine)

1. Introduction

L'API Document AI est une solution de reconnaissance de documents qui exploite des données non structurées, telles que des documents et des e-mails, et en facilite la compréhension, l'analyse et l'utilisation.

Grâce à la vérification manuelle, vous pouvez améliorer la précision du traitement des documents. L'examen manuel permet d'améliorer la précision et d'aider les entreprises à évaluer les prédictions à l'aide d'outils conçus spécifiquement pour ces examens. Dans cet atelier, vous allez configurer et tester un processeur de dépenses à l'aide de l'examen manuel pour valider les résultats du processeur à l'aide des outils de configuration et de gestion de l'humain dans la boucle.

REMARQUE : L'interface utilisateur de la console est susceptible de changer au fil du temps et votre environnement peut donc être légèrement différent. Si vous rencontrez des problèmes au cours de cet atelier, veuillez les signaler.

Prérequis

Cet atelier s'appuie sur le contenu présenté dans d'autres ateliers de programmation Document AI.

Nous vous recommandons d'effectuer les ateliers de programmation suivants avant de continuer.

• Reconnaissance optique des caractères (ROC) avec Document AI et Python
• Analyse de formulaire avec Document AI et Python
• Outils de traitement spécialisés avec Document AI et Python

Points abordés

• Configurer l'examen manuel pour un processeur
• Créez un pool de ressources utilisateur pour l'examen humain.
• Créez une tâche d'examen manuel test.
• Attribuez une tâche d'examen manuel à un utilisateur.
• Effectuez un examen manuel d'un document.

Prérequis

• Un projet Google Cloud
• Un navigateur (Chrome ou Firefox, par exemple)
• Connaissances sur Python 3

2. Préparation

Cet atelier de programmation suppose que vous avez effectué les étapes de configuration de Document AI présentées dans l'atelier de programmation d'introduction.

Veuillez effectuer les étapes suivantes avant de continuer :

• Démarrer Cloud Shell
• Activer les API Document AI et Cloud Storage
• Installer la bibliothèque cliente Python

Vous devrez également activer l'API Vertex AI.

1. Dans la barre de recherche située en haut de la console, recherchez l'API Vertex AI, puis cliquez sur Activer pour utiliser l'API dans votre projet Google Cloud.
2. Vous pouvez également activer l'API à l'aide de la commande gcloud suivante.

gcloud services enable aiplatform.googleapis.com

3. Créer un processeur

Vous devez d'abord créer une instance du processeur de notes de frais à utiliser pour cet atelier.

1. Dans la console, accédez à la page de présentation de la plate-forme Document AI.
2. Cliquez sur Créer un processeur, faites défiler jusqu'à Spécialisé, puis sélectionnez Analyseur de notes de frais.
3. Donnez-lui le nom codelab-expense-parser (ou un autre nom facile à mémoriser), puis sélectionnez la région la plus proche sur la liste.
4. Cliquez sur Créer pour créer le processeur.
5. Copiez l'ID du processeur. Vous devrez l'utiliser ultérieurement dans votre code.
6. Dans Cloud Shell, créez un bucket de stockage en utilisant PROJECT_ID-hitl-results comme nom :

export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs://$PROJECT_ID-hitl-results

7. Associez votre compte utilisateur au rôle IAM Administrateur Vertex AI dans le projet de l'atelier.

export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

4. Configurer Human-in-the-Loop

Dans cette tâche, vous allez configurer l'examen manuel pour le processeur de notes de frais que vous avez créé précédemment.

1. Dans la console, ouvrez le menu de navigation et sélectionnez Document AI.
2. Cliquez sur Human-in-the-Loop AI.
3. Cliquez sur codelab-expense-parser pour ouvrir la page "Examen manuel" du processeur.
4. Cliquez sur Configurer Human-in-the-Loop.

5. Sélectionnez Filtre au niveau du document.
6. Définissez le curseur Seuil de confiance (%) sur 50 %.
7. Laissez l'option Spécialistes définie sur Faire appel à mes propres spécialistes.

8. Cliquez sur la liste déroulante Pool de spécialistes, puis sur NOUVEAU POOL DE SPÉCIALISTES.
9. Dans la boîte de dialogue Nouveau pool de spécialistes, saisissez Codelab HITL Pool pour Nom du pool.
10. Saisissez votre adresse e-mail personnelle dans les champs Gestionnaires de pools et Spécialistes.
11. Cliquez sur Créer un pool.

Cette opération prend quelques minutes. Vous devriez recevoir un e-mail de Vertex AI [e-mail].

REMARQUE : Cliquez sur Réessayer si vous avez rencontré des problèmes d'autorisation. Vous devez disposer de l'autorisation Cloud IAM aiplatform.specialistPools.create, qui nécessite que le rôle roles/aiplatform.admin soit attribué à votre compte utilisateur au niveau du projet.

La clause roles/project.owner ne suffit pas à elle seule.

12. Ne cochez pas la case Attribution automatique.
13. Cochez la case dans la section Confirmer les frais.
14. Cliquez sur Emplacement des instructions et copiez cet emplacement de stockage : N'incluez PAS le préfixe gs:// dans le chemin d'accès.

cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf

REMARQUE : Ce document est une copie des consignes pour créer des ensembles d'instructions pour les réviseurs. Il ne s'agit pas d'un exemple fonctionnel.

15. Dans Emplacement des résultats, cliquez sur Parcourir et sélectionnez le bucket Cloud Storage que vous avez créé précédemment.
16. Cliquez sur Sélectionner.
17. Cliquez sur Enregistrer la configuration.

La console affiche alors le message Configuration de l'assistance humaine. Cette opération prend quelques minutes.

18. Une fois la configuration terminée, la console vous invite à activer Human-in-the-Loop.

• Cliquez sur le bouton bascule pour l'activer.
• Cliquez ensuite sur ACTIVER dans la boîte de dialogue pop-up.

Importer un exemple de formulaire de notes de frais

1. Un exemple de formulaire à utiliser est stocké dans Google Cloud Storage. Vous pouvez le télécharger à l'aide du bouton ou de la commande ci-dessous :

 Télécharger expense-claim.pdf

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .

2. Après avoir activé l'examen humain, cliquez sur le bouton Importer un document, puis recherchez l'exemple de document que vous venez de télécharger.
3. Cliquez sur Importer et attendez la fin de l'importation.

5. Attribuer un élément pour examen manuel

1. Sur cette page, vous devriez voir des liens vers les consoles Pool Manager et Spécialiste. Ces liens figureront également dans un e-mail envoyé par Vertex AI [e-mail].
   • Elles devraient ressembler à ceci : https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks
   • Cliquez sur le lien de la console Manager.

2. Une fois dans la console d'étiquetage de données, cliquez sur le titre de l'onglet Tâches pour ouvrir la page d'attribution des tâches.
3. Cochez la case Non attribué. Vous devriez voir une nouvelle entrée listée dans la file d'attente des tâches codelab-expense-parser-P1.

4. Sélectionnez codelab-expense-parser-P1.
5. Cliquez sur Gérer l'attribution.
6. Saisissez votre adresse e-mail personnelle dans la zone de texte Inclure des spécialistes par e-mail, puis sélectionnez-la dans la liste déroulante.
7. Cliquez sur Appliquer.

L'écran indique désormais que la tâche vous est attribuée. La propagation et l'affichage des modifications peuvent prendre quelques minutes.

8. Sélectionnez le nouvel utilisateur, puis cliquez sur l'icône de menu.
9. Cliquez sur Attribuer à toutes les tâches dans le menu pop-up qui s'affiche.

10. Cliquez sur Valider les modifications.
11. Cliquez sur Commit.

6. Effectuer une tâche d'examen manuel

1. Revenez à la page de configuration Human-in-the-Loop dans la console Cloud.

Cliquez sur le lien pour accéder à la console Specialist (Worker). Elle se présente comme suit : https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx.

La console Worker devrait s'ouvrir et lister votre nouvelle tâche.

2. Pointez sur la ligne contenant Réunion de 4 min, puis cliquez sur l'icône Modifier (crayon).
3. Modifiez la valeur pour que le texte devienne Réunion avec Adam. Vous devrez peut-être faire défiler la zone de texte vers le bas pour voir le texte.
4. Cliquez sur Appliquer.
5. Cliquez sur l'icône Confirmer (coche verte) pour l'élément ci-dessous.
6. Cliquez sur l'icône Confirmer pour les autres entités mises en surbrillance.
7. Cliquez sur Envoyer. La tâche d'examen a été supprimée de votre file d'attente de classification.

7. Afficher les tâches terminées

1. Revenez à la console du gestionnaire.
2. Cliquez sur Tasks, puis sélectionnez En cours.
3. Cliquez sur Spécialistes.
4. Sélectionnez votre adresse e-mail.
5. Cliquez sur Gérer l'attribution.
6. Sélectionnez expense-processor-P1 dans les menus déroulants Select specialists working on specific tasks et Select tasks. Cliquez sur Appliquer pour chaque sélection. Dans le menu contextuel de expense-processor-P1 qui vous a été attribué, sélectionnez Afficher les spécialistes.

Une fois la tâche de classification envoyée par le classificateur, le nombre de tâches traitées et le temps total passé sont mis à jour. Toutefois, les données de cette vue peuvent mettre quelques minutes à s'afficher.

7. Fermez le pop-up des spécialistes et accédez à l'onglet Spécialistes.
8. Cliquez sur le menu contextuel de votre nom d'utilisateur, puis sélectionnez Afficher les tâches.

Cette vue affiche la liste des tâches de l'utilisateur, le nombre de tâches qu'il a effectuées et le temps qu'il a mis à les accomplir, comme indiqué ci-dessous :

8. Félicitations

Félicitations, vous avez utilisé Document AI Human-in-the-Loop pour configurer la vérification humaine des documents traités à l'aide d'un processeur de dépenses Document AI.

Effectuer un nettoyage

Pour éviter que les ressources utilisées dans ce tutoriel soient facturées sur votre compte Google Cloud, procédez comme suit :

• Dans la console Cloud, accédez à la page Gérer les ressources.
• Dans la liste des projets, sélectionnez votre projet, puis cliquez sur "Supprimer".
• Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur "Arrêter" pour supprimer le projet.

En savoir plus

Continuez à vous familiariser avec Document AI grâce aux ateliers de programmation suivants.

• Gérer les processeurs Document AI avec Python

Ressources

• The Future of Documents - YouTube Playlist
• Documentation Document AI
• Bibliothèque cliente Python Document AI
• Exemples Document AI

Licence

Ce document est publié sous une licence Creative Commons Attribution 2.0 Generic.