Document AI: human-in-the-loop

1. Introduzione

L'API Document AI è una soluzione di comprensione dei documenti che prende dati non strutturati, come documenti, email e così via, e li rende più facili da comprendere, analizzare e utilizzare.

Con la revisione umana puoi ottenere una maggiore precisione nell'elaborazione dei documenti con la garanzia di una revisione umana. La revisione umana può aumentare la precisione e aiuta le aziende a valutare le previsioni utilizzando strumenti appositamente progettati per consentire tali revisioni. In questo lab configurerai e testerai un processore di note spese utilizzando la revisione umana per convalidare i risultati del processore utilizzando gli strumenti di configurazione e gestione Human-in-the-Loop.

NOTA: l'interfaccia utente della console potrebbe cambiare nel tempo, quindi il tuo ambiente potrebbe apparire leggermente diverso. Se riscontri problemi con questo lab, segnalali.

Prerequisiti

Questo codelab si basa sui contenuti presentati in altri codelab di Document AI.

Ti consigliamo di completare i seguenti Codelab prima di procedere.

• Riconoscimento ottico dei caratteri (OCR) con Document AI (Python)
• Analisi dei moduli con Document AI (Python)
• Processori specializzati con Document AI (Python)

Cosa imparerai a fare

• Configura la revisione umana per un processore.
• Crea un pool di risorse utente per la revisione umana.
• Crea un'attività di revisione umana di prova.
• Assegna a un utente un'attività di revisione da parte di persone fisiche.
• Completa una revisione umana di un documento.

Che cosa ti serve

• Un progetto Google Cloud
• Un browser, ad esempio Chrome o Firefox
• Conoscenza di Python 3

2. Preparazione

Questo codelab presuppone che tu abbia completato i passaggi di configurazione di Document AI elencati nel codelab introduttivo.

Prima di procedere, completa i seguenti passaggi:

• Avvia Cloud Shell
• Abilita le API Document AI e Cloud Storage
• Installa la libreria client Python

Dovrai anche abilitare l'API Vertex AI.

1. Utilizzando la barra di ricerca nella parte superiore della console, cerca "API Vertex AI", quindi fai clic su Abilita per utilizzare l'API nel tuo progetto Google Cloud.
2. In alternativa, l'API può essere abilitata utilizzando il seguente comando gcloud.

gcloud services enable aiplatform.googleapis.com

3. Crea un processore

Per prima cosa, devi creare un'istanza di Expense Processor da utilizzare per questo lab.

1. Nella console, vai alla panoramica della piattaforma Document AI.
2. Fai clic su Crea processore, scorri verso il basso fino a Specializzato e seleziona Analizzatore sintattico delle note spese.
3. Assegna il nome codelab-expense-parser (o un altro nome che ricorderai) e seleziona la regione più vicina nell'elenco.
4. Fai clic su Crea per creare il processore.
5. Copia l'ID processore. Lo dovrai utilizzare nel tuo codice in un secondo momento.
6. In Cloud Shell, crea un bucket di archiviazione utilizzando PROJECT_ID-hitl-results come nome:

export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs://$PROJECT_ID-hitl-results

7. Associa il tuo account utente al ruolo Amministratore Vertex AI IAM nel progetto lab

export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

4. Configura human-in-the-loop

In questa attività configurerai la revisione umana per il processore di note spese che hai creato in precedenza.

1. Nella console, apri il menu di navigazione e seleziona Document AI.
2. Fai clic su AI human-in-the-loop.
3. Fai clic su codelab-expense-parser per aprire la pagina Revisione umana per il processore.
4. Fai clic su Configura human-in-the-loop.

5. Seleziona Filtro a livello di documento.
6. Imposta il cursore Soglia di confidenza % al 50%.
7. Lascia l'opzione Esperti impostata su Utilizza i miei esperti.

8. Fai clic nella casella del menu a discesa Pool di esperti e poi su NUOVO POOL DI ESPERTI.
9. Per Nome pool, inserisci Codelab HITL Pool nella finestra di dialogo Nuovo pool di esperti.
10. Inserisci il tuo indirizzo email personale per i gestori di pool e gli esperti.
11. Fai clic su Crea pool.

Il completamento dell'operazione richiede alcuni minuti. Dovresti ricevere un'email da Vertex AI [e-mail].

NOTA:fai clic su Riprova se si sono verificati problemi di autorizzazione. Devi disporre dell'autorizzazione Cloud IAM aiplatform.specialistPools.create, che richiede il ruolo roles/aiplatform.admin assegnato al tuo account utente a livello di progetto.

roles/project.owner non è sufficiente da solo.

12. Lascia deselezionata la casella di controllo Assegnazione automatica.
13. Seleziona la casella di controllo nella sezione Conferma addebiti.
14. Fai clic su Posizione delle istruzioni e copia questa posizione di archiviazione: - NON includere il prefisso gs:// nel percorso

cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf

NOTA:questo documento è una copia delle linee guida per la creazione di set di istruzioni per i revisori, non un esempio funzionante.

15. In Posizione dei risultati, fai clic su Sfoglia e seleziona il bucket Cloud Storage creato in precedenza.
16. Fai clic su Seleziona.
17. Fai clic su Salva configurazione.

Ora nella console verrà visualizzato il messaggio Configurazione dell'intervento umano e l'operazione richiederà alcuni minuti.

18. Al termine della configurazione, la console ti chiederà di attivare Human-in-the-Loop.

• Fai clic sul pulsante di attivazione/disattivazione per abilitarlo.
• Quindi fai clic su ATTIVA nella finestra di dialogo popup.

Carica un modulo di esempio per le note spese

1. Abbiamo un modulo di esempio da utilizzare archiviato in Google Cloud Storage. Puoi scaricarlo con il pulsante o il comando riportato di seguito:

Scarica expense-claim.pdf

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .

2. Dopo aver attivato l'intervento umano nel ciclo, fai clic sul pulsante Carica documento e cerca il documento di esempio appena scaricato.
3. Fai clic su Carica e attendi il completamento.

5. Assegnare un elemento per la revisione umana

1. In questa pagina dovresti visualizzare i link alle console del gestore di pool e dell'esperto. Questi link verranno visualizzati anche in un'email inviata da Vertex AI [e-mail].
   • Dovrebbero avere un aspetto simile a questo: https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks
   • Fai clic sul link alla console Manager.

2. Una volta nella console Data Labeling, fai clic sul titolo della scheda Attività per aprire la pagina di assegnazione delle attività.
3. Seleziona la casella di controllo Non assegnato. Dovresti vedere un nuovo elemento elencato nella coda di attività codelab-expense-parser-P1.

4. Seleziona codelab-expense-parser-P1.
5. Fai clic su Gestisci assegnazione.
6. Inserisci il tuo indirizzo email personale nella casella di testo Includi specialisti via email, quindi selezionalo dall'elenco a discesa.
7. Fai clic su Applica.

Il display ora mostra che l'attività è assegnata a te. Potresti notare che la propagazione e la visualizzazione potrebbero richiedere alcuni minuti.

8. Seleziona il nuovo utente e fai clic sull'icona del menu.
9. Fai clic su Assegna a tutte le attività dal menu popup visualizzato.

10. Fai clic su Applica modifiche.
11. Fai clic su Commit.

6. Esegui attività di revisione umana

1. Torna alla pagina di configurazione di human-in-the-loop nella console Cloud.

Fai clic sul link per visitare la console Specialista (Worker). L'aspetto sarà simile a questo: https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx.

La console del lavoratore dovrebbe aprirsi e mostrare il nuovo task.

2. Passa il mouse sopra l'elemento pubblicitario che contiene Riunione con 4m e fai clic sull'icona Modifica (a forma di matita).
3. Modifica il valore in modo che il testo diventi Riunione con Adam. Potresti dover scorrere verso il basso nella casella di testo per visualizzare il testo.
4. Fai clic su Applica.
5. Fai clic sull'icona Conferma (segno di spunta verde) per l'elemento riportato di seguito.
6. Fai clic sull'icona Conferma per le altre entità evidenziate.
7. Fai clic su Invia. L'attività di revisione è stata rimossa dalla coda dell'etichettatore.

7. Visualizzare le attività completate

1. Torna alla console del gestore.
2. Fai clic su Attività e seleziona In corso.
3. Fai clic su Specialisti.
4. Seleziona il tuo indirizzo email.
5. Fai clic su Gestisci assegnazione.
6. Seleziona expense-processor-P1 dai menu a discesa Select specialists working on specific tasks e Select tasks. Fai clic su Applica per ogni selezione. Nel menu contestuale per expense-processor-P1 che ti è stato assegnato, seleziona Visualizza esperti.

Una volta inviata l'attività di etichettatura dall'etichettatore, il numero di attività completate e il tempo totale impiegato verranno aggiornati, ma la visualizzazione dei dati potrebbe richiedere alcuni minuti.

7. Chiudi il popup degli specialisti e visualizza la scheda Specialisti.
8. Fai clic sul menu contestuale per il tuo nome utente e seleziona Visualizza attività.

Questa visualizzazione mostra l'elenco delle attività per l'utente, il numero di completamenti e il tempo impiegato, come mostrato di seguito:

8. Complimenti

Congratulazioni, hai utilizzato correttamente Document AI Human-in-the-Loop per configurare la revisione umana dei documenti elaborati utilizzando un processore di note spese Document AI.

Pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial:

• In Cloud Console, vai alla pagina Gestisci risorse.
• Nell'elenco dei progetti, seleziona il tuo progetto e poi fai clic su Elimina.
• Nella finestra di dialogo, digita l'ID progetto, quindi fai clic su Chiudi per eliminare il progetto.

Scopri di più

Continua a scoprire Document AI con questi codelab di follow-up.

• Gestione dei processori Document AI con Python

Risorse

• The Future of Documents - YouTube Playlist
• Documentazione di Document AI
• Libreria client Python di Document AI
• Esempi di Document AI

Licenza

Questo lavoro è concesso in licenza ai sensi di una licenza Creative Commons Attribution 2.0 Generic.