Document AI: human-in-the-loop

Document AI:
human-in-the-loop

Informazioni su questo codelab

subjectUltimo aggiornamento: apr 3, 2023
account_circleScritto da: Holt Skinner

1. Introduzione

L'API Document AI è una soluzione per la comprensione dei documenti che prende dati non strutturati, come documenti, email e così via, e ne semplifica la comprensione, l'analisi e il consumo.

Con la revisione umana puoi ottenere una maggiore accuratezza nell'elaborazione dei documenti e la garanzia della revisione umana. La revisione umana può aumentare l'accuratezza e aiuta le attività a valutare le previsioni utilizzando strumenti creati appositamente per consentire queste revisioni. In questo lab configurerai e testerai un processore di spese utilizzando la revisione umana per convalidare i risultati dal processore utilizzando gli strumenti di configurazione e gestione human-in-the-loop.

Prerequisiti

Questo codelab si basa sui contenuti presentati in altri codelab di Document AI.

Ti consigliamo di completare i seguenti codelab prima di procedere.

Cosa imparerai a fare

  • Configurare la revisione umana per un processore.
  • Crea un pool di risorse utente con revisione umana.
  • Crea un'attività di test di revisione da parte di persone fisiche.
  • Assegnare un'attività di revisione umana a un utente.
  • Completare la revisione umana di un documento.

Che cosa ti serve

  • Un progetto Google Cloud
  • Un browser, ad esempio Chrome o Firefox
  • Conoscenza di Python 3

2. Preparazione

Questo codelab presuppone che tu abbia completato i passaggi della configurazione di Document AI elencati nel Codelab introduttivo.

Completa i seguenti passaggi prima di procedere:

Dovrai anche abilitare l'API Vertex AI.

  1. Utilizzando la barra di ricerca nella parte superiore della console, cerca "API Vertex AI", quindi fai clic su Abilita per utilizzare l'API nel tuo progetto Google Cloud
  2. In alternativa, l'API può essere abilitata utilizzando il seguente comando gcloud.
gcloud services enable aiplatform.googleapis.com

3. Crea un processore

Devi prima creare un'istanza del processore di spesa da utilizzare per questo lab.

  1. Nella console, vai a Document AI Platform Overview
  2. Fai clic su Crea processore, scorri verso il basso fino a Specializzato e seleziona Analizzatore spese.
  3. Assegnagli il nome codelab-expense-parser (o qualcos'altro ricorderai) e seleziona la regione più vicina nell'elenco.
  4. Fai clic su Crea per creare il tuo processore
  5. Copia l'ID processore. Lo dovrai utilizzare nel tuo codice in un secondo momento.
  6. In Cloud Shell, crea un bucket di archiviazione utilizzando PROJECT_ID-hitl-results come nome:
export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs
://$PROJECT_ID-hitl-results
  1. Associa il tuo account utente al ruolo Vertex AI Admin IAM nel progetto del lab
export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add
-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

4. Configura human-in-the-loop

In questa attività configurerai la revisione umana per il processore delle spese che hai creato in precedenza.

  1. Nella console, apri il menu di navigazione e seleziona Document AI.
  2. Fai clic su AI human-in-the-loop. HITLMenu
  3. Fai clic su codelab-expense-parser per aprire la pagina Revisione da parte di persone fisiche per il processore.
  4. Fai clic su Configura human-in-the-loop.

ConfigureHITL

  1. Seleziona Filtro a livello di documento.
  2. Imposta il cursore %soglia di confidenza su 50%.
  3. Lascia l'opzione Specialisti impostata su Utilizza i miei esperti.

HITLFilters

  1. Fai clic sulla casella a discesa Pool di esperti e fai clic su NUOVO POOL DI SPECIALISTI.
  2. In Nome pool, inserisci Codelab HITL Pool nella finestra di dialogo Nuovo pool di esperti.
  3. Inserisci il tuo indirizzo email personale per i gestori del pool e gli specialisti
  4. Fai clic su Crea pool.

HITLSpecialistPool

Il completamento dell'operazione richiede alcuni minuti. Dovresti ricevere un'email da Vertex AI noreply-vertex@google.com.

  1. Lascia deselezionata la casella di controllo Assegnazione automatica.
  2. Fai clic sulla casella di controllo nella sezione Conferma addebiti.
  3. Fai clic su Posizione delle istruzioni e copiala in questa posizione di archiviazione: - NON includere il prefisso gs:// nel percorso
cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf
  1. In Località dei risultati, fai clic su Sfoglia e seleziona il bucket Cloud Storage creato in precedenza.
  2. Fai clic su Seleziona.
  3. Fai clic su Save Configuration (Salva configurazione).

Nella console verrà visualizzato il messaggio Configura human-in-the-loop e il completamento richiederà alcuni minuti.

HITLLoading

  1. Al termine della configurazione, la console ti chiederà di abilitare human-in-the-loop.
  • Fai clic sul pulsante Cambia per attivarla.
  • Quindi, fai clic su ABILITA nella finestra di dialogo popup.

HITLEnable

Carica un modulo per le spese di esempio

  1. Abbiamo un modulo di esempio da utilizzare memorizzato in Google Cloud Storage. Puoi scaricarla con il pulsante o il comando di seguito:

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .
  1. Dopo aver attivato human-in-the-loop, fai clic sul pulsante Carica documento e cerca il documento di esempio appena scaricato.
  2. Fai clic su Carica e attendi che venga completato.

5. Assegnare un elemento per la revisione umana

  1. In questa pagina, dovresti vedere i link al gestore del pool e alle console specialistiche. Questi link verranno visualizzati anche in un'email di Vertex AI noreply-vertex@google.com.
    • Dovrebbero essere simili a https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks
    • Fai clic sul link per la console Gestore.

  1. Nella console Data Labeling Console, fai clic sul titolo della scheda Attività per aprire la pagina delle assegnazioni dell'attività.
  2. Fai clic sulla casella di controllo Non assegnato. Dovresti vedere una nuova voce elencata nella coda di attività codelab-expense-parser-P1.

immagine

  1. Seleziona codelab-expense-parser-P1.
  2. Fai clic su Gestisci compito.
  3. Inserisci il tuo indirizzo email personale nella casella di testo Includi esperti via email e selezionalo dall'elenco a discesa.
  4. Fai clic su Applica.

Il display ora mostra che l'attività è assegnata a te. Potresti notare che la propagazione e la visualizzazione di questa modifica potrebbero richiedere alcuni minuti.

immagine

  1. Seleziona il nuovo utente e fai clic sull'icona del menu.
  2. Fai clic su Assegna a tutte le attività dal menu popup visualizzato.

immagine

  1. Fai clic su Esegui il commit delle modifiche.
  2. Fai clic su Esegui il commit.

immagine

6. Esegui attività di revisione da parte di persone fisiche

  1. Torna alla pagina di configurazione human-in-the-loop nella console Cloud.

Fai clic sul link per visitare la console Specialista (Worker). Sarà simile a https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx.

La console worker dovrebbe aprirsi ed elencare la nuova attività.

immagine

  1. Passa il mouse sopra l'elemento pubblicitario che contiene Riunione con 4 min e fai clic sull'icona di modifica (a forma di matita).
  2. Modifica il valore per cambiare il testo in Riunione con Andrea. Per vedere il testo, potresti dover scorrere verso il basso nella casella di testo.
  3. Fai clic su Applica.
  4. Fai clic sull'icona Conferma (segno di spunta verde) per la voce di seguito. immagine
  5. Fai clic sull'icona Conferma per le altre entità evidenziate.
  6. Fai clic su Invia. L'attività di revisione è stata rimossa dalla coda degli etichettatori.

7. Visualizza attività completate

  1. Torna alla Console di amministrazione.
  2. Fai clic su Attività e seleziona In corsoimmagine
  3. Fai clic su Specialisti.
  4. Seleziona il tuo indirizzo email.
  5. Fai clic su Gestisci compito.
  6. Seleziona expense-processor-P1 dal menu a discesa Select specialists working on specific tasks e Select tasks. Fai clic su Applica per ciascuna selezione. Nel menu contestuale relativo a expense-processor-P1 che ti è stato assegnato, seleziona Visualizza esperti.

immagine

Una volta inviata l'attività di etichettatura da parte dell'etichettatore, il numero di attività risposte e il tempo totale impiegato verranno aggiornati, ma la visualizzazione dei dati in questa visualizzazione potrebbe richiedere alcuni minuti.

  1. Chiudi il popup degli esperti e visualizza la scheda Specialisti.
  2. Fai clic sul menu contestuale relativo al tuo nome utente e seleziona Visualizza attività.

Questa visualizzazione mostra l'elenco delle attività per l'utente, i relativi numeri di completamento e il tempo impiegato come mostrato di seguito:

immagine

8. Complimenti

Complimenti, hai utilizzato con successo human-in-the-loop di Document AI per configurare la revisione da parte di persone fisiche per i documenti elaborati utilizzando un elaboratore delle spese di Document AI.

Pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial:

  • Nella console Cloud, vai alla pagina Gestisci risorse.
  • Nell'elenco dei progetti, seleziona il progetto e fai clic su Elimina.
  • Nella finestra di dialogo, digita l'ID progetto e fai clic su Chiudi per eliminare il progetto.

Scopri di più

Continua a imparare su Document AI con questi codelab di follow-up.

Risorse

Licenza

Questo lavoro è concesso in licenza ai sensi di una licenza Creative Commons Attribution 2.0 Generic.