Document AI: Human in the Loop

1. Einführung

Die Document AI API ist eine Lösung zum Verständnis von Dokumenten, die unstrukturierte Daten wie Dokumente, E-Mails usw. aufnimmt, um die Daten leichter zu verstehen, zu analysieren und zu nutzen.

Durch die manuelle Überprüfung können Sie eine höhere Genauigkeit bei der Dokumentverarbeitung erreichen, indem Sie eine manuelle Überprüfung beantragen. Die manuelle Überprüfung kann die Genauigkeit erhöhen und Unternehmen dabei unterstützen, Vorhersagen mithilfe von zweckorientierten Tools auszuwerten. In diesem Lab konfigurieren und testen Sie einen Spesen- und Reisekostenauftragsverarbeiter mit manueller Überprüfung, um die Ergebnisse des Prozessors mithilfe der Human-in-the-Loop-Konfigurations- und Verwaltungstools zu validieren.

HINWEIS:Die Benutzeroberfläche der Konsole kann sich im Laufe der Zeit ändern, sodass Ihre Umgebung etwas anders aussehen kann. Sollten Sie bei diesem Lab Probleme feststellen, melden Sie diese bitte.

Voraussetzungen

Dieses Codelab baut auf Inhalten aus anderen Document AI-Codelabs auf.

Bevor Sie fortfahren, sollten Sie die folgenden Codelabs absolvieren.

• Optische Zeichenerkennung (OCR) mit Document AI (Python)
• Formularanalyse mit Document AI (Python)
• Spezialisierte Prozessoren mit Document AI (Python)

Aufgaben in diesem Lab

• Konfigurieren Sie die manuelle Überprüfung für einen Prozessor.
• Erstellen Sie einen Nutzerressourcenpool für die manuelle Überprüfung.
• Erstellen Sie eine Testaufgabe für die manuelle Überprüfung.
• Weisen Sie einem Nutzer eine Aufgabe zur manuellen Überprüfung zu.
• Manuelle Überprüfung eines Dokuments durchführen.

Voraussetzungen

• Ein Google Cloud-Projekt
• Ein Browser, z. B. Chrome oder Firefox
• Kenntnisse in Python 3

2. Einrichtung

In diesem Codelab wird davon ausgegangen, dass Sie die im Einführenden Codelab aufgeführten Schritte zur Document AI-Einrichtung abgeschlossen haben.

Führen Sie die folgenden Schritte aus, bevor Sie fortfahren:

• Cloud Shell starten
• Document AI aktivieren und Cloud Storage-APIs
• Python-Clientbibliothek installieren

Außerdem müssen Sie die Vertex AI API aktivieren.

1. Suchen Sie über die Suchleiste oben in der Console nach „Vertex AI API“ und klicken Sie dann auf Aktivieren, um die API in Ihrem Google Cloud-Projekt zu verwenden
2. Alternativ kann die API mit dem folgenden gcloud-Befehl aktiviert werden.

gcloud services enable aiplatform.googleapis.com

3. Prozessor erstellen

Sie müssen zuerst eine Instanz des Expense Processor erstellen, die Sie für dieses Lab verwenden möchten.

1. Rufen Sie in der Console die Document AI Platform – Übersicht auf.
2. Klicken Sie auf Prozessor erstellen, scrollen Sie nach unten zu Spezialisiert und wählen Sie Expense Parser aus.
3. Geben Sie ihr den Namen codelab-expense-parser oder einen Namen, an den Sie sich erinnern, und wählen Sie aus der Liste die nächstgelegene Region aus.
4. Klicken Sie auf Erstellen, um den Prozessor zu erstellen.
5. Kopieren Sie die Prozessor-ID. Sie müssen sie später in Ihrem Code verwenden.
6. Erstellen Sie in Cloud Shell einen Storage-Bucket mit PROJECT_ID-hitl-results als Namen:

export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs://$PROJECT_ID-hitl-results

7. Binden Sie Ihr Nutzerkonto an die IAM-Rolle „Vertex AI Admin“ für Ihr Lab-Projekt.

export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

4. Human in the Loop konfigurieren

In dieser Aufgabe konfigurieren Sie die manuelle Überprüfung für die zuvor erstellte Spesenabrechnung.

1. Öffnen Sie in der Console das Navigationsmenü und wählen Sie Document AI aus.
2. Klicken Sie auf Human-in-the-Loop-KI.
3. Klicken Sie auf codelab-expense-parser, um die Seite „Manuelle Überprüfung“ für den Prozessor zu öffnen.
4. Klicken Sie auf Human in the Loop konfigurieren.

5. Wählen Sie Filter auf Dokumentebene aus.
6. Stellen Sie den Schieberegler Konfidenzgrenzwert % auf 50 % ein.
7. Behalten Sie für die Option Spezialisten die Einstellung Eigene Spezialisten verwenden bei.

8. Klicken Sie in das Drop-down-Menü Spezialistenpool und dann auf NEUER SPECIALIST-POOL.
9. Geben Sie im Dialogfeld Neuer Spezialistenpool unter Poolname den Wert Codelab HITL Pool ein.
10. Geben Sie Ihre persönliche E-Mail-Adresse für die Poolmanager und Spezialisten ein.
11. Klicken Sie auf Pool erstellen.

Das dauert einige Minuten. Du solltest eine E-Mail von Vertex AI [e-mail] erhalten.

HINWEIS:Klicken Sie auf Wiederholen, wenn Berechtigungsprobleme aufgetreten sind. Sie benötigen die Cloud IAM-Berechtigung aiplatform.specialistPools.create. Dafür muss Ihrem Nutzerkonto die Rolle roles/aiplatform.admin auf Projektebene zugewiesen sein.

roles/project.owner allein ist nicht ausreichend.

12. Klicken Sie das Kästchen Auto-assignment (Automatische Zuweisung) nicht an.
13. Klicken Sie das Kästchen im Bereich Gebühren bestätigen an.
14. Klicken Sie auf Anleitungsspeicherort und kopieren Sie den Speicherort in den folgenden Speicherort: – Fügen Sie NICHT das Präfix gs:// in den Pfad ein.

cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf

HINWEIS: Dieses Dokument ist eine Kopie der Richtlinien zum Erstellen von Anleitungssätzen für Prüfer, kein funktionierendes Beispiel.

15. Klicken Sie unter Ergebnisspeicherort auf Durchsuchen und wählen Sie den zuvor erstellten Cloud Storage-Bucket aus.
16. Klicken Sie auf Auswählen.
17. Klicken Sie auf Save Configuration (Konfiguration speichern).

In der Console wird jetzt „Human in the Loop“ konfiguriert angezeigt. Dies dauert einige Minuten.

18. Wenn die Konfiguration abgeschlossen ist, werden Sie in der Console aufgefordert, Human in the Loop zu aktivieren.

• Klicken Sie zum Aktivieren auf die Schaltfläche „Wechseln“.
• Klicken Sie dann im Pop-up-Dialogfeld auf AKTIVIEREN.

Beispielformular für Ausgaben hochladen

1. In Google Cloud Storage finden Sie ein Beispielformular, das Sie verwenden können. Sie können sie mit der Schaltfläche oder dem Befehl unten herunterladen:

spes-claim.pdf herunterladen

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .

2. Nachdem Sie Human in the Loop aktiviert haben, klicken Sie auf die Schaltfläche Upload Document (Dokument hochladen) und suchen Sie nach dem Beispieldokument, das Sie gerade heruntergeladen haben.
3. Klicken Sie auf Hochladen und warten Sie, bis der Vorgang abgeschlossen ist.

5. Element zur manuellen Überprüfung zuweisen

1. Auf dieser Seite sollten Sie Links zum Poolmanager und zur Expertenkonsole sehen. Diese Links werden auch in einer E-Mail von Vertex AI [e-mail] angezeigt.
   • Sie sollten so aussehen: https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks
   • Klicken Sie auf den Link zur Verwaltungskonto-Konsole.

2. Klicken Sie in der Data Labeling Console auf den Tab Tasks (Aufgaben), um die Seite für die Aufgabenzuweisung zu öffnen.
3. Klicken Sie das Kästchen Nicht zugewiesen an. Sie sollten einen neuen Eintrag für die Aufgabenwarteschlange codelab-expense-parser-P1 sehen.

4. Wählen Sie codelab-expense-parser-P1 aus.
5. Klicken Sie auf Aufgabe verwalten.
6. Geben Sie Ihre eigene E-Mail-Adresse in das Textfeld Spezialisten per E-Mail einschließen ein und wählen Sie sie aus der Drop-down-Liste aus.
7. Klicken Sie auf Übernehmen.

Das Display zeigt jetzt an, dass Ihnen die Aufgabe zugewiesen wurde. Es kann einige Minuten dauern, bis die Änderungen übernommen wurden und sichtbar werden.

8. Wählen Sie den neuen Nutzer aus und klicken Sie auf das Menüsymbol.
9. Klicken Sie im Pop-up-Menü auf Allen Aufgaben zuweisen.

10. Klicken Sie auf Änderungen übernehmen.
11. Klicken Sie auf Commit.

6. Manuelle Überprüfung durchführen

1. Kehren Sie in der Cloud Console zur Human-in-the-Loop-Konfigurationsseite zurück.

Klicken Sie auf den Link, um die Specialist-Konsole (Worker-Konsole) aufzurufen. Es sieht in etwa so aus: https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx.

Die neue Aufgabe sollte in der Worker-Konsole geöffnet und aufgelistet werden.

2. Bewegen Sie den Mauszeiger auf die Werbebuchung, die Besprechung mit 4 Minuten enthält, und klicken Sie auf das Stiftsymbol zum Bearbeiten.
3. Ändern Sie den Wert in Besprechung mit Alexander. Möglicherweise müssen Sie im Textfeld nach unten scrollen, um den Text zu sehen.
4. Klicken Sie auf Übernehmen.
5. Klicken Sie für das folgende Element auf das Symbol Bestätigen (grünes Häkchen).
6. Klicken Sie für die anderen markierten Elemente auf das Symbol Bestätigen.
7. Klicken Sie auf Senden. Die Überprüfungsaufgabe wurde aus der Labelersteller-Warteschlange entfernt.

7. Abgeschlossene Aufgaben ansehen

1. Kehren Sie zur Manager-Konsole zurück.
2. Klicken Sie auf Aufgaben und wählen Sie Laufend aus.
3. Klicken Sie auf Spezialisten.
4. Wählen Sie Ihre E-Mail-Adresse aus.
5. Klicken Sie auf Aufgabe verwalten.
6. Wählen Sie expense-processor-P1 aus dem Drop-down-Menü Select specialists working on specific tasks und Select tasks aus. Klicken Sie bei jeder Auswahl auf Übernehmen. Wählen Sie im Kontextmenü für expense-processor-P1, das Ihnen zugewiesen wurde, View Specialists (Spezialisten ansehen) aus.

Nachdem die Labeling-Aufgabe vom Labelersteller gesendet wurde, werden die Anzahl der beantworteten Aufgaben und die Gesamtzeit aktualisiert. Es kann jedoch einige Minuten dauern, bis die Daten in dieser Ansicht angezeigt werden.

7. Schließen Sie das Pop-up für Spezialisten und sehen Sie sich den Tab Spezialisten an.
8. Klicken Sie auf das Kontextmenü für Ihren Nutzernamen und wählen Sie Aufgaben anzeigen aus.

Diese Ansicht zeigt die Liste der Aufgaben für den Nutzer, die Anzahl der abgeschlossenen Aufgaben und die benötigte Zeit wie unten dargestellt:

8. Glückwunsch

Herzlichen Glückwunsch! Sie haben Human in the Loop von Document AI erfolgreich verwendet, um die manuelle Überprüfung von Dokumenten zu konfigurieren, die mit einem Document AI-Kostenprozessor verarbeitet werden.

Clean-up

So vermeiden Sie, dass Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

• Rufen Sie in der Cloud Console die Seite Ressourcen verwalten auf.
• Wählen Sie Ihr Projekt in der Projektliste aus und klicken Sie auf „Löschen“.
• Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie dann auf „Beenden“, um das Projekt zu löschen.

Weitere Informationen

In diesen Codelabs erfahren Sie mehr über Document AI.

• Document AI-Prozessoren mit Python verwalten

Ressourcen

• The Future of Documents – YouTube-Playlist
• Dokumentation zu Document AI
• Document AI-Clientbibliothek für Python
• Document AI-Beispiele

Lizenz

Dieser Text ist mit einer Creative Commons Attribution 2.0 Generic License lizenziert.