Document AI: Human in the Loop

1. Einführung

Die Document AI API ist eine Lösung zur Dokumentverarbeitung, die unstrukturierte Daten wie Dokumente und E‑Mails leichter verständlich, analysierbar und nutzbar macht.

Durch die menschliche Überprüfung können Sie eine höhere Genauigkeit bei der Dokumentenverarbeitung erreichen. Die manuelle Überprüfung kann die Genauigkeit erhöhen und Unternehmen bei der Bewertung von Vorhersagen helfen, indem sie speziell entwickelte Tools verwenden, die diese Überprüfungen ermöglichen. In diesem Lab konfigurieren und testen Sie einen Ausgabenprozessor, bei dem die Ergebnisse des Prozessors mithilfe von Human-in-the-Loop-Konfigurations- und ‑Verwaltungstools manuell überprüft werden.

HINWEIS:Die Benutzeroberfläche der Console kann sich im Laufe der Zeit ändern. Ihre Umgebung kann daher etwas anders aussehen. Wenn Sie Probleme mit diesem Lab haben, melden Sie sie bitte.

Voraussetzungen

Dieses Codelab baut auf Inhalten auf, die in anderen Document AI-Codelabs vorgestellt werden.

Wir empfehlen Ihnen, die folgenden Codelabs zu absolvieren, bevor Sie fortfahren.

• Optische Zeichenerkennung (OCR) mit Document AI (Python)
• Formulare mit Document AI parsen (Python)
• Spezialisierte Prozessoren mit Document AI verwenden (Python)

Lerninhalte

• Manuelle Überprüfung für einen Prozessor konfigurieren
• Erstellen Sie einen Ressourcenpool für Nutzer, die menschliche Überprüfungen durchführen.
• Erstellen Sie eine Testaufgabe für die manuelle Überprüfung.
• Weisen Sie einem Nutzer eine Aufgabe zur manuellen Überprüfung zu.
• Manuelle Überprüfung eines Dokuments durchführen

Voraussetzungen

• Google Cloud-Projekt
• Ein Browser wie Google Chrome oder Mozilla Firefox
• Kenntnisse von Python 3

2. Einrichtung

In diesem Codelab wird davon ausgegangen, dass Sie die im Einführungs-Codelab aufgeführten Einrichtungsschritte für Document AI ausgeführt haben.

Führen Sie die folgenden Schritte aus, bevor Sie fortfahren:

• Cloud Shell starten
• Document AI API und Cloud Storage API aktivieren
• Python-Clientbibliothek installieren

Außerdem müssen Sie die Vertex AI API aktivieren.

1. Suchen Sie über die Suchleiste oben in der Console nach „Vertex AI API“ und klicken Sie dann auf Aktivieren, um die API in Ihrem Google Cloud-Projekt zu verwenden.
2. Alternativ kann die API mit dem folgenden gcloud-Befehl aktiviert werden.

gcloud services enable aiplatform.googleapis.com

3. Prozessor erstellen

Sie müssen zuerst eine Instanz des Expense-Prozessors erstellen, die Sie für dieses Lab verwenden können.

1. Rufen Sie in der Console die Übersicht über die Document AI Platform auf.
2. Klicken Sie auf Prozessor erstellen, scrollen Sie nach unten zu Spezialisiert und wählen Sie Ausgabenparser aus.
3. Geben Sie dem Prozessor den Namen codelab-expense-parser (oder einen anderen Namen, den Sie sich merken können) und wählen Sie die nächstgelegene Region aus der Liste aus.
4. Klicken Sie auf Erstellen, um den Prozessor zu erstellen.
5. Kopieren Sie die Prozessor-ID. Sie müssen sie später in Ihrem Code verwenden.
6. Erstellen Sie in Cloud Shell einen Speicher-Bucket mit PROJECT_ID-hitl-results als Namen:

export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs://$PROJECT_ID-hitl-results

7. Binden Sie Ihr Nutzerkonto an die Vertex AI Admin-IAM-Rolle in Ihrem Lab-Projekt.

export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

4. Human in the Loop konfigurieren

In dieser Aufgabe konfigurieren Sie die manuelle Überprüfung für den von Ihnen erstellten Ausgabenprozessor.

1. Öffnen Sie in der Console das Navigationsmenü und wählen Sie Document AI aus.
2. Klicken Sie auf Human-in-the-Loop-KI.
3. Klicken Sie auf codelab-expense-parser, um die Seite „Manuelle Überprüfung“ für den Prozessor zu öffnen.
4. Klicken Sie auf Human in the Loop konfigurieren.

5. Wählen Sie Filter auf Dokumentebene aus.
6. Stellen Sie den Schieberegler Konfidenzwert % auf 50 % ein.
7. Lassen Sie die Option Experten auf Eigene Experten verwenden eingestellt.

8. Klicken Sie auf das Drop-down-Menü Specialist pool (Pool für Spezialisten) und dann auf NEW SPECIALIST POOL (NEUER POOL FÜR SPEZIALISTEN).
9. Geben Sie im Dialogfeld Neuer Spezialistenpool unter Poolname Codelab HITL Pool ein.
10. Geben Sie Ihre private E-Mail-Adresse für die Poolmanager und die Spezialisten ein.
11. Klicken Sie auf Pool erstellen.

Das dauert einige Minuten. Sie sollten eine E‑Mail von Vertex AI [e-mail] erhalten.

HINWEIS:Klicken Sie auf Wiederholen, wenn Sie Probleme mit Berechtigungen hatten. Sie benötigen die Cloud IAM-Berechtigung aiplatform.specialistPools.create, für die Ihrem Nutzerkonto auf Projektebene die Rolle roles/aiplatform.admin zugewiesen sein muss.

roles/project.owner allein reicht nicht aus.

12. Lassen Sie das Kästchen Automatische Zuweisung deaktiviert.
13. Klicken Sie im Abschnitt Belastungen bestätigen auf das Kästchen.
14. Klicken Sie auf Anleitung für den Speicherort und kopieren Sie diesen Speicherort: NICHT das Präfix gs:// in den Pfad einfügen

cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf

HINWEIS:Dieses Dokument ist eine Kopie der Richtlinien zum Erstellen von Anleitungen für Prüfer, kein funktionierendes Beispiel.

15. Klicken Sie unter Speicherort der Ergebnisse auf Durchsuchen und wählen Sie den zuvor erstellten Cloud Storage-Bucket aus.
16. Klicken Sie auf Auswählen.
17. Klicken Sie auf Konfiguration speichern.

In der Konsole wird jetzt Konfiguration von Human-in-the-Loop angezeigt. Dies dauert einige Minuten.

18. Wenn die Konfiguration abgeschlossen ist, werden Sie in der Console aufgefordert, „Human in the Loop“ zu aktivieren.

• Klicken Sie auf den Schalter, um die Funktion zu aktivieren.
• Klicken Sie dann im Pop-up-Dialogfeld auf AKTIVIEREN.

Beispiel für ein Spesenabrechnungsformular hochladen

1. Wir haben ein Beispielformular, das in Google Cloud Storage gespeichert ist. Sie können sie über die Schaltfläche oder den Befehl unten herunterladen:

Download expense-claim.pdf

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .

2. Klicken Sie nach der Aktivierung von Human-in-the-Loop auf die Schaltfläche Dokument hochladen und suchen Sie nach dem Beispieldokument, das Sie gerade heruntergeladen haben.
3. Klicken Sie auf Hochladen und warten Sie, bis der Vorgang abgeschlossen ist.

5. Element zur manuellen Überprüfung zuweisen

1. Auf dieser Seite sollten Links zur Pool Manager Console und zur Specialist Console angezeigt werden. Diese Links werden auch in einer E‑Mail von Vertex AI [e-mail] angezeigt.
   • Sie sollten so aussehen: https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks
   • Klicken Sie auf den Link zur Manager-Konsole.

2. Klicken Sie in der Data Labeling Console auf den Tabtitel Aufgaben, um die Seite für die Aufgabenzuweisung zu öffnen.
3. Klicken Sie das Kästchen Nicht zugewiesen an. Sie sollten sehen, dass ein neuer Eintrag in der Aufgabenwarteschlange codelab-expense-parser-P1 aufgeführt ist.

4. Wählen Sie codelab-expense-parser-P1 aus.
5. Klicken Sie auf Zuweisung verwalten.
6. Geben Sie Ihre private E‑Mail-Adresse in das Textfeld Spezialisten per E‑Mail einbeziehen ein und wählen Sie sie dann aus der Drop-down-Liste aus.
7. Klicken Sie auf Übernehmen.

Auf dem Display wird jetzt angezeigt, dass die Aufgabe Ihnen zugewiesen ist. Es kann einige Minuten dauern, bis die Änderungen übernommen und sichtbar werden.

8. Wählen Sie den neuen Nutzer aus und klicken Sie auf das Menüsymbol.
9. Klicken Sie im Pop-up-Menü auf Assign to all tasks (Allen Aufgaben zuweisen).

10. Klicken Sie auf Änderungen übernehmen.
11. Klicken Sie auf Commit.

6. Manuelle Überprüfungsaufgabe ausführen

1. Kehren Sie in der Cloud Console zur Konfigurationsseite für Human-in-the-Loop zurück.

Klicken Sie auf den Link, um die Specialist-Konsole (Worker) aufzurufen. Das sieht dann so aus: https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx.

Die Worker-Konsole sollte geöffnet werden und Ihre neue Aufgabe auflisten.

2. Bewegen Sie den Mauszeiger auf die Zeile mit Meeting with 4m und klicken Sie auf das Stiftsymbol Bearbeiten.
3. Ändern Sie den Wert, damit der Text Besprechung mit Adam lautet. Eventuell müssen Sie im Textfeld nach unten scrollen, um den Text zu sehen.
4. Klicken Sie auf Übernehmen.
5. Klicken Sie für das unten aufgeführte Element auf das Symbol Bestätigen (grünes Häkchen).
6. Klicken Sie für die anderen hervorgehobenen Rechtssubjekte auf das Symbol Bestätigen.
7. Klicken Sie auf Senden. Die Aufgabe zur Überprüfung wurde aus Ihrer Warteschlange für Labeler entfernt.

7. Erledigte Aufgaben ansehen

1. Kehren Sie zur Manager-Konsole zurück.
2. Klicken Sie auf Aufgaben und wählen Sie Laufend aus.
3. Klicken Sie auf Spezialisten.
4. Wählen Sie Ihre E‑Mail-Adresse aus.
5. Klicken Sie auf Zuweisung verwalten.
6. Wählen Sie im Drop-down-Menü Select specialists working on specific tasks und Select tasks die Option expense-processor-P1 aus. Klicken Sie für jede Auswahl auf Übernehmen. Wählen Sie im Kontextmenü für expense-processor-P1, das Ihnen zugewiesen wurde, die Option View Specialists (Spezialisten ansehen) aus.

Sobald die Kennzeichnungsaufgabe vom Kennzeichner gesendet wurde, werden die Anzahl der beantworteten Aufgaben und die Gesamtzeit aktualisiert. Es kann jedoch einige Minuten dauern, bis die Daten in dieser Ansicht angezeigt werden.

7. Schließen Sie das Pop-up-Fenster „Spezialisten“ und rufen Sie den Tab Spezialisten auf.
8. Klicken Sie auf das Kontextmenü für Ihren Nutzernamen und wählen Sie Aufgaben ansehen aus.

In dieser Ansicht sehen Sie die Liste der Aufgaben für den Nutzer, die Anzahl der Abschlüsse und die benötigte Zeit, wie unten dargestellt:

8. Glückwunsch

Gute Arbeit. Sie haben Document AI Human-in-the-Loop erfolgreich verwendet, um die manuelle Überprüfung von Dokumenten zu konfigurieren, die mit einem Document AI-Prozessor für Ausgaben verarbeitet werden.

Clean-up

So vermeiden Sie, dass Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

• Wechseln Sie in der Cloud Console zur Seite Ressourcen verwalten.
• Wählen Sie in der Projektliste Ihr Projekt aus und klicken Sie auf „Löschen“.
• Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf „Beenden“, um das Projekt zu löschen.

Weitere Informationen

In diesen Codelabs erfahren Sie mehr über Document AI.

• Document AI-Prozessoren mit Python verwalten

Ressourcen

• The Future of Documents – YouTube-Playlist
• Document AI-Dokumentation
• Python-Clientbibliothek für Document AI
• Document AI-Beispiele

Lizenz

Dieser Text ist mit einer Creative Commons Attribution 2.0 Generic License lizenziert.