Document AI: ludzki człowiek

1. Wprowadzenie

Document AI API to rozwiązanie do rozumienia dokumentów, które wykorzystuje nieuporządkowane dane, takie jak dokumenty czy e-maile, i ułatwia ich analizowanie, analizowanie i wykorzystywanie.

Weryfikacja manualna pozwala zwiększyć dokładność przetwarzania dokumentów i zapewnić większą dokładność. Sprawdzenie przez weryfikatora może zwiększyć dokładność i ułatwi firmom ocenę prognoz za pomocą specjalnych narzędzi, które umożliwiają przeprowadzanie takich weryfikacji. W tym module skonfigurujesz i przetestujesz procesor wydatków, korzystając z weryfikacji manualnej, aby zweryfikować wyniki pochodzące z procesora za pomocą narzędzi do konfiguracji i zarządzania w ramach procesu z udziałem człowieka.

UWAGA: interfejs konsoli może się zmienić, dlatego Twoje środowisko może wyglądać nieco inaczej. Jeśli zauważysz problemy z tym modułem, zgłoś je.

Wymagania wstępne

To ćwiczenie w Codelabs opiera się na materiałach prezentowanych w innych ćwiczeniach z programowania Document AI.

Przed kontynuowaniem zalecamy ukończenie poniższych ćwiczeń z programowania.

• Optyczne rozpoznawanie znaków (OCR) w Document AI (Python)
• Analiza formularzy przy użyciu Document AI (Python)
• Specjalne procesory z Document AI (Python)

Czego się nauczysz

• Skonfiguruj weryfikację manualną dla podmiotu przetwarzającego.
• Utwórz pulę zasobów użytkowników weryfikacji manualnej.
• Utwórz testowe zadanie weryfikacji manualnej.
• Przypisz użytkownikowi zadanie sprawdzania przez weryfikatora.
• Sprawdzenie dokumentu przez weryfikatora.

Czego potrzebujesz

• Projekt Google Cloud
• przeglądarkę, np. Chrome lub Firefox;
• Wiedza na temat języka Python 3

2. Przygotowanie

W tym ćwiczeniu w programowaniu zakładamy, że masz już za sobą kroki konfiguracji Document AI wymienione w podstawowych ćwiczeniach z programowania.

Zanim przejdziesz dalej, wykonaj te czynności:

• Uruchamianie Cloud Shell
• Włącz Document AI Interfejsy API Cloud Storage
• Instalowanie biblioteki klienta Pythona

Musisz też włączyć interfejs Vertex AI API.

1. Na pasku wyszukiwania u góry konsoli wyszukaj „Vertex AI API”, a następnie kliknij Włącz, aby używać interfejsu API w projekcie Google Cloud
2. Interfejs API można też włączyć za pomocą tego polecenia gcloud.

gcloud services enable aiplatform.googleapis.com

3. Utwórz procesor

Musisz najpierw utworzyć instancję procesora na potrzeby tego modułu.

1. W konsoli przejdź do omówienia Document AI Platform.
2. Kliknij Utwórz procesor, przewiń w dół do sekcji Specjalistyczne i wybierz Parser wydatków.
3. Nadaj mu nazwę codelab-expense-parser (albo coś innego, co zapamiętasz) i wybierz na liście najbliższy region.
4. Kliknij Utwórz, aby utworzyć procesor.
5. Skopiuj identyfikator procesora. Będzie trzeba użyć go później w kodzie.
6. Utwórz w Cloud Shell zasobnik na dane, używając nazwy PROJECT_ID-hitl-results:

export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs://$PROJECT_ID-hitl-results

7. Powiąż swoje konto użytkownika z rolą uprawnień administratora Vertex AI w projekcie modułu.

export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

4. Konfigurowanie procesu z udziałem człowieka

W tym zadaniu skonfigurujesz weryfikację manualną dla utworzonego wcześniej podmiotu przetwarzającego wydatki.

1. W konsoli otwórz Menu nawigacyjne i wybierz Document AI.
2. Kliknij AI z udziałem człowieka.
3. Kliknij codelab-expense-parser, aby otworzyć stronę weryfikacji manualnej firmy obsługującej płatności.
4. Kliknij Skonfiguruj proces z udziałem człowieka.

5. Wybierz Filtr na poziomie dokumentu.
6. Ustaw suwak Poziom ufności (%) na 50%.
7. Zostaw w opcji Specjaliści ustawienie Korzystaj z własnych specjalistów.

8. Kliknij menu Pula specjalistów, a następnie NOWA PULI ŚRODKÓW DLA SPECJALISTY.
9. W polu Pool name (Nazwa puli) wpisz Codelab HITL Pool w oknie Nowa pula specjalistów.
10. Wpisz swój osobisty adres e-mail menedżerów puli i specjalistów.
11. Kliknij Utwórz pulę.

Ich wykonanie może potrwać kilka minut. Otrzymasz e-maila z adresu Vertex AI [e-mail].

UWAGA: jeśli wystąpiły problemy z uprawnieniami, kliknij spróbuj ponownie. Musisz mieć uprawnienie aiplatform.specialistPools.create Cloud IAM, które wymaga roli roles/aiplatform.admin przypisanej do konta użytkownika na poziomie projektu.

Aplikacja roles/project.owner nie wystarczy.

12. Nie zaznaczaj pola wyboru Automatyczne przypisywanie.
13. Kliknij pole wyboru w sekcji Potwierdź opłaty.
14. Kliknij Lokalizacja instrukcji i skopiuj ją w tym miejscu: – NIE dodawaj prefiksu gs:// w ścieżce.

cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf

UWAGA: ten dokument jest kopią wytycznych dotyczących tworzenia zestawów instrukcji dla weryfikatorów. Nie jest to działający przykład.

15. W sekcji Lokalizacja wyników kliknij Przeglądaj i wybierz utworzony wcześniej zasobnik Cloud Storage.
16. Kliknij Wybierz.
17. Kliknij Save Configuration (Zapisz konfigurację).

W konsoli pojawi się komunikat Konfigurowanie procesu z człowiekiem, co zajmie kilka minut.

18. Gdy konfiguracja zostanie ukończona, w konsoli wyświetli się prośba o włączenie procesu z udziałem człowieka.

• Kliknij przycisk Przełącz, aby go włączyć.
• Następnie w wyskakującym okienku kliknij WŁĄCZ.

Prześlij przykładowy formularz wydatków

1. Przygotowaliśmy przykładowy formularz do wykorzystania w Google Cloud Storage. Możesz ją pobrać, używając tego przycisku lub polecenia:

Pobierz plik DDEX-claim.pdf

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .

2. Po włączeniu procesu z udziałem człowieka kliknij przycisk Prześlij dokument i znajdź pobrany przed chwilą przykładowy dokument.
3. Kliknij Prześlij i poczekaj na zakończenie tego procesu.

5. Przypisywanie elementu do sprawdzenia przez weryfikatora

1. Na tej stronie powinny być widoczne linki do konsol menedżera pul i konsol specjalistów. Te linki pojawią się też w e-mailu od Vertex AI [e-mail].
   • Powinien wyglądać podobnie do tych: https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks
   • Kliknij link do konsoli menedżera.

2. W konsoli dodawania etykiet do danych kliknij tytuł karty Tasks (Zadania), aby otworzyć stronę przypisywania zadań.
3. Kliknij pole wyboru Nieprzypisane. W kolejce zadań codelab-expense-parser-P1 powinien pojawić się nowy wpis.

4. Wybierz codelab-expense-parser-P1.
5. Kliknij Zarządzaj projektem.
6. Wpisz swój prywatny adres e-mail w polu Dodaj specjalistów przez e-maila i wybierz go z listy.
7. Kliknij Zastosuj.

Na ekranie pojawi się informacja, że zadanie jest przypisane do Ciebie. Może minąć kilka minut, zanim zmiany staną się widoczne i rozpowszechnione.

8. Wybierz nowego użytkownika i kliknij ikonę menu.
9. W wyświetlonym menu kliknij Przypisz do wszystkich zadań.

10. Kliknij Zatwierdź zmiany.
11. Kliknij Zatwierdź.

6. Sprawdzenie przez weryfikatora

1. Wróć na stronę konfiguracji procesu z udziałem człowieka w konsoli Cloud.

Kliknij link, aby otworzyć konsolę specjalisty (instancji roboczej). To będzie wyglądać tak: https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx.

Konsola instancji roboczych powinna się otworzyć i wyświetlić nowe zadanie.

2. Najedź kursorem na element zamówienia zawierający Spotkanie z 4 min i kliknij ikonę edytuj (ołówek).
3. Zmień wartość na Spotkanie z Adamem. Aby go zobaczyć, konieczne może być przewinięcie okna tekstowego w dół.
4. Kliknij Zastosuj.
5. Kliknij ikonę Potwierdź (zielony znacznik wyboru) przy elemencie poniżej.
6. Kliknij ikonę Potwierdź przy pozostałych wyróżnionych elementach.
7. Kliknij Prześlij. Zadanie weryfikacji zostało usunięte z kolejki osób oznaczających etykietami.

7. Wyświetl ukończone zadania

1. Wróć do konsoli menedżera.
2. Kliknij Lista zadań i wybierz Bieżące
3. Kliknij Specjaliści.
4. Wybierz swój adres e-mail.
5. Kliknij Zarządzaj projektem.
6. Z menu Select specialists working on specific tasks i Select tasks wybierz expense-processor-P1. W przypadku każdej z nich kliknij Zastosuj. W menu kontekstowym zasobu expense-processor-P1, które zostało Ci przypisane, kliknij Wyświetl specjalistów.

Gdy zadanie oznaczania etykietami prześle osoba oznaczająca etykietami, liczba zadań z odpowiedziami i łączny czas trwania zostaną zaktualizowane, ale wyświetlenie danych w tym widoku może potrwać kilka minut.

7. Zamknij wyskakujące okienko specjalistów i otwórz kartę Specjaliści.
8. Kliknij menu kontekstowe swojej nazwy użytkownika i wybierz Wyświetl zadania.

Ten widok przedstawia listę zadań użytkownika, liczbę ich ukończenia oraz czas potrzebny na ukończenie zadania, jak pokazano poniżej:

8. Gratulacje

Gratulujemy! Udało Ci się skonfigurować weryfikację manualną dokumentów przetwarzanych przy użyciu procesora wydatków Document AI za pomocą procesu z udziałem człowieka w Document AI.

Czyszczenie

Aby uniknąć obciążenia konta Google Cloud opłatami za zasoby zużyte w tym samouczku:

• W konsoli Cloud otwórz stronę Zarządzanie zasobami.
• Na liście projektów wybierz swój projekt i kliknij Usuń.
• W oknie wpisz identyfikator projektu i kliknij Wyłącz, aby usunąć projekt.

Więcej informacji

Dowiedz się więcej o Document AI dzięki tym dodatkowym ćwiczeniom z programowania.

• Zarządzanie procesorami Document AI w Pythonie

Materiały

• Przyszłość dokumentów – playlista w YouTube
• Dokumentacja Document AI
• Biblioteka klienta Document AI w Pythonie
• Przykłady Document AI

Licencja

To zadanie jest licencjonowane na podstawie ogólnej licencji Creative Commons Attribution 2.0.