Document AI: ludzki człowiek

1. Wprowadzenie

Document AI API to rozwiązanie do analizy dokumentów, które przetwarza dane nieustrukturyzowane, takie jak dokumenty, e-maile itp., i ułatwia ich zrozumienie, analizowanie i wykorzystywanie.

Dzięki weryfikacji przez weryfikatora możesz uzyskać większą dokładność przetwarzania dokumentów i mieć pewność, że dokumenty są sprawdzane przez weryfikatora. Sprawdzanie przez weryfikatorów może zwiększyć dokładność i pomóc firmom oceniać prognozy za pomocą specjalnie zaprojektowanych narzędzi. W tym module skonfigurujesz i przetestujesz procesor wydatków, korzystając z weryfikacji manualnej, aby sprawdzić wyniki działania procesora za pomocą narzędzi do konfiguracji i zarządzania opartych na udziale człowieka.

UWAGA: interfejs konsoli może się z czasem zmieniać, więc Twoje środowisko może wyglądać nieco inaczej. Jeśli zauważysz jakieś problemy z tym modułem, zgłoś je.

Wymagania wstępne

To ćwiczenie opiera się na treściach przedstawionych w innych ćwiczeniach Document AI.

Zanim przejdziesz dalej, zalecamy wykonanie tych ćwiczeń z programowania.

• Optyczne rozpoznawanie znaków (OCR) za pomocą Document AI (Python)
• Analizowanie formularzy za pomocą Document AI (Python)
• Specjalistyczne procesory z Document AI (Python)

Czego się nauczysz

• Skonfiguruj weryfikację manualną procesora.
• Utwórz pulę zasobów użytkowników weryfikacji manualnej.
• Utwórz testowe zadanie weryfikacji manualnej.
• Przypisz zadanie weryfikacji manualnej użytkownikowi.
• Przeprowadź weryfikację manualną dokumentu.

Czego potrzebujesz

• Projekt Google Cloud
• przeglądarka, np. Chrome lub Firefox;
• Znajomość języka Python 3

2. Przygotowania

W tym ćwiczeniu zakłada się, że masz już za sobą kroki konfiguracji Document AI wymienione w ćwiczeniu wprowadzającym.

Zanim przejdziesz dalej, wykonaj te czynności:

• Uruchamianie Cloud Shell
• Włącz interfejsy Document AI i Cloud Storage API
• Instalowanie biblioteki klienta Python

Musisz też włączyć interfejs Vertex AI API.

1. Na pasku wyszukiwania u góry konsoli wyszukaj „Vertex AI API”, a potem kliknij Włącz, aby używać interfejsu API w projekcie w chmurze Google Cloud.
2. Interfejs API można też włączyć za pomocą tego polecenia gcloud.

gcloud services enable aiplatform.googleapis.com

3. Tworzenie procesora

Aby wykonać to ćwiczenie, musisz najpierw utworzyć instancję procesora wydatków.

1. W konsoli otwórz Przegląd platformy Document AI.
2. Kliknij Utwórz procesor, przewiń w dół do sekcji Specjalistyczne i wybierz Ekstraktor wydatków.
3. Nadaj mu nazwę codelab-expense-parser (lub inną, którą będziesz pamiętać) i wybierz z listy region, który znajduje się najbliżej Ciebie.
4. Kliknij Utwórz, aby utworzyć procesor.
5. Skopiuj identyfikator procesora. Będzie trzeba użyć go później w kodzie.
6. W Cloud Shell utwórz zasobnik pamięci, używając jako nazwy PROJECT_ID-hitl-results:

export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs://$PROJECT_ID-hitl-results

7. Powiąż swoje konto użytkownika z rolą uprawnień administratora Vertex AI w projekcie laboratorium.

export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

4. Konfigurowanie procesu z udziałem człowieka

W tym zadaniu skonfigurujesz weryfikację manualną dla utworzonego wcześniej procesora wydatków.

1. W konsoli otwórz menu nawigacyjne i wybierz Document AI.
2. Kliknij AI z udziałem człowieka.
3. Kliknij codelab-expense-parser, aby otworzyć stronę weryfikacji manualnej procesora.
4. Kliknij Skonfiguruj proces z udziałem człowieka.

5. Kliknij Filtr na poziomie dokumentu.
6. Ustaw suwak Próg ufności (%) na 50%.
7. Pozostaw opcję Specjaliści ustawioną na Skorzystaj z pracy własnych specjalistów.

8. Kliknij pole menu Pula specjalistów i wybierz NOWA PULA SPECJALISTÓW.
9. W oknie Nowa pula specjalistów w polu Nazwa puli wpisz Codelab HITL Pool.
10. Wpisz swój osobisty adres e-mail w sekcji Menedżerowie pul i Specjaliści.
11. Kliknij Utwórz pulę.

Ich wykonanie może potrwać kilka minut. Powinien do Ciebie dotrzeć e-mail od Vertex AI [e-mail].

UWAGA: jeśli wystąpiły problemy z uprawnieniami, kliknij Spróbuj ponownie. Musisz mieć uprawnienie Cloud IAM aiplatform.specialistPools.create, które wymaga przypisania roli roles/aiplatform.admin do Twojego konta użytkownika na poziomie projektu.

roles/project.owner nie wystarczy.

12. Odznacz pole wyboru Automatyczne przydzielanie.
13. Zaznacz pole wyboru w sekcji Potwierdzenie opłat.
14. Kliknij Lokalizacja instrukcji i skopiuj tę lokalizację pamięci: - NIE uwzględniaj w ścieżce prefiksu gs://.

cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf

UWAGA: ten dokument jest kopią wytycznych dotyczących tworzenia zestawów instrukcji dla weryfikatorów, a nie działającym przykładem.

15. W sekcji Lokalizacja wyników kliknij Przeglądaj i wybierz utworzony wcześniej zasobnik Cloud Storage.
16. Kliknij Wybierz.
17. Kliknij Save Configuration (Zapisz konfigurację).

W konsoli pojawi się komunikat Konfigurowanie weryfikacji przez człowieka. Proces ten potrwa kilka minut.

18. Po zakończeniu konfiguracji konsola wyświetli prośbę o włączenie procesu z udziałem człowieka.

• Kliknij przycisk przełączania, aby włączyć tę opcję.
• Następnie w wyskakującym okienku kliknij WŁĄCZ.

Przesyłanie przykładowego formularza wydatków

1. Mamy przykładowy formularz do użycia przechowywany w Google Cloud Storage. Możesz go pobrać za pomocą przycisku lub polecenia poniżej:

Pobierz plik expense-claim.pdf

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .

2. Po włączeniu procesu z udziałem człowieka kliknij przycisk Prześlij dokument i wyszukaj pobrany przed chwilą przykładowy dokument.
3. Kliknij Prześlij i poczekaj na zakończenie.

5. Przypisywanie elementu do weryfikacji manualnej

1. Na tej stronie powinny być widoczne linki do konsoli menedżera puli i konsoli specjalisty. Linki te pojawią się też w e-mailu od Vertex AI [e-mail].
   • Powinny wyglądać tak: https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks
   • Kliknij link do konsoli Menedżer.

2. W konsoli etykietowania danych kliknij tytuł karty Zadania, aby otworzyć stronę przypisywania zadań.
3. Kliknij pole wyboru Nieprzypisane. Powinien pojawić się nowy wpis na liście kolejki zadań codelab-expense-parser-P1.

4. Wybierz codelab-expense-parser-P1.
5. Kliknij Zarządzaj przypisywaniem.
6. Wpisz swój osobisty adres e-mail w polu tekstowym Uwzględnij specjalistów według adresu e-mail, a następnie wybierz go z menu.
7. Kliknij Zastosuj.

Na wyświetlaczu pojawi się informacja, że zadanie jest przypisane do Ciebie. Zastosowanie zmian może potrwać kilka minut.

8. Wybierz nowego użytkownika i kliknij ikonę menu.
9. W menu, które się pojawi, kliknij Przypisz do wszystkich zadań.

10. Kliknij Zatwierdź zmiany.
11. Kliknij Zatwierdź.

6. Wykonywanie zadania weryfikacji manualnej

1. Wróć do strony konfiguracji procesów z udziałem człowieka w konsoli Cloud.

Kliknij link, aby otworzyć konsolę specjalisty (pracownika). Będzie to wyglądać tak: https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx.

Konsola pracownika powinna się otworzyć i wyświetlić nowe zadanie.

2. Najedź kursorem na element zamówienia zawierający Spotkanie z 4m i kliknij ikonę edytowania (ołówka).
3. Edytuj wartość, aby zmienić tekst na Spotkanie z Adamem. Aby zobaczyć tekst, może być konieczne przewinięcie pola tekstowego w dół.
4. Kliknij Zastosuj.
5. Kliknij ikonę Potwierdź (zielony znacznik) w przypadku poniższego elementu.
6. Kliknij ikonę Potwierdź w przypadku pozostałych wyróżnionych elementów.
7. Kliknij Prześlij. Zadanie dotyczące opinii zostało usunięte z kolejki etykietującego.

7. Wyświetlanie ukończonych zadań

1. Wróć do konsoli menedżera.
2. Kliknij Zadania i wybierz W toku.
3. Kliknij Specjaliści.
4. Wybierz swój adres e-mail.
5. Kliknij Zarządzaj przypisywaniem.
6. Wybierz expense-processor-P1 z menu Select specialists working on specific tasks i Select tasks. Kliknij Zastosuj przy każdym wyborze. W menu kontekstowym expense-processor-P1, które zostało Ci przypisane, kliknij Wyświetl specjalistów.

Gdy osoba dodająca etykiety prześle zadanie, zaktualizuje się liczba wykonanych zadań i łączny czas ich wykonania, ale dane w tym widoku mogą pojawić się dopiero po kilku minutach.

7. Zamknij wyskakujące okienko specjalistów i otwórz kartę Specjaliści.
8. Kliknij menu kontekstowe przy nazwie użytkownika i wybierz Wyświetl zadania.

W tym widoku wyświetla się lista zadań użytkownika, liczba ukończonych zadań i czas potrzebny na ich wykonanie, jak pokazano poniżej:

8. Gratulacje

Gratulacje! Udało Ci się skonfigurować weryfikację przez człowieka w Document AI, aby sprawdzać dokumenty przetwarzane za pomocą procesora wydatków Document AI.

Czyszczenie

Aby uniknąć obciążenia konta Google Cloud opłatami za zasoby zużyte w tym samouczku:

• W Cloud Console otwórz stronę Zarządzanie zasobami.
• Na liście projektów wybierz projekt, a następnie kliknij Usuń.
• W oknie wpisz identyfikator projektu i kliknij Wyłącz, aby usunąć projekt.

Więcej informacji

Kontynuuj naukę o Document AI w tych modułach Codelabs.

• Zarządzanie procesorami Document AI za pomocą Pythona

Materiały

• Przyszłość dokumentów – playlista w YouTube
• Dokumentacja Document AI
• Biblioteka klienta Document AI w Pythonie
• Przykłady Document AI

Licencja

To zadanie jest licencjonowane na podstawie ogólnej licencji Creative Commons Attribution 2.0.