Документ AI: Человек в курсе

1. Введение

Document AI API — это решение для понимания документов, которое принимает неструктурированные данные, такие как документы, электронные письма и т. д., и упрощает понимание, анализ и использование данных.

Благодаря проверке человеком вы можете добиться более высокой точности обработки документов, гарантируя проверку человеком. Человеческая проверка может повысить точность и помочь компаниям оценить прогнозы, используя специально созданные инструменты для проведения таких проверок. В ходе этой лабораторной работы вы настроите и протестируете процессор расходов, используя проверку человеком, чтобы проверить результаты процессора с помощью инструментов настройки и управления с участием человека.

ПРИМЕЧАНИЕ. Пользовательский интерфейс консоли может со временем меняться, поэтому ваша среда может выглядеть немного иначе. Если вы обнаружите какие-либо проблемы с этой лабораторией, сообщите о них .

Предварительные условия

Эта лаборатория кода основана на контенте, представленном в других лабораториях Document AI Codelabs.

Прежде чем продолжить, рекомендуется выполнить следующие лабораторные работы по коду.

• Оптическое распознавание символов (OCR) с использованием искусственного интеллекта документов (Python)
• Анализ формы с помощью Document AI (Python)
• Специализированные процессоры с искусственным интеллектом документов (Python)

Что вы узнаете

• Настройте проверку процессора человеком.
• Создайте пул пользовательских ресурсов для проверки человеком.
• Создайте тестовую задачу проверки человеком.
• Назначьте пользователю задачу проверки человеком.
• Завершите проверку документа человеком.

Что вам понадобится

• Облачный проект Google
• Браузер, например Chrome или Firefox.
• Знание Python 3.

2. Приступаем к настройке

В этой лаборатории кода предполагается, что вы выполнили шаги по настройке Document AI, перечисленные во вводной лаборатории кода .

Прежде чем продолжить, выполните следующие действия:

• Запустить Cloud Shell
• Включите API документов AI и облачного хранилища.
• Установите клиентскую библиотеку Python

Вам также необходимо включить API Vertex AI.

1. Используя панель поиска в верхней части консоли, найдите «Vertex AI API», затем нажмите « Включить», чтобы использовать API в своем проекте Google Cloud.
2. Альтернативно API можно включить с помощью следующей команды gcloud .

gcloud services enable aiplatform.googleapis.com

3. Создайте процессор

Сначала необходимо создать экземпляр процессора расходов для использования в этой лабораторной работе.

1. В консоли перейдите к обзору платформы Document AI Platform.
2. Нажмите «Создать процессор» , прокрутите вниз до пункта «Специализированный» и выберите «Парсер расходов» .
3. Дайте ему имя codelab-expense-parser (или другое имя, которое вы запомните) и выберите ближайший регион в списке.
4. Нажмите «Создать» , чтобы создать свой процессор.
5. Скопируйте идентификатор процессора. Вы должны будете использовать это в своем коде позже.
6. В Cloud Shell создайте сегмент хранилища, используя в качестве имени PROJECT_ID-hitl-results :

export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs://$PROJECT_ID-hitl-results

7. Привяжите свою учетную запись пользователя к роли IAM администратора Vertex AI в своем лабораторном проекте.

export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

4. Настройте функцию «человек в цикле»

В этой задаче вы настроите проверку человеком для процессора расходов, созданного вами ранее.

1. В консоли откройте меню «Навигация» и выберите «Документ AI» .
2. Нажмите «Человек в курсе ИИ» .
3. Нажмите codelab-expense-parser чтобы открыть страницу Human Review для процессора.
4. Нажмите «Настроить взаимодействие человека в цикле» .

5. Выберите Фильтр уровня документа .
6. Установите ползунок % порога уверенности на 50%.
7. Оставьте для параметра «Специалисты» значение « Использовать моих собственных специалистов» .

8. Щелкните раскрывающийся список «Пул специалистов» и выберите «НОВЫЙ ПУЛ СПЕЦИАЛИСТОВ» .
9. В поле «Имя пула» введите Codelab HITL Pool в диалоговом окне «Новый специализированный пул» .
10. Введите свой личный адрес электронной почты для менеджеров и специалистов пула
11. Нажмите Создать пул .

Это займет несколько минут. Вы должны получить электронное письмо от Vertex AI [e-mail] .

ПРИМЕЧАНИЕ. Нажмите « Повторить» , если у вас возникли проблемы с разрешениями. У вас должно быть разрешение Cloud IAM aiplatform.specialistPools.create , для которого требуется роль roles/aiplatform.admin , назначенная вашей учетной записи пользователя на уровне проекта.

roles/project.owner самого по себе недостаточно.

12. Оставьте флажок «Автоназначение» снятым.
13. Установите флажок в разделе «Подтвердить платежи» .
14. Нажмите «Местоположение инструкций» и скопируйте в это место хранения: — НЕ включайте префикс gs:// в путь.

cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf

ПРИМЕЧАНИЕ. Этот документ представляет собой копию рекомендаций по созданию наборов инструкций для рецензентов, а не рабочий пример.

15. В разделе «Местоположение результатов» нажмите «Обзор» и выберите сегмент Cloud Storage, который вы создали ранее.
16. Нажмите «Выбрать» .
17. Нажмите Сохранить конфигурацию .

На консоли теперь появится сообщение «Настройка управления человеком в цикле», и это займет несколько минут.

18. Когда настройка будет завершена, консоль предложит вам включить функцию «Человек в цикле».

• Нажмите кнопку переключения, чтобы включить.
• Затем нажмите ВКЛЮЧИТЬ во всплывающем диалоговом окне.

Загрузите образец формы расходов

1. У нас есть образец формы, хранящийся в Google Cloud Storage . Вы можете скачать его с помощью кнопки или команды ниже:

Скачать расходную претензию.pdf

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .

2. После включения функции «Человек в цикле» нажмите кнопку «Загрузить документ» и найдите только что загруженный образец документа.
3. Нажмите «Загрузить» и дождитесь завершения.

5. Назначьте элемент на проверку человеком

1. На этой странице вы должны увидеть ссылки на консоли диспетчера пула и специалиста. Эти ссылки также появятся в электронном письме от Vertex AI [e-mail] .
   • Они должны выглядеть так: https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks
   • Нажмите на ссылку для консоли менеджера .

2. В консоли маркировки данных щелкните заголовок вкладки «Задачи» , чтобы открыть страницу назначения задач.
3. Установите флажок «Не назначено» . Вы должны увидеть, что в очереди задач codelab-expense-parser-P1 появилась новая запись.

4. Выберите codelab-expense-parser-P1 .
5. Нажмите «Управление назначением» .
6. Введите свой личный адрес электронной почты в текстовое поле «Включить специалистов по электронной почте» , а затем выберите его из раскрывающегося списка.
7. Нажмите Применить .

Теперь на дисплее отображается, что задача назначена вам. Вы можете обнаружить, что это может занять несколько минут, чтобы распространиться и стать видимым.

8. Выберите нового пользователя и щелкните значок меню.
9. В появившемся всплывающем меню нажмите «Назначить всем задачам» .

10. Нажмите «Зафиксировать изменения» .
11. Нажмите «Зафиксировать» .

6. Выполните задачу проверки человеком

1. Вернитесь на страницу конфигурации Human-in-the-Loop в Cloud Console.

Нажмите ссылку, чтобы перейти в консоль специалиста (работника). Это будет выглядеть так: https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx .

Рабочая консоль должна открыться и отобразить вашу новую задачу.

2. Наведите указатель мыши на позицию, содержащую «Встреча с 4m» , и щелкните значок редактирования (карандаш).
3. Отредактируйте значение, чтобы изменить текст на « Встреча с Адамом» . Возможно, вам придется прокрутить текстовое поле вниз, чтобы увидеть текст.
4. Нажмите Применить .
5. Нажмите значок «Подтвердить» (зеленая галочка) для элемента ниже.
6. Нажмите значок «Подтвердить» для других выделенных объектов.
7. Нажмите «Отправить» . Задача проверки удалена из очереди устройства для создания этикеток.

7. Просмотр выполненных задач

1. Вернитесь в консоль менеджера.
2. Нажмите «Задачи» и выберите «Выполняется» .
3. Нажмите Специалисты .
4. Выберите свой адрес электронной почты.
5. Нажмите «Управление назначением» .
6. Выберите расходный процессор-P1 из раскрывающегося списка Select specialists working on specific tasks и Select tasks . Нажмите «Применить» для каждого выбора. В контекстном меню назначенного вам обработчика расходов-P1 выберите « Просмотреть специалистов».

После отправки задачи по маркировке разработчиком меток количество решенных задач и общее затраченное время будут обновлены, но появление данных в этом представлении может занять несколько минут.

7. Закройте всплывающее окно «Специалисты» и перейдите на вкладку «Специалисты» .
8. Нажмите контекстное меню для своего имени пользователя и выберите « Просмотреть задачи» .

В этом представлении отображается список задач пользователя, количество их выполнения и количество затраченного времени, как показано ниже:

8. Поздравления

Поздравляем, вы успешно использовали Document AI Human-in-the-Loop для настройки проверки человеком документов, обработанных с помощью обработчика расходов Document AI.

Очистка

Чтобы избежать списания средств с вашей учетной записи Google Cloud за ресурсы, используемые в этом руководстве:

• В Cloud Console перейдите на страницу «Управление ресурсами» .
• В списке проектов выберите свой проект и нажмите «Удалить».
• В диалоговом окне введите идентификатор проекта и нажмите «Завершить работу», чтобы удалить проект.

Узнать больше

Продолжайте изучать Document AI с помощью следующих Codelabs.

• Управление процессорами искусственного интеллекта для документов с помощью Python

Ресурсы

• Будущее документов – Плейлист YouTube
• Документация по ИИ
• Документ Клиентская библиотека AI Python
• Образцы документов AI

Лицензия

Эта работа распространяется под лицензией Creative Commons Attribution 2.0 Generic License.