Документ AI: Человек в курсе

1. Введение

Document AI API — это решение для анализа документов, которое обрабатывает неструктурированные данные, такие как документы, электронные письма и т. д., и упрощает их понимание, анализ и использование.

Благодаря проверке человеком можно добиться более высокой точности обработки документов, гарантируя её достоверность. Проверка человеком повышает точность и помогает компаниям оценивать прогнозы с помощью специально разработанных инструментов, позволяющих проводить такие проверки. В этой лабораторной работе вы настроите и протестируете процессор учета расходов с использованием проверки человеком, чтобы подтвердить результаты работы процессора с помощью инструментов настройки и управления с участием человека.

ПРИМЕЧАНИЕ: Интерфейс консоли может меняться со временем, поэтому ваша среда может выглядеть немного иначе. Если вы обнаружите какие-либо проблемы в этой лабораторной работе, пожалуйста, сообщите о них .

Предварительные требования

Данный практический семинар основан на материалах других практических семинаров по искусственному интеллекту для работы с документами.

Перед продолжением рекомендуется выполнить следующие практические задания (Codelabs).

• Оптическое распознавание символов (OCR) с использованием Document AI (Python)
• Анализ форм с помощью Document AI (Python)
• Специализированные процессоры с поддержкой искусственного интеллекта для обработки документов (Python)

Что вы узнаете

• Настройте проверку данных человеком для обработчика.
• Создайте пул ресурсов для проведения экспертной оценки.
• Создайте тестовую задачу для проверки человеком.
• Назначьте пользователю задачу по проверке человеком.
• Проведите проверку документа человеком.

Что вам понадобится

• Проект Google Cloud
• Браузер, например Chrome или Firefox.
• Знание Python 3

2. Настройка

В этом практическом занятии предполагается, что вы выполнили шаги по настройке Document AI, описанные во вводном практическом занятии .

Перед продолжением выполните следующие шаги:

• Запустить Cloud Shell
• Включите API для работы с искусственным интеллектом документов и облачным хранилищем.
• Установите клиентскую библиотеку Python.

Вам также потребуется включить API Vertex AI.

1. Воспользуйтесь строкой поиска в верхней части консоли, найдите "Vertex AI API", затем нажмите " Включить" , чтобы использовать API в вашем проекте Google Cloud.
2. В качестве альтернативы, API можно включить с помощью следующей команды gcloud .

gcloud services enable aiplatform.googleapis.com

3. Создайте процессор.

Для выполнения этой лабораторной работы необходимо сначала создать экземпляр обработчика расходов.

1. В консоли перейдите к разделу «Обзор платформы Document AI».
2. Нажмите «Создать обработчик» , прокрутите вниз до раздела «Специализированные» и выберите «Обработчик расходов» .
3. Назовите его codelab-expense-parser (или как-нибудь еще, что вы запомните) и выберите ближайший регион из списка.
4. Нажмите «Создать» , чтобы создать свой процессор.
5. Скопируйте идентификатор процессора. Он понадобится вам в дальнейшем при работе с кодом.
6. В Cloud Shell создайте хранилище (storage bucket), указав в качестве имени PROJECT_ID-hitl-results :

export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs://$PROJECT_ID-hitl-results

7. Привяжите свою учетную запись пользователя к роли администратора IAM в Vertex AI для вашего лабораторного проекта.

export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

4. Настройка взаимодействия человека с процессом.

В этом задании вам нужно будет настроить проверку данных человеком для созданного вами ранее процессора учета расходов.

1. В консоли откройте меню «Навигация» и выберите «Документ AI» .
2. Нажмите «Искусственный интеллект с участием человека» .
3. Нажмите на codelab-expense-parser , чтобы открыть страницу проверки человеком для обработчика платежей.
4. Нажмите «Настроить взаимодействие человека с системой» .

5. Выберите фильтр на уровне документа .
6. Установите ползунок «Порог доверия %» на 50%.
7. Оставьте параметр «Специалисты» в значении «Использовать моих собственных специалистов» .

8. В выпадающем списке «Специализированный бассейн» выберите «НОВЫЙ СПЕЦИАЛИЗИРОВАННЫЙ БАССЕЙН» .
9. В диалоговом окне «Новый специализированный пул» в поле «Название пула » введите Codelab HITL Pool .
10. Введите свой личный адрес электронной почты для связи с менеджерами и специалистами по бассейнам.
11. Нажмите «Создать пул» .

Это займет несколько минут. Вы должны получить электронное письмо от Vertex AI [e-mail] .

ПРИМЕЧАНИЕ: Нажмите « Повторить», если у вас возникли проблемы с правами доступа. У вас должны быть права доступа Cloud IAM aiplatform.specialistPools.create , для которых требуется роль roles/aiplatform.admin , назначенная вашей учетной записи пользователя на уровне проекта.

Сами по себе roles/project.owner недостаточны.

12. Оставьте флажок «Автоматическое назначение» снятым.
13. Установите флажок в разделе «Подтверждение платежей» .
14. Щелкните по разделу «Инструкции» и скопируйте их в это место хранения: - НЕ включайте префикс gs:// в путь.

cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf

ПРИМЕЧАНИЕ: Этот документ представляет собой копию руководства по созданию наборов инструкций для рецензентов, а не рабочий пример.

15. В разделе «Расположение результатов » нажмите «Обзор» и выберите созданный ранее сегмент облачного хранилища.
16. Нажмите «Выбрать» .
17. Нажмите «Сохранить конфигурацию» .

В консоли отобразится сообщение «Настройка взаимодействия человека с пользователем» , на завершение процесса потребуется несколько минут.

18. После завершения настройки консоль предложит вам включить режим "человек в контуре управления".

• Нажмите кнопку «Переключить», чтобы включить.
• Затем нажмите кнопку «Включить» во всплывающем диалоговом окне.

Загрузите образец формы отчета о расходах.

1. У нас есть образец формы, хранящийся в Google Cloud Storage . Вы можете скачать его, используя кнопку или команду ниже:

Скачать expense-claim.pdf

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .

2. После включения режима "Человек в контуре управления" нажмите кнопку " Загрузить документ" и найдите загруженный вами образец документа.
3. Нажмите «Загрузить» и дождитесь завершения процесса.

5. Передать элемент на проверку человеку.

1. На этой странице вы увидите ссылки на консоли управления бассейном и специализированные консоли. Эти ссылки также появятся в электронном письме от Vertex AI [e-mail] .
   • Они должны выглядеть примерно так: https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks
   • Для открытия консоли менеджера нажмите на ссылку.

2. В консоли разметки данных щелкните вкладку « Задачи» , чтобы открыть страницу назначения задач.
3. Установите флажок «Не назначено» . Вы увидите, что в очереди задач codelab-expense-parser-P1 появилась новая запись.

4. Выберите codelab-expense-parser-P1 .
5. Нажмите «Управление назначением» .
6. Введите свой личный адрес электронной почты в текстовое поле «Включить специалистов по электронной почте» , а затем выберите его из выпадающего списка.
7. Нажмите «Применить» .

Теперь на экране отображается информация о том, что задача назначена вам. Возможно, потребуется несколько минут, чтобы это отобразилось.

8. Выберите нового пользователя и нажмите на значок меню.
9. В появившемся всплывающем меню нажмите кнопку «Назначить всем задачам» .

10. Нажмите «Подтвердить изменения» .
11. Нажмите «Подтвердить» .

6. Проведение проверки человеком.

1. Вернитесь на страницу настройки «Человек в контуре управления» в облачной консоли.

Нажмите на ссылку, чтобы перейти в консоль специалиста (работника). Она будет выглядеть примерно так: https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx .

Должна открыться консоль пользователя, в которой отобразится ваша новая задача.

2. Наведите курсор на строку, содержащую "Встреча с 4m" , и нажмите значок редактирования (карандаш).
3. Измените значение, чтобы текст стал «Встреча с Адамом» . Возможно, вам придётся прокрутить текст вниз, чтобы увидеть новый текст.
4. Нажмите «Применить» .
5. Нажмите кнопку «Подтвердить» (зеленая галочка) для элемента ниже.
6. Для остальных выделенных объектов нажмите значок «Подтвердить» .
7. Нажмите «Отправить» . Задача проверки удалена из вашей очереди обработки меток.

7. Просмотр выполненных заданий

1. Вернитесь в консоль менеджера.
2. Нажмите «Задачи» и выберите «Выполняется».
3. Специалисты Click.
4. Выберите свой адрес электронной почты.
5. Нажмите «Управление назначением» .
6. Выберите специалиста по обработке расходов P1 из Select specialists working on specific tasks и Select tasks . Нажмите «Применить» для каждого выбранного специалиста. В контекстном меню для назначенного вам специалиста по обработке расходов P1 выберите «Просмотреть специалистов».

После того, как задача по разметке будет отправлена ​​пользователем, количество выполненных задач и общее затраченное время будут обновлены, но отображение данных в этом разделе может занять несколько минут.

7. Закройте всплывающее окно со списком специалистов и перейдите на вкладку «Специалисты» .
8. Щелкните контекстное меню рядом с вашим именем пользователя и выберите «Просмотреть задачи» .

В этом представлении отображается список задач для пользователя, номера их выполнения и затраченное время, как показано ниже:

8. Поздравляем!

Поздравляем, вы успешно использовали функцию «человек в цикле» в Document AI для настройки ручной проверки документов, обрабатываемых с помощью процессора учета расходов Document AI.

Уборка

Чтобы избежать списания средств с вашего аккаунта Google Cloud за ресурсы, использованные в этом руководстве:

• В консоли Cloud перейдите на страницу «Управление ресурсами» .
• В списке проектов выберите свой проект и нажмите «Удалить».
• В диалоговом окне введите идентификатор проекта, а затем нажмите «Завершить», чтобы удалить проект.

Узнать больше

Продолжите изучение Document AI с помощью этих дополнительных практических занятий.

• Управление обработчиками документов с помощью ИИ на Python

Ресурсы

• Будущее документов — плейлист на YouTube
• Документация по искусственному интеллекту
• Библиотека клиента Document AI Python
• Примеры документов, созданных с помощью ИИ.

Лицензия

Данная работа распространяется под лицензией Creative Commons Attribution 2.0 Generic.