AI ของเอกสาร: มนุษย์ในวงการ

1. บทนำ

Document AI API เป็นโซลูชันการทำความเข้าใจเอกสารซึ่งนำข้อมูลที่ไม่มีโครงสร้าง เช่น เอกสาร อีเมล และอื่นๆ รวมถึงช่วยให้เข้าใจ วิเคราะห์ และใช้ข้อมูลได้ง่ายขึ้น

การตรวจสอบจากเจ้าหน้าที่จะช่วยให้การประมวลผลเอกสารมีความแม่นยำสูงขึ้นด้วยการรับประกันการตรวจสอบจากเจ้าหน้าที่ การตรวจสอบจากเจ้าหน้าที่จะช่วยเพิ่มความแม่นยำและช่วยให้ธุรกิจประเมินการคาดการณ์โดยใช้เครื่องมือที่สร้างขึ้นมาโดยเฉพาะเพื่อให้รีวิวเหล่านั้นได้ ในห้องทดลองนี้ คุณจะกำหนดค่าและทดสอบผู้ประมวลผลค่าใช้จ่ายโดยใช้การตรวจสอบจากเจ้าหน้าที่เพื่อตรวจสอบผลลัพธ์ที่ได้จากผู้ประมวลผลข้อมูล โดยใช้เครื่องมือการกำหนดค่าและการจัดการที่เกี่ยวข้อง

ข้อกำหนดเบื้องต้น

Codelab นี้สร้างขึ้นจากเนื้อหาที่แสดงใน Codelab อื่นๆ สำหรับ Document AI

เราขอแนะนำให้คุณทำ Codelab ต่อไปนี้ให้เสร็จก่อนดำเนินการต่อ

สิ่งที่คุณจะได้เรียนรู้

  • กำหนดค่าการตรวจสอบจากเจ้าหน้าที่สำหรับผู้ประมวลผลข้อมูล
  • สร้างพูลทรัพยากรผู้ใช้สำหรับการตรวจสอบจากเจ้าหน้าที่
  • สร้างงานการตรวจสอบจากเจ้าหน้าที่
  • มอบหมายงานการตรวจสอบจากเจ้าหน้าที่ให้กับผู้ใช้
  • ตรวจสอบเอกสารจากเจ้าหน้าที่ให้เสร็จสิ้น

สิ่งที่คุณต้องมี

  • โปรเจ็กต์ Google Cloud
  • เบราว์เซอร์ เช่น Chrome หรือ Firefox
  • ความรู้เกี่ยวกับ Python 3

2. การตั้งค่า

Codelab นี้จะจะถือว่าคุณได้ทำตามขั้นตอนการตั้งค่า Document AI ใน Codelab เบื้องต้นเรียบร้อยแล้ว

โปรดทำตามขั้นตอนต่อไปนี้ก่อนดำเนินการต่อ

โดยคุณจะต้องเปิดใช้ Vertex AI API ด้วย

  1. ค้นหา "Vertex AI API" โดยใช้แถบค้นหาที่ด้านบนของคอนโซล แล้วคลิกเปิดใช้เพื่อใช้ API ในโปรเจ็กต์ Google Cloud
  2. หรือเปิดใช้ API โดยใช้คำสั่ง gcloud ต่อไปนี้ก็ได้
gcloud services enable aiplatform.googleapis.com

3. สร้างโปรเซสเซอร์

คุณต้องสร้างอินสแตนซ์ของผู้ประมวลผลค่าใช้จ่ายเพื่อใช้สำหรับห้องทดลองนี้ก่อน

  1. ในคอนโซล ให้ไปที่ภาพรวมของ Document AI Platform
  2. คลิกสร้างผู้ประมวลผลข้อมูล เลื่อนลงไปที่เฉพาะทางแล้วเลือกโปรแกรมแยกวิเคราะห์ค่าใช้จ่าย
  3. ตั้งชื่ออุปกรณ์เป็น codelab-expense-parser (หรือชื่ออื่นที่คุณจำได้) แล้วเลือกภูมิภาคที่ใกล้เคียงที่สุดในรายการ
  4. คลิกสร้างเพื่อสร้างโปรเซสเซอร์
  5. คัดลอกรหัสผู้ประมวลผลข้อมูล คุณต้องใช้สิ่งนี้ในรหัสในภายหลัง
  6. ใน Cloud Shell ให้สร้างที่เก็บข้อมูลของพื้นที่เก็บข้อมูลโดยใช้ PROJECT_ID-hitl-results เป็นชื่อ:
export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs://$PROJECT_ID-hitl-results
  1. เชื่อมโยงบัญชีผู้ใช้ของคุณกับบทบาท IAM ผู้ดูแลระบบ Vertex AI ในโปรเจ็กต์ห้องทดลอง
export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

4. กำหนดค่าโหมด Human-in-the-loop

ในงานนี้ คุณจะได้กำหนดค่าการตรวจสอบจากเจ้าหน้าที่สำหรับผู้ประมวลผลค่าใช้จ่ายที่สร้างไว้ก่อนหน้านี้

  1. ในคอนโซล ให้เปิดเมนูการนำทางและเลือก Document AI
  2. คลิก AI จากมนุษย์ HITLMenu
  3. คลิก codelab-expense-parser เพื่อเปิดหน้าการตรวจสอบจากเจ้าหน้าที่สำหรับผู้ประมวลผลข้อมูล
  4. คลิกกำหนดค่ามนุษย์วนซ้ำ

ConfigureHITL

  1. เลือกตัวกรองระดับเอกสาร
  2. ตั้งค่าแถบเลื่อน%เกณฑ์ความเชื่อมั่นเป็น 50%
  3. คงตัวเลือกผู้เชี่ยวชาญไว้เป็นใช้ผู้เชี่ยวชาญของฉันเอง

HITLFilters

  1. คลิกในช่องรายการแบบเลื่อนลงของผู้เชี่ยวชาญเฉพาะทาง แล้วคลิกแบบสำรวจพิเศษใหม่
  2. สำหรับชื่อพูล ให้ป้อน Codelab HITL Pool ในกล่องโต้ตอบพูลผู้เชี่ยวชาญใหม่
  3. ป้อนอีเมลส่วนตัวสำหรับผู้จัดการสระว่ายน้ำและผู้เชี่ยวชาญ
  4. คลิกสร้างพูล

HITLSpecialistPool

ซึ่งอาจใช้เวลาดำเนินการสักครู่ คุณควรได้รับอีเมลจาก Vertex AI noreply-vertex@google.com

  1. ไม่ต้องเลือกช่องทำเครื่องหมายการมอบหมายอัตโนมัติ
  2. คลิกช่องทำเครื่องหมายในส่วนยืนยันการเรียกเก็บเงิน
  3. คลิกตำแหน่งของคำสั่ง แล้วคัดลอกในตำแหน่งพื้นที่เก็บข้อมูลนี้ - อย่าใส่คำนำหน้า gs:// ในเส้นทาง
cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf
  1. ในตำแหน่งผลลัพธ์ ให้คลิกเรียกดู แล้วเลือกที่เก็บข้อมูล Cloud Storage ที่คุณสร้างไว้ก่อนหน้านี้
  2. คลิกเลือก
  3. คลิก Save Configuration

ตอนนี้คอนโซลจะมีข้อความการกำหนดค่าการเชื่อมต่อระหว่างบุคคลและจะใช้เวลา 2-3 นาทีในการดำเนินการ

HITLLoading

  1. เมื่อการกำหนดค่าเสร็จสมบูรณ์ คอนโซลจะแจ้งให้คุณเปิดใช้ Human-in-the-loop
  • คลิกปุ่มเปลี่ยนเพื่อเปิดใช้
  • จากนั้นคลิกเปิดใช้ในกล่องโต้ตอบป๊อปอัป

HITLEnable

อัปโหลดตัวอย่างแบบฟอร์มค่าใช้จ่าย

  1. เรามีแบบฟอร์มตัวอย่างที่จะใช้จัดเก็บใน Google Cloud Storage ดาวน์โหลดได้ด้วยปุ่มหรือคำสั่งด้านล่าง

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .
  1. หลังจากเปิดใช้ Human-in-the-loop ให้คลิกปุ่มอัปโหลดเอกสาร และเรียกดูเอกสารตัวอย่างที่คุณเพิ่งดาวน์โหลด
  2. คลิกอัปโหลดและรอให้การอัปโหลดเสร็จสมบูรณ์

5. มอบหมายสินค้าเพื่อรับการตรวจสอบจากเจ้าหน้าที่

  1. ในหน้านี้ คุณจะเห็นลิงก์สำหรับผู้จัดการพูลและคอนโซลผู้เชี่ยวชาญ ลิงก์เหล่านี้จะปรากฏในอีเมลจาก Vertex AI noreply-vertex@google.com ด้วย
    • ควรมีลักษณะดังนี้ https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks
    • คลิกลิงก์สำหรับคอนโซลผู้จัดการ

  1. เมื่ออยู่ในคอนโซลการติดป้ายกำกับข้อมูล ให้คลิกชื่อแท็บงานเพื่อเปิดหน้าการมอบหมายงาน
  2. คลิกช่องทำเครื่องหมายไม่ได้กำหนด คุณควรเห็นว่ารายการใหม่อยู่ในรายการในคิวงาน codelab-expense-parser-P1

รูปภาพ

  1. เลือก codelab-expense-parser-P1
  2. คลิกจัดการงาน
  3. ป้อนอีเมลส่วนตัวของคุณในช่องข้อความรวมผู้เชี่ยวชาญทางอีเมล แล้วเลือกอีเมลจากรายการแบบเลื่อนลง
  4. คลิกใช้

ตอนนี้จอแสดงผลจะแสดงว่ามีการมอบหมายงานให้คุณแล้ว คุณอาจพบว่าการดำเนินการนี้อาจใช้เวลา 2-3 นาทีจึงจะมีผลและปรากฏขึ้น

รูปภาพ

  1. เลือกผู้ใช้ใหม่และคลิกไอคอนเมนู
  2. คลิกมอบหมายงานทั้งหมดจากเมนูป๊อปอัปที่ปรากฏขึ้น

รูปภาพ

  1. คลิกคอมมิตการเปลี่ยนแปลง
  2. คลิกคอมมิต

รูปภาพ

6. ทำงานการตรวจสอบจากเจ้าหน้าที่

  1. กลับไปที่หน้าการกำหนดค่า Human-in-the- Loop ใน Cloud Console

คลิกลิงก์เพื่อไปยังคอนโซลสำหรับผู้เชี่ยวชาญ (ผู้ปฏิบัติงาน) ซึ่งจะมีลักษณะคล้ายกับ https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx

คอนโซลผู้ปฏิบัติงานควรเปิดขึ้นมาและแสดงรายการงานใหม่ของคุณ

รูปภาพ

  1. วางเมาส์เหนือรายการโฆษณาที่มีข้อความการประชุมกับ 4m และคลิกไอคอนแก้ไข (ดินสอ)
  2. แก้ไขค่าเพื่อเปลี่ยนข้อความเป็นพบกับอนันต์ คุณอาจต้องเลื่อนลงในกล่องข้อความเพื่อดูข้อความ
  3. คลิกใช้
  4. คลิกไอคอนยืนยัน (เครื่องหมายถูกสีเขียว) สำหรับรายการด้านล่าง รูปภาพ
  5. คลิกไอคอนยืนยันสำหรับเอนทิตีอื่นๆ ที่ไฮไลต์
  6. คลิกส่ง ระบบนำงานการตรวจสอบออกจากคิวผู้ติดป้ายกำกับแล้ว

7. ดูงานที่เสร็จแล้ว

  1. กลับไปที่คอนโซลผู้จัดการ
  2. คลิก Tasks และเลือกต่อเนื่องรูปภาพ
  3. คลิกผู้เชี่ยวชาญ
  4. เลือกอีเมลของคุณ
  5. คลิกจัดการงาน
  6. เลือก expense-processor-P1 จาก Select specialists working on specific tasks และ Select tasks แบบเลื่อนลง คลิกใช้สำหรับแต่ละตัวเลือก ในเมนูตามบริบทของ expense-processor-P1 ที่คุณได้รับมอบหมาย ให้เลือกดูผู้เชี่ยวชาญ

รูปภาพ

เมื่อผู้ติดป้ายกำกับส่งงานการติดป้ายกำกับแล้ว ระบบจะอัปเดตจำนวนงานที่ตอบและเวลาทั้งหมด แต่ข้อมูลในมุมมองนี้อาจใช้เวลาสักครู่จึงจะปรากฏ

  1. ปิดป๊อปอัปผู้เชี่ยวชาญแล้วดูแท็บผู้เชี่ยวชาญ
  2. คลิกเมนูตามบริบทสำหรับชื่อผู้ใช้ แล้วเลือกดูงาน

มุมมองนี้จะแสดงรายการงานของผู้ใช้ จำนวนงานที่ทำเสร็จแล้ว และระยะเวลาที่ใช้ดังที่แสดงด้านล่าง

รูปภาพ

8. ขอแสดงความยินดี

ขอแสดงความยินดี คุณได้ใช้ Document AI Human-in-the- Loop เพื่อกำหนดค่าการตรวจสอบจากเจ้าหน้าที่สำหรับเอกสารที่ประมวลผลโดยใช้ Document AI เรียบร้อยแล้ว

ล้างข้อมูล

โปรดทำดังนี้เพื่อเลี่ยงไม่ให้เกิดการเรียกเก็บเงินกับบัญชี Google Cloud สำหรับทรัพยากรที่ใช้ในบทแนะนำนี้

  • ใน Cloud Console ให้ไปที่หน้าจัดการทรัพยากร
  • ในรายการโปรเจ็กต์ ให้เลือกโปรเจ็กต์ของคุณ แล้วคลิกลบ
  • ในกล่องโต้ตอบ ให้พิมพ์รหัสโปรเจ็กต์แล้วคลิกปิดเครื่องเพื่อลบโปรเจ็กต์

ดูข้อมูลเพิ่มเติม

ศึกษาเพิ่มเติมเกี่ยวกับ Document AI ต่อไปด้วย Codelab ติดตามผลเหล่านี้

แหล่งข้อมูล

ใบอนุญาต

ผลงานนี้ได้รับอนุญาตภายใต้ใบอนุญาตทั่วไปครีเอทีฟคอมมอนส์แบบระบุแหล่งที่มา 2.0