การใช้ Document AI Warehouse เพื่อนำเข้า ประมวลผล และค้นหาเอกสาร

1. ภาพรวม

Document AI Warehouse คืออะไร

Document AI Warehouse คือแพลตฟอร์มสำหรับจัดเก็บ ค้นหา จัดระเบียบ และวิเคราะห์เอกสารและข้อมูลเมตาที่มีโครงสร้างของเอกสาร เอกสารอาจมีทั้งข้อมูลที่มีโครงสร้าง เช่น แบบฟอร์มและใบแจ้งหนี้ รวมถึงข้อมูลที่ไม่มีโครงสร้าง เช่น สัญญาและเอกสารงานวิจัย ระบบจะดึงข้อมูลเมตาของเอกสารโดยอัตโนมัติโดยใช้โปรเซสเซอร์ใน Document AI หรือป้อนด้วยตนเองโดยใช้ฟิลด์และแท็ก

ในโค้ดแล็บนี้ คุณจะได้เรียนรู้วิธีนำเข้า ประมวลผล และค้นหาเอกสารโดยใช้อินเทอร์เฟซผู้ใช้ของ Document AI Warehouse เอกสาร PDF ตัวอย่างมีให้สำหรับ Codelab นี้ ซึ่งรวมถึงข้อตกลงการอนุญาตให้ใช้สิทธิ แบบฟอร์มเงินกู้ และใบแจ้งหนี้คำสั่งซื้อ

ข้อกำหนดเบื้องต้น

Codelab นี้สร้างขึ้นจากเนื้อหาที่นำเสนอใน Codelab อื่นๆ ของ Document AI เราขอแนะนำให้อ่านเอกสารประกอบและ Codelab ต่อไปนี้ก่อนดำเนินการต่อ

• เริ่มต้นอย่างรวดเร็ว: ตั้งค่า Document AI API
• ประมวลผลเอกสารโดยใช้ Google Cloud Console
• การจัดการโปรเซสเซอร์ของ Document AI ด้วย Python

สิ่งที่คุณจะได้เรียนรู้

• วิธีเปิดใช้ Document AI Warehouse API
• วิธีกำหนดค่าโปรเซสเซอร์เอกสารใน Document AI Warehouse
• วิธีอัปโหลดและแยกวิเคราะห์ข้อความในเอกสาร PDF ประเภทต่างๆ
• วิธีค้นหาเอกสารและข้อมูลเมตาใน Document AI Warehouse

สิ่งที่คุณต้องมี

• โปรเจ็กต์ Google Cloud
• เบราว์เซอร์ เช่น Chrome หรือ Firefox

2. ดาวน์โหลดเอกสารตัวอย่าง

เอกสาร PDF ตัวอย่างมีให้สำหรับ Codelab นี้ ซึ่งรวมถึงข้อตกลงการอนุญาตให้ใช้สิทธิ แบบฟอร์มเงินกู้ และใบแจ้งหนี้คำสั่งซื้อ คุณดาวน์โหลดเอกสารตัวอย่างต่อไปนี้เพื่อใช้ในโค้ดแล็บนี้ได้

ดาวน์โหลด PDF ตัวอย่างข้อตกลงการอนุญาตให้ใช้สิทธิ

ดาวน์โหลด PDF ตัวอย่างแบบฟอร์มขอสินเชื่อ

ดาวน์โหลดตัวอย่างใบแจ้งหนี้คำสั่งซื้อในรูปแบบ PDF

หรือจะดาวน์โหลดเอกสารตัวอย่างจาก Bucket ของ Google Cloud Storage สาธารณะของเราโดยใช้ gsutil ก็ได้

gsutil cp gs://cloud-samples-data/documentai/codelabs/warehouse/license-agreement.pdf .
gsutil cp gs://cloud-samples-data/documentai/codelabs/warehouse/loan-form.pdf .
gsutil cp gs://cloud-samples-data/documentai/codelabs/warehouse/order-invoice.pdf .

ในขั้นตอนถัดไป คุณจะอัปโหลดเอกสารตัวอย่างเหล่านี้ แยกวิเคราะห์ด้วยโปรแกรมประมวลผลเอกสารต่างๆ และจัดเก็บเอกสารและข้อมูลเมตาที่ได้ใน Document AI Warehouse

3. เปิดใช้ Document AI Warehouse API

คุณต้องเปิดใช้ API ก่อนจึงจะเริ่มใช้คลัง Document AI ได้

การใช้ Cloud Console

1. เปิด Google Cloud Console ในเบราว์เซอร์
2. ในคอนโซล Google Cloud ให้ไปที่คลัง API เพื่อเรียกดู API และบริการที่เปิดใช้ได้
3. ใช้แถบค้นหาที่ด้านบนของหน้าคลัง API เพื่อค้นหา Document AI Warehouse จากนั้นคลิกบริการที่ได้

   หากไม่เห็น Document AI Warehouse ในรายการ API และบริการที่ได้ คุณสามารถไปที่ลิงก์โดยตรงไปยังหน้า API สำหรับ Document AI Warehouse

4. คลิกปุ่มเปิดใช้เพื่อเปิดใช้ Document AI Warehouse API ในโปรเจ็กต์ Google Cloud

ทางเลือก: การใช้ gcloud CLI

หรือจะเปิดใช้ API โดยใช้gcloudคำสั่งต่อไปนี้ก็ได้

gcloud services enable contentwarehouse.googleapis.com

หากเปิดใช้ API สำเร็จ คุณจะเห็นข้อความที่คล้ายกับข้อความต่อไปนี้

Operation "operations/..." finished successfully.

ตอนนี้คุณพร้อมที่จะใช้ Document AI Warehouse แล้ว

4. ดูคอนโซล Document AI Warehouse

ในเบราว์เซอร์ ให้ไปที่คอนโซล Document AI Warehouse ที่ https://documentwarehouse.cloud.google.com (ซึ่งอยู่นอกคอนโซล Google Cloud) คุณจะต้องใช้คอนโซล Document AI Warehouse พร้อมกับโปรเจ็กต์ Google Cloud เพื่อทำขั้นตอนที่เหลือในโค้ดแล็บนี้เพื่ออัปโหลด ประมวลผล และค้นหาเอกสาร

หากใช้ Document AI Warehouse เป็นครั้งแรก โปรดดูข้อมูลเพิ่มเติมเกี่ยวกับการกำหนดค่าโปรเจ็กต์และการตั้งค่าตามความต้องการของคุณในเอกสารประกอบของ Document AI Warehouse

5. สร้างสคีมาเอกสาร

สคีมาเอกสารจะกำหนดประเภทเอกสารและฟิลด์สำหรับเอกสารที่คุณจัดเก็บไว้ใน Document AI Warehouse คุณจะต้องสร้างสคีมาก่อนอัปโหลดเอกสารใหม่

1. จากคอนโซล Document AI Warehouse ให้คลิกปุ่มผู้ดูแลระบบที่มุมขวาบนของหน้า
2. คลิกรายการสคีมาในแถบนำทางด้านซ้าย แล้วคลิกปุ่ม + เพิ่มใหม่
3. ป้อนชื่อสำหรับสคีมา เช่น Documents and Forms และตรวจสอบว่าได้เลือกเอกสารเป็นประเภทสคีมาแล้ว จากนั้นคลิกปุ่มถัดไปเพื่อดำเนินการต่อ
4. คุณสามารถปล่อยให้คำจำกัดความสคีมา JSON เริ่มต้นเป็นไปตามค่าเริ่มต้น ซึ่งควรปรากฏดังนี้

   {
     "display_name": "Documents and Forms",
     "property_definitions": [],
     "document_is_folder": false,
     "description": ""
   }
   

5. จากนั้นคลิกปุ่มเสร็จสิ้นเพื่อสร้างสคีมาเอกสารให้เสร็จสมบูรณ์

เมื่อทำตามขั้นตอนเหล่านี้เสร็จสมบูรณ์แล้ว คุณควรเห็นข้อความว่าระบบได้สร้างสคีมาเอกสารแล้ว คุณคลิกปุ่มดูสคีมาเอกสาร แล้วคลิกแท็บ JSON เพื่อยืนยันสคีมา ซึ่งควรมีลักษณะคล้ายกับตัวอย่างต่อไปนี้

6. สร้างโปรแกรมประมวลผลเอกสาร

หากคุณใช้โปรเซสเซอร์ใน Document AI เป็นครั้งแรก เราขอแนะนำให้คุณดูการฝึกอบรมและบทแนะนำสำหรับ Document AI เพื่อทำความคุ้นเคยกับการสร้างและการใช้โปรเซสเซอร์เอกสาร

ในขั้นตอนนี้ คุณจะสร้างโปรแกรมประมวลผลเอกสารที่ใช้ทำการค้นหาแบบเต็มข้อความในเอกสารประเภทต่างๆ ใน Document AI Warehouse ได้

1. ในคอนโซล Google Cloud ให้ไปที่หน้าภาพรวมของแพลตฟอร์ม Document AI
2. คลิกสำรวจโปรเซสเซอร์ แล้วเลือก OCR ของเอกสารเป็นประเภทโปรเซสเซอร์ที่จะสร้าง
3. ระบุชื่อโปรแกรมประมวลผลเอกสาร เช่น ocr และภูมิภาคที่ต้องการ จากนั้นคลิกสร้างเพื่อสร้างโปรเซสเซอร์
4. ในหน้ารายละเอียดโปรเซสเซอร์ ให้คัดลอกรหัสโปรเซสเซอร์ ซึ่งเราจะใช้ในภายหลังเพื่อกำหนดค่าโปรเซสเซอร์ใน Document AI Warehouse

ทำซ้ำขั้นตอนเหล่านี้ แล้วเลือก Form Parser เป็นประเภทโปรแกรมประมวลผลเอกสารเพื่อสร้างและระบุ form เป็นชื่อโปรแกรมประมวลผล

ทำขั้นตอนเหล่านี้ซ้ำและเลือก Invoice Parser เป็นประเภทของโปรแกรมประมวลผลเอกสารเพื่อสร้างและระบุ invoice เป็นชื่อโปรแกรมประมวลผล

เมื่อทำตามขั้นตอนเหล่านี้เสร็จสมบูรณ์แล้ว คุณควรเห็นรายการโปรแกรมประมวลผลเอกสารที่มีลักษณะคล้ายกับรายการต่อไปนี้

7. กำหนดค่าโปรแกรมประมวลผลเอกสาร

ในขั้นตอนนี้ คุณจะกำหนดค่าโปรเซสเซอร์เอกสารใน Document AI Warehouse โดยอ้างอิงถึงโปรเซสเซอร์ที่คุณสร้างไว้ในขั้นตอนก่อนหน้า

1. จากคอนโซล Document AI Warehouse ให้คลิกปุ่มผู้ดูแลระบบในแถบเครื่องมือด้านบน
2. คลิกรายการ Doc AI Processors ในแถบนำทางด้านซ้าย แล้วคลิกปุ่ม + เพิ่มใหม่
3. คลิกปุ่ม + เพิ่มผู้ประมวลผลใหม่ จากนั้นระบุชื่อและรหัสผู้ประมวลผลจากขั้นตอนก่อนหน้า
4. คลิกปุ่มบันทึกเพื่อบันทึกการเปลี่ยนแปลง

ทำตามขั้นตอนเหล่านี้ซ้ำเพื่อเพิ่มโปรเซสเซอร์อีก 2 รายลงในการกำหนดค่า Document AI Warehouse โดยใช้ปุ่ม + เพิ่มโปรเซสเซอร์ใหม่ ซึ่งรวมถึงเครื่องมือแยกวิเคราะห์แบบฟอร์มและเครื่องมือแยกวิเคราะห์ใบแจ้งหนี้ โปรดตรวจสอบว่าคุณได้เพิ่มโปรเซสเซอร์อีก 2 รายการภายใต้รหัสสคีมาเอกสารเดียวกันโดยใช้ปุ่ม + เพิ่มโปรเซสเซอร์ใหม่ แทนที่จะเพิ่มสคีมาอื่นโดยใช้ปุ่ม + เพิ่มใหม่

เมื่อทำตามขั้นตอนเหล่านี้เสร็จสมบูรณ์แล้ว คุณควรเห็นรายการโปรแกรมประมวลผลเอกสารที่กำหนดค่าไว้ซึ่งมีลักษณะคล้ายกับรายการต่อไปนี้

8. อัปโหลดและประมวลผลเอกสารตัวอย่าง

เมื่อกำหนดสคีมาและกำหนดค่าโปรเซสเซอร์สำหรับเอกสารแล้ว คุณจะอัปโหลดเอกสารไปยังคลังข้อมูล Document AI ได้

1. กลับไปที่คอนโซล Document AI Warehouse แล้วคลิกปุ่ม +เพิ่มใหม่ในแถบนำทางด้านซ้าย จากนั้นเลือกตัวเลือกเพื่ออัปโหลดเอกสารใหม่
2. ลากเอกสาร license-agreement.pdf จากเครื่องไปยังวิดเจ็ตการอัปโหลด หรือเรียกดูและเลือกเอกสารตัวอย่างที่คุณดาวน์โหลดมา จากนั้นคลิกปุ่มถัดไปเพื่อดำเนินการต่อ
3. สำหรับสคีมาเอกสาร ให้เลือกชื่อสคีมาที่คุณสร้างไว้ก่อนหน้านี้ เช่น เอกสารและแบบฟอร์ม สำหรับรหัสโปรเซสเซอร์ Doc AI ให้เลือกโปรเซสเซอร์เอกสาร OCR ที่คุณกำหนดค่าไว้ในขั้นตอนก่อนหน้า
4. สำหรับชื่อที่แสดง คุณจะใช้ชื่อเริ่มต้น (เช่น ชื่อไฟล์) หรือใช้ชื่อเอกสารที่กำหนดเองก็ได้
5. คลิกปุ่มสร้างเพื่ออัปโหลดและประมวลผลเอกสาร

กลับไปที่คอนโซล Document AI Warehouse แล้วทำตามขั้นตอนเหล่านี้อีกครั้งกับเอกสารตัวอย่าง loan-form.pdf เลือกformโปรเซสเซอร์เอกสารที่คุณกำหนดค่าไว้ก่อนหน้านี้

กลับไปที่คอนโซล Document AI Warehouse แล้วทำขั้นตอนเหล่านี้ซ้ำกับเอกสารตัวอย่าง invoice-sample.pdf เลือกinvoiceโปรเซสเซอร์เอกสารที่คุณกำหนดค่าไว้ก่อนหน้านี้

เมื่อทำตามขั้นตอนเหล่านี้เสร็จสมบูรณ์แล้ว หากกลับไปที่คอนโซล Document AI Warehouse คุณควรเห็นรายการเอกสารที่ประมวลผลแล้วซึ่งมีลักษณะคล้ายกับรายการต่อไปนี้

9. ค้นหาและสำรวจเอกสาร

เมื่ออัปโหลดและประมวลผลเอกสารไปยัง Document AI Warehouse แล้ว คุณจะค้นหาข้อความแบบเต็มในเอกสารได้

จากคอนโซล Document AI Warehouse ให้ป้อนคำค้นหาที่ปรากฏในเอกสารตัวอย่าง เช่น agreement แล้วกดปุ่ม Enter คุณลองใช้คำค้นหาอื่นๆ เช่น mortgage และ monitor เพื่อดูผลลัพธ์สำหรับเอกสารตัวอย่างต่างๆ ที่คุณอัปโหลดได้

ในผลลัพธ์ คุณจะเห็นเอกสารทั้งหมดที่มีคำค้นหานั้น พร้อมกับข้อมูลสรุปของข้อความในเอกสารที่มีการไฮไลต์คำค้นหา

คลิกชื่อเอกสารเพื่อดู

คลิกปุ่มเปิด/ปิดมุมมอง AI เพื่อดูเอกสารพร้อมกับช่องที่ตรวจพบและข้อมูลที่เกี่ยวข้อง

10. ขอแสดงความยินดี

คุณอัปโหลด ประมวลผล และทำการค้นหาข้อความแบบเต็มในเอกสารด้วย Document AI Warehouse และโดยใช้โปรเซสเซอร์ใน Document AI ได้สำเร็จแล้ว เราขอแนะนำให้คุณทดลองใช้เอกสารอื่นๆ และสำรวจโปรเซสเซอร์อื่นๆ ที่มีในแพลตฟอร์ม

ล้าง

คุณสามารถล้างข้อมูลต่อไปนี้เพื่อหลีกเลี่ยงการเรียกเก็บเงินจากบัญชี Google Cloud สำหรับทรัพยากรที่ใช้ในบทแนะนำนี้

• ไปที่หน้าคอนโซลคลังเอกสาร แล้วลบเอกสารตัวอย่างทั้งหมดที่คุณอัปโหลด
• ในคอนโซล Google Cloud ให้ไปที่หน้าโปรเซสเซอร์ Document AI แล้วลบโปรเซสเซอร์ตัวอย่างที่คุณสร้าง
• ในคอนโซล Google Cloud ให้ไปที่หน้า API และบริการ แล้วปิดใช้ API ของ Document AI Warehouse

ดูข้อมูลเพิ่มเติม

เรียนรู้เพิ่มเติมเกี่ยวกับ Document AI ด้วย Codelab อื่นๆ เหล่านี้

• การรู้จำอักขระด้วยภาพด้วย Document AI
• การแยกวิเคราะห์แบบฟอร์มด้วย Document AI (Python)
• โปรเซสเซอร์เฉพาะทางด้วย Document AI (Python)
• การจัดการโปรเซสเซอร์ของ Document AI ด้วย Python

แหล่งข้อมูล

• เอกสารประกอบเกี่ยวกับ Document AI Warehouse
• อนาคตของเอกสาร - เพลย์ลิสต์ YouTube
• ที่เก็บตัวอย่าง Document AI

ใบอนุญาต

ผลงานนี้ได้รับอนุญาตภายใต้สัญญาอนุญาตครีเอทีฟคอมมอนส์สำหรับยอมรับสิทธิของผู้สร้าง (Creative Commons Attribution License) 2.0 แบบทั่วไป