Document AI: אדם במרכז

1. מבוא

‫Document AI API הוא פתרון להבנת מסמכים שמקבל נתונים לא מובנים, כמו מסמכים, אימיילים וכו', והופך את הנתונים לקלים יותר להבנה, לניתוח ולשימוש.

בדיקה אנושית מאפשרת להשיג רמת דיוק גבוהה יותר בעיבוד מסמכים, עם הבטחה לבדיקה אנושית. בדיקה אנושית יכולה לשפר את הדיוק ולעזור לעסקים להעריך תחזיות באמצעות כלים ייעודיים שמאפשרים את הבדיקות האלה. בשיעור ה-Lab הזה תגדירו ותבדקו מעבד הוצאות באמצעות בדיקה אנושית כדי לאמת את התוצאות מהמעבד באמצעות כלי ההגדרה והניהול של האדם שבתהליך.

הערה: ממשק המשתמש של Console עשוי להשתנות עם הזמן, ולכן יכול להיות שהסביבה שלכם תיראה קצת שונה. אם נתקלתם בבעיות במעבדה הזו, אתם מוזמנים לדווח עליהן.

דרישות מוקדמות

ה-Codelab הזה מבוסס על תוכן שמוצג ב-Codelabs אחרים של Document AI.

מומלץ להשלים את ה-Codelabs הבאים לפני שממשיכים.

• זיהוי תווים אופטי (OCR) באמצעות Document AI‏ (Python)
• ניתוח טפסים באמצעות Document AI‏ (Python)
• מעבדים ייעודיים עם Document AI‏ (Python)

מה תלמדו

• הגדרת בדיקה אנושית למעבד.
• יוצרים מאגר משאבים של משתמשים לבדיקה אנושית.
• יוצרים משימה לדוגמה לבדיקה אנושית.
• הקצאת משימת בדיקה אנושית למשתמש.
• השלמת בדיקה אנושית של מסמך.

מה תצטרכו

• פרויקט ב-Google Cloud
• דפדפן, כמו Chrome או Firefox
• ידע ב-Python 3

2. תהליך ההגדרה

ב-Codelab הזה מניחים שהשלמתם את שלבי ההגדרה של Document AI שמפורטים ב-Codelab המבואי.

לפני שממשיכים, צריך לבצע את הפעולות הבאות:

• מפעילים את Cloud Shell
• הפעלת ממשקי ה-API של Document AI ו-Cloud Storage
• התקנת ספריית הלקוח של Python

תצטרכו גם להפעיל את Vertex AI API.

1. בסרגל החיפוש בחלק העליון של המסוף, מחפשים את Vertex AI API ולוחצים על Enable כדי להשתמש ב-API בפרויקט בענן של Google.
2. לחלופין, אפשר להפעיל את ה-API באמצעות הפקודה gcloud הבאה.

gcloud services enable aiplatform.googleapis.com

3. יצירת מעבד

כדי להשתמש במעבד ההוצאות במעבדה הזו, צריך קודם ליצור מופע שלו.

1. במסוף, עוברים אל Document AI Platform Overview.
2. לוחצים על Create Processor (יצירת מעבד), גוללים למטה אל Specialized (ייעודי) ובוחרים באפשרות Expense Parser (ניתוח הוצאות).
3. נותנים לו את השם codelab-expense-parser (או שם אחר שתזכרו) ובוחרים את האזור הכי קרוב ברשימה.
4. לוחצים על יצירה כדי ליצור את המעבד.
5. מעתיקים את מזהה המעבד. תצטרכו להשתמש בערך הזה בקוד בהמשך.
6. ב-Cloud Shell, יוצרים קטגוריית אחסון עם השם PROJECT_ID-hitl-results:

export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs://$PROJECT_ID-hitl-results

7. מקשרים את חשבון המשתמש לתפקיד Vertex AI Admin IAM בפרויקט המעבדה

export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

4. הגדרת האדם שבתהליך

במשימה הזו תגדירו בדיקה אנושית למעבד ההוצאות שיצרתם קודם.

1. במסוף, פותחים את תפריט הניווט ובוחרים באפשרות Document AI.
2. לוחצים על AI עם האדם שבתהליך.
3. לוחצים על codelab-expense-parser כדי לפתוח את הדף 'בדיקה אנושית' של המעבד.
4. לוחצים על Configure Human-in-the-Loop (הגדרת האדם שבתהליך).

5. בוחרים באפשרות מסנן ברמת המסמך.
6. מגדירים את פס ההזזה סף הביטחון % ל-50%.
7. משאירים את האפשרות מומחים על השתמש במומחים שלי.

8. לוחצים על התיבה הנפתחת מאגר מומחים ואז על מאגר מומחים חדש.
9. בתיבת הדו-שיח New specialist pool (מאגר חדש של מומחים), בשדה Pool name (שם המאגר), מזינים Codelab HITL Pool.
10. מזינים את כתובת האימייל האישית בשדות מנהלי מאגרים ומומחים.
11. לוחצים על יצירת מאגר.

הפעולה תימשך כמה דקות. צריך לקבל אימייל מ-Vertex AI [e-mail].

הערה: אם נתקלתם בבעיות שקשורות להרשאות, לחצו על ניסיון חוזר. צריכה להיות לכם הרשאת Cloud IAM‏ aiplatform.specialistPools.create, שדורשת את התפקיד roles/aiplatform.admin שמוקצה לחשבון המשתמש שלכם ברמת הפרויקט.

‫roles/project.owner לא מספיק בפני עצמו.

12. משאירים את תיבת הסימון הקצאה אוטומטית לא מסומנת.
13. מסמנים את תיבת הסימון בקטע אישור חיובים.
14. לוחצים על מיקום ההוראות ומעתיקים את מיקום האחסון הזה: – לא כוללים את הקידומת gs:// בנתיב

cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf

הערה: המסמך הזה הוא עותק של ההנחיות ליצירת ערכות הוראות לבוחנים, ולא דוגמה מעשית.

15. בקטע Results location, לוחצים על Browse ובוחרים את הקטגוריה של Cloud Storage שיצרתם קודם.
16. לוחצים על בחירה.
17. לוחצים על שמירת ההגדרה.

במסוף יוצג עכשיו הכיתוב Configuring human-in-the-loop (הגדרת האדם שבתהליך), והתהליך יימשך כמה דקות.

18. בסיום ההגדרה, תופיע במסוף בקשה להפעלת האדם שבתהליך.

• לוחצים על לחצן ההפעלה כדי להפעיל.
• לאחר מכן לוחצים על הפעלה בתיבת הדו-שיח הקופצת.

העלאה של טופס הוצאות לדוגמה

1. יש לנו טופס לדוגמה שאפשר להשתמש בו, והוא מאוחסן ב-Google Cloud Storage. אפשר להוריד אותו באמצעות הלחצן או הפקודה שלמטה:

הורדת קובץ expense-claim.pdf

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .

2. אחרי שמפעילים את התכונה האדם שבתהליך, לוחצים על הלחצן העלאת מסמך ומחפשים את המסמך לדוגמה שהורדתם.
3. לוחצים על העלאה וממתינים לסיום ההעלאה.

5. הקצאת פריט לבדיקה אנושית

1. בדף הזה אמורים להופיע קישורים למסופי Pool Manager ו-Specialist. הקישורים האלה יופיעו גם באימייל מ-Vertex AI [e-mail].
   • הן צריכות להיראות כך: https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks
   • לוחצים על הקישור למסוף ניהול.

2. אחרי שנכנסים למסוף Data Labeling, לוחצים על שם הכרטיסייה Tasks (משימות) כדי לפתוח את דף הקצאת המשימות.
3. לוחצים על תיבת הסימון לא הוקצה. אפשר לראות שנוספה רשומה חדשה לתור המשימות codelab-expense-parser-P1.

4. בוחרים באפשרות codelab-expense-parser-P1.
5. לוחצים על Manage Assignment.
6. מזינים את כתובת האימייל האישית בתיבת הטקסט Include specialists by email (צירוף מומחים באימייל) ובוחרים אותה מהרשימה הנפתחת.
7. לוחצים על אישור.

עכשיו רואים שהמשימה הוקצתה לכם. יכול להיות שיעברו כמה דקות עד שהשינויים יופצו ויוצגו.

8. בוחרים את המשתמש החדש ולוחצים על סמל התפריט.
9. בתפריט הקופץ שמופיע, לוחצים על הקצאה לכל המשימות.

10. לוחצים על אישור השינויים.
11. לוחצים על Commit (ביצוע).

6. ביצוע משימת בדיקה אנושית

1. חוזרים לדף ההגדרה של האדם שבתהליך ב-Cloud Console.

לוחצים על הקישור כדי לעבור למסוף של המומחה (העובד). היא תיראה כך: https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx.

מסוף העובד אמור להיפתח ולהציג את המשימה החדשה.

2. מעבירים את העכבר מעל פריט הקו שמכיל את הפגישה עם 4m ולוחצים על סמל העריכה (עיפרון).
3. עורכים את הערך כדי לשנות את הטקסט לפגישה עם אדם. יכול להיות שתצטרכו לגלול למטה בתיבת הטקסט כדי לראות את הטקסט.
4. לוחצים על אישור.
5. לוחצים על סמל האישור (וי ירוק) של הפריט שמופיע למטה.
6. לוחצים על סמל האישור ליד שאר הישויות המודגשות.
7. לוחצים על שליחה. המשימה של סקירת התוצאות הוסרה מהתור שלכם לסימון תוויות.

7. הצגת משימות שהושלמו

1. חוזרים למסוף הניהול.
2. לוחצים על משימות ובוחרים באפשרות מתמשך.
3. לוחצים על מומחים.
4. בוחרים את כתובת האימייל.
5. לוחצים על Manage Assignment.
6. בתפריטים הנפתחים Select specialists working on specific tasks ו-Select tasks, בוחרים באפשרות expense-processor-P1. לוחצים על אישור לכל בחירה. בתפריט ההקשר של expense-processor-P1 שהוקצה לכם, בוחרים באפשרות הצגת מומחים.

אחרי שהמתייג שולח את משימת התיוג, מספר המשימות שהושלמו והזמן הכולל שנדרש מתעדכנים, אבל יכול לעבור כמה דקות עד שהנתונים יופיעו בתצוגה הזו.

7. סוגרים את החלון הקופץ של המומחים ורואים את הכרטיסייה מומחים.
8. לוחצים על תפריט ההקשר של שם המשתמש ובוחרים באפשרות הצגת המשימות.

בתצוגה הזו מוצגת רשימת המשימות של המשתמש, מספר ההשלמות שלהן ומשך הזמן שנדרש להשלמתן, כמו שמוצג בהמשך:

8. מזל טוב

ברכות, השלמת בהצלחה את התהליך של שימוש ב-Document AI האדם שבתהליך כדי להגדיר בדיקה אנושית של מסמכים שעברו עיבוד באמצעות מעבד הוצאות של Document AI.

ניקוי נתונים

כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה:

• במסוף Cloud, נכנסים לדף Manage resources.
• ברשימת הפרויקטים, בוחרים את הפרויקט ולוחצים על Delete (מחיקה).
• כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

מידע נוסף

כדי להמשיך ללמוד על Document AI, אפשר לעבור לשיעורי ה-Codelab הבאים.

• ניהול מעבדים של Document AI באמצעות Python

מקורות מידע

• העתיד של מסמכים – פלייליסט ב-YouTube
• מסמכי תיעוד בנושא Document AI
• ספריית לקוח Python של Document AI
• דוגמאות לשימוש ב-Document AI

רישיון

עבודה זו מורשית תחת רישיון Creative Commons שמותנה בייחוס 2.0 כללי.