سند هوش مصنوعی: انسان در حلقه

1. مقدمه

Document AI API راه حلی برای درک اسناد است که داده های بدون ساختار مانند اسناد، ایمیل ها و غیره را می گیرد و درک، تجزیه و تحلیل و مصرف داده ها را آسان تر می کند.

با بررسی انسانی می‌توانید با اطمینان از بازبینی انسانی، به دقت پردازش اسناد بالاتری دست پیدا کنید. بررسی انسانی می‌تواند دقت را افزایش دهد و به کسب‌وکارها کمک می‌کند پیش‌بینی‌ها را با استفاده از ابزارهای هدفمند برای فعال کردن این بررسی‌ها ارزیابی کنند. در این آزمایشگاه، شما یک پردازنده هزینه را با استفاده از بازبینی انسانی پیکربندی و آزمایش خواهید کرد تا با استفاده از ابزارهای مدیریت و پیکربندی انسان در حلقه، نتایج را از پردازنده تأیید کنید.

توجه: رابط کاربری کنسول ممکن است در طول زمان تغییر کند، بنابراین محیط شما ممکن است کمی متفاوت به نظر برسد. اگر مشکلی در این آزمایشگاه یافتید، لطفاً آن را گزارش کنید .

پیش نیازها

این کد لبه بر محتوای ارائه شده در سایر Codelab های هوش مصنوعی سند ساخته شده است.

توصیه می شود قبل از ادامه، Codelabs زیر را تکمیل کنید.

• تشخیص نوری کاراکتر (OCR) با هوش مصنوعی سند (پایتون)
• تجزیه فرم با هوش مصنوعی سند (پایتون)
• پردازنده های تخصصی با Document AI (Python)

چیزی که یاد خواهید گرفت

• بررسی انسانی را برای یک پردازنده پیکربندی کنید.
• یک مجموعه منابع کاربر بررسی انسانی ایجاد کنید.
• یک کار بازبینی انسانی آزمایشی ایجاد کنید.
• یک کار بازبینی انسانی را به یک کاربر اختصاص دهید.
• بررسی انسانی یک سند را کامل کنید.

آنچه شما نیاز دارید

• یک پروژه Google Cloud
• یک مرورگر، مانند کروم یا فایرفاکس
• آشنایی با پایتون 3

2. راه اندازی

این Codelab فرض می کند که شما مراحل تنظیم AI سند فهرست شده در Codelab مقدماتی را تکمیل کرده اید.

لطفا قبل از ادامه مراحل زیر را انجام دهید:

• Cloud Shell را راه اندازی کنید
• APIهای Document AI و Cloud Storage را فعال کنید
• کتابخانه Client Python را نصب کنید

همچنین باید Vertex AI API را فعال کنید.

1. با استفاده از نوار جستجو در بالای کنسول، عبارت Vertex AI API را جستجو کنید، سپس برای استفاده از API در پروژه Google Cloud خود، روی Enable کلیک کنید.
2. از طرف دیگر، API را می توان با استفاده از دستور gcloud زیر فعال کرد.

gcloud services enable aiplatform.googleapis.com

3. یک پردازنده ایجاد کنید

ابتدا باید یک نمونه از Expense Processor برای استفاده در این آزمایشگاه ایجاد کنید.

1. در کنسول، به Document AI Platform Overview بروید
2. روی Create Processor کلیک کنید، به Specialized بروید و Expense Parser را انتخاب کنید.
3. نام codelab-expense-parser را به آن بدهید (یا چیز دیگری که به خاطر خواهید آورد) و نزدیکترین منطقه را در لیست انتخاب کنید.
4. برای ایجاد پردازنده خود روی Create کلیک کنید
5. شناسه پردازنده را کپی کنید. بعدا باید از این در کد خود استفاده کنید.
6. در Cloud Shell، با استفاده از PROJECT_ID-hitl-results به عنوان نام، یک سطل ذخیره سازی ایجاد کنید:

export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs://$PROJECT_ID-hitl-results

7. حساب کاربری خود را به نقش Vertex AI Admin IAM در پروژه آزمایشگاهی خود متصل کنید

export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

4. Human-in-the-loop را پیکربندی کنید

در این کار، بررسی انسانی را برای پردازشگر هزینه ای که قبلا ایجاد کرده اید پیکربندی می کنید.

1. در کنسول، منوی پیمایش را باز کنید و Document AI را انتخاب کنید.
2. روی هوش مصنوعی Human-in-the-Loop کلیک کنید.
3. روی codelab-expense-parser کلیک کنید تا صفحه Human Review برای پردازنده باز شود.
4. روی Configure Human-in-the-Loop کلیک کنید.

5. فیلتر سطح سند را انتخاب کنید.
6. نوار لغزنده آستانه اطمینان % را روی 50% تنظیم کنید.
7. گزینه Specialists را روی Use my own specialists بگذارید.

8. روی کادر کشویی Specialist pool کلیک کنید و NEW SPECIALIS POOL را کلیک کنید.
9. برای نام استخر Codelab HITL Pool در گفتگوی جدید استخر تخصصی وارد کنید.
10. آدرس ایمیل شخصی خود را برای مدیران و متخصصان استخر وارد کنید
11. روی ایجاد استخر کلیک کنید.

چند دقیقه طول می کشد تا تکمیل شود. شما باید یک ایمیل از Vertex AI [e-mail] دریافت کنید.

توجه: اگر مشکلی در مجوز داشتید، روی گزینه retry کلیک کنید. شما باید مجوز Cloud IAM aiplatform.specialistPools.create را داشته باشید که نیاز به نقش roles/aiplatform.admin به حساب کاربری شما در سطح پروژه دارد.

roles/project.owner به تنهایی کافی نیست.

12. چک باکس اختصاص خودکار را بدون علامت بگذارید.
13. روی کادر تأیید در قسمت تأیید هزینه‌ها کلیک کنید.
14. روی Instructions location کلیک کنید و در این مکان ذخیره کپی کنید: - پیشوند gs:// در مسیر وارد نکنید

cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf

توجه: این سند یک کپی از دستورالعمل های ایجاد مجموعه دستورالعمل های بازبین است، نه یک نمونه کار.

15. در مکان نتایج ، روی Browse کلیک کنید و سطل Cloud Storage را که قبلا ایجاد کردید انتخاب کنید.
16. روی انتخاب کلیک کنید.
17. روی Save Configuration کلیک کنید.

کنسول اکنون می گوید Configuring human-in-the-loop و چند دقیقه طول می کشد تا تکمیل شود.

18. وقتی پیکربندی کامل شد، کنسول از شما می خواهد که Human-in-the-loop را فعال کنید.

• برای فعال کردن روی دکمه Switch کلیک کنید.
• سپس در پنجره بازشو روی ENABLE کلیک کنید.

یک نمونه فرم هزینه بارگذاری کنید

1. ما یک فرم نمونه برای استفاده داریم که در Google Cloud Storage ذخیره شده است. می توانید آن را با دکمه یا دستور زیر دانلود کنید:

دانلود cost-claim.pdf

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .

2. پس از فعال کردن Human-in-the-Loop، روی دکمه آپلود سند کلیک کنید و نمونه سندی را که به تازگی دانلود کرده اید جستجو کنید.
3. روی آپلود کلیک کنید و منتظر بمانید تا کامل شود.

5. یک مورد را برای بررسی انسانی اختصاص دهید

1. در این صفحه، باید پیوندهای مربوط به Pool Manager و Specialist Console را مشاهده کنید. این پیوندها همچنین در ایمیلی از Vertex AI [e-mail] نشان داده می‌شوند.
   • آنها باید شبیه https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks باشند
   • روی لینک مربوط به کنسول مدیر کلیک کنید.

2. پس از ورود به کنسول برچسب‌گذاری داده، روی عنوان برگه Tasks کلیک کنید تا صفحه انتساب کار باز شود.
3. روی کادر بررسی Unassigned کلیک کنید. باید ببینید که یک ورودی جدید در مقابل صف وظیفه codelab-expense-parser-P1 فهرست شده است.

4. codelab-expense-parser-P1 را انتخاب کنید.
5. روی Manage Assignment کلیک کنید.
6. ایمیل شخصی خود را در کادر متنی Include specialists by email وارد کنید و سپس آن را از لیست کشویی انتخاب کنید.
7. روی Apply کلیک کنید.

اکنون صفحه نمایش نشان می دهد که این کار به شما محول شده است. ممکن است متوجه شوید که ممکن است چند دقیقه طول بکشد تا انتشار یابد و قابل مشاهده باشد.

8. کاربر جدید را انتخاب کنید و روی نماد منو کلیک کنید.
9. از منوی پاپ آپی که ظاهر می شود، روی Assign to all tasks کلیک کنید.

10. روی Commit changes کلیک کنید.
11. روی Commit کلیک کنید.

6. وظیفه بازبینی انسانی را انجام دهید

1. به صفحه پیکربندی Human-in-the-Loop در Cloud Console برگردید.

برای بازدید از کنسول Specialist (Worker) روی لینک کلیک کنید. این شبیه https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx خواهد بود.

کنسول کارگر باید باز شود و وظیفه جدید شما را فهرست کند.

2. نشانگر را روی مورد خطی که حاوی Meeting with 4m است نگه دارید و روی نماد ویرایش (مداد) کلیک کنید.
3. مقدار را ویرایش کنید تا متن را برای گفتن Meeting with Adam تغییر دهید. برای دیدن متن ممکن است مجبور شوید در کادر متن به پایین اسکرول کنید.
4. روی Apply کلیک کنید.
5. برای مورد زیر روی نماد تأیید (تیک سبز رنگ) کلیک کنید.
6. روی نماد تأیید برای سایر موجودیت های هایلایت شده کلیک کنید.
7. روی ارسال کلیک کنید. وظیفه بازبینی اکنون از صف برچسب‌گذار شما حذف شده است.

7. کارهای تکمیل شده را مشاهده کنید

1. به کنسول مدیر بازگردید.
2. روی Tasks کلیک کرده و در حال انجام را انتخاب کنید
3. روی متخصصین کلیک کنید.
4. آدرس ایمیل خود را انتخاب کنید.
5. روی Manage Assignment کلیک کنید.
6. هزینه-processor-P1 را از Select specialists working on specific tasks و از منوی کشویی Select tasks انتخاب کنید. برای هر انتخاب روی Apply کلیک کنید. در منوی زمینه مربوط به cost-processor-P1 که به شما اختصاص داده شده است، View Specialists را انتخاب کنید

هنگامی که وظیفه برچسب‌گذاری توسط برچسب‌گذار ارسال شد، تعداد کارهای پاسخ‌دهی شده و کل زمان صرف شده به‌روزرسانی می‌شود، اما نمایش داده‌ها در این نمای ممکن است چند دقیقه طول بکشد.

7. پاپ آپ متخصصان را ببندید و تب Specialists را ببینید.
8. روی منوی زمینه برای نام کاربری خود کلیک کنید و View tasks را انتخاب کنید.

این نما لیستی از وظایف کاربر، تعداد تکمیل آنها و مدت زمان صرف شده را مطابق شکل زیر نشان می دهد:

8. تبریک می گویم

تبریک می‌گوییم، شما با موفقیت از Document AI Human-in-the-Loop برای پیکربندی بررسی انسانی برای اسناد پردازش شده با استفاده از پردازشگر هزینه‌های هوش مصنوعی سند استفاده کرده‌اید.

پاکسازی

برای جلوگیری از تحمیل هزینه به حساب Google Cloud خود برای منابع استفاده شده در این آموزش:

• در Cloud Console، به صفحه مدیریت منابع بروید.
• در لیست پروژه، پروژه خود را انتخاب کنید و سپس روی Delete کلیک کنید.
• در گفتگو، ID پروژه را تایپ کنید و سپس بر روی Shut down کلیک کنید تا پروژه حذف شود.

بیشتر بدانید

با این Codelab های بعدی به یادگیری در مورد Document AI ادامه دهید.

• مدیریت پردازشگرهای هوش مصنوعی سند با پایتون

منابع

• آینده اسناد - لیست پخش YouTube
• مستندات هوش مصنوعی
• کتابخانه مشتری پایتون هوش مصنوعی را مستند کنید
• نمونه های AI سند

مجوز

این اثر تحت مجوز Creative Commons Attribution 2.0 Generic مجوز دارد.