سند هوش مصنوعی: انسان در حلقه

۱. مقدمه

API هوش مصنوعی اسناد، یک راهکار درک اسناد است که داده‌های بدون ساختار مانند اسناد، ایمیل‌ها و غیره را دریافت کرده و درک، تجزیه و تحلیل و استفاده از داده‌ها را آسان‌تر می‌کند.

با بررسی انسانی، می‌توانید با اطمینان از بررسی انسانی، به دقت بالاتری در پردازش اسناد دست یابید. بررسی انسانی می‌تواند دقت را افزایش دهد و به کسب‌وکارها کمک کند تا پیش‌بینی‌ها را با استفاده از ابزارهای هدفمند برای فعال کردن این بررسی‌ها ارزیابی کنند. در این آزمایشگاه، شما یک پردازنده هزینه را با استفاده از بررسی انسانی پیکربندی و آزمایش خواهید کرد تا نتایج پردازنده را با استفاده از ابزارهای پیکربندی و مدیریت انسانی در حلقه، اعتبارسنجی کنید.

توجه: رابط کاربری کنسول ممکن است به مرور زمان تغییر کند، بنابراین محیط شما ممکن است کمی متفاوت به نظر برسد. اگر در این آزمایشگاه مشکلی پیدا کردید، لطفاً آن را گزارش دهید .

پیش‌نیازها

این آزمایشگاه کد بر اساس محتوای ارائه شده در سایر آزمایشگاه‌های کد هوش مصنوعی اسناد ساخته شده است.

توصیه می‌شود قبل از ادامه، Codelabs زیر را تکمیل کنید.

• تشخیص نوری کاراکتر (OCR) با هوش مصنوعی اسناد (پایتون)
• تجزیه فرم با هوش مصنوعی اسناد (پایتون)
• پردازنده‌های تخصصی با هوش مصنوعی اسناد (پایتون)

آنچه یاد خواهید گرفت

• پیکربندی بررسی انسانی برای یک پردازنده.
• یک منبع از کاربران برای بررسی‌های انسانی ایجاد کنید.
• یک وظیفه بررسی انسانی آزمایشی ایجاد کنید.
• یک وظیفه بررسی انسانی را به یک کاربر اختصاص دهید.
• بررسی انسانی یک سند را تکمیل کنید.

آنچه نیاز دارید

• یک پروژه ابری گوگل
• یک مرورگر، مانند کروم یا فایرفاکس
• آشنایی با پایتون ۳

۲. راه‌اندازی

این آزمایشگاه کد فرض می‌کند که شما مراحل راه‌اندازی هوش مصنوعی سند که در آزمایشگاه کد مقدماتی ذکر شده است را تکمیل کرده‌اید.

لطفا قبل از ادامه مراحل زیر را انجام دهید:

• شروع پوسته ابری
• فعال کردن APIهای هوش مصنوعی اسناد و ذخیره‌سازی ابری
• کتابخانه کلاینت پایتون را نصب کنید

همچنین باید Vertex AI API را فعال کنید.

1. با استفاده از نوار جستجو در بالای کنسول، عبارت "Vertex AI API" را جستجو کنید، سپس برای استفاده از API در پروژه Google Cloud خود، روی فعال کردن (Enable) کلیک کنید.
2. روش دیگر، فعال کردن API با استفاده از دستور gcloud زیر است.

gcloud services enable aiplatform.googleapis.com

۳. یک پردازنده ایجاد کنید

ابتدا باید یک نمونه از پردازنده هزینه (Expense Processor) برای استفاده در این آزمایش ایجاد کنید.

1. در کنسول، به نمای کلی پلتفرم هوش مصنوعی اسناد بروید
2. روی ایجاد پردازنده کلیک کنید، به پایین بروید تا به گزینه Specialized برسید و Expense Parser را انتخاب کنید.
3. نام آن را codelab-expense-parser (یا هر نام دیگری که به خاطر خواهید سپرد) بگذارید و نزدیک‌ترین ناحیه را در لیست انتخاب کنید.
4. برای ایجاد پردازنده خود، روی ایجاد کلیک کنید
5. شناسه پردازنده را کپی کنید. بعداً باید از آن در کد خود استفاده کنید.
6. در Cloud Shell، یک مخزن ذخیره‌سازی با نام PROJECT_ID-hitl-results ایجاد کنید:

export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs://$PROJECT_ID-hitl-results

7. حساب کاربری خود را به نقش Vertex AI Admin IAM در پروژه آزمایشگاهی خود متصل کنید.

export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

۴. پیکربندی انسان در حلقه

در این کار، شما بررسی انسانی را برای پردازشگر هزینه‌ای که قبلاً ایجاد کرده‌اید، پیکربندی خواهید کرد.

1. در کنسول، منوی ناوبری را باز کنید و Document AI را انتخاب کنید.
2. روی هوش مصنوعی انسان در حلقه کلیک کنید.
3. برای باز کردن صفحه بررسی انسانی پردازنده، روی codelab-expense-parser کلیک کنید.
4. روی پیکربندی انسان در حلقه کلیک کنید.

5. فیلتر سطح سند را انتخاب کنید.
6. نوار لغزنده‌ی درصد آستانه‌ی اطمینان را روی ۵۰٪ تنظیم کنید.
7. گزینه‌ی «متخصصان» را روی «استفاده از متخصصان خودم» تنظیم کنید.

8. در کادر کشویی استخر متخصص کلیک کنید و روی «جدیدترین استخر متخصص» کلیک کنید.
9. برای نام استخر، در کادر محاوره‌ای New specialist pool، Codelab HITL Pool وارد کنید.
10. آدرس ایمیل شخصی خود را برای مدیران و متخصصان استخر وارد کنید
11. روی ایجاد استخر کلیک کنید.

تکمیل این کار چند دقیقه طول می‌کشد. شما باید ایمیلی از Vertex AI [e-mail] دریافت کنید.

توجه: اگر مشکلی در دسترسی‌ها داشتید، روی «امتحان مجدد» کلیک کنید. شما باید مجوز aiplatform.specialistPools.create مربوط به Cloud IAM را داشته باشید که مستلزم اختصاص نقش roles/aiplatform.admin به حساب کاربری شما در سطح پروژه است.

roles/project.owner به تنهایی کافی نیست.

12. کادر انتخاب «اختصاص خودکار» را بدون علامت بگذارید.
13. در بخش تأیید هزینه‌ها، روی کادر تأیید کلیک کنید.
14. روی Instructions location کلیک کنید و در این محل ذخیره‌سازی کپی کنید: - پیشوند gs:// را در مسیر وارد نکنید

cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf

توجه: این سند یک کپی از دستورالعمل‌های ایجاد مجموعه دستورالعمل‌های بررسی است، نه یک نمونه‌ی عملی.

15. در قسمت Results location ، روی Browse کلیک کنید و Cloud Storage bucket که قبلاً ایجاد کرده‌اید را انتخاب کنید.
16. روی انتخاب کلیک کنید.
17. روی ذخیره پیکربندی کلیک کنید.

اکنون کنسول عبارت «پیکربندی انسان در حلقه» را نمایش می‌دهد و تکمیل آن چند دقیقه طول خواهد کشید.

18. وقتی پیکربندی کامل شد، کنسول از شما می‌خواهد که گزینه‌ی «فعال کردن انسان در حلقه» را فعال کنید.

• برای فعال کردن، روی دکمه‌ی سوئیچ کلیک کنید.
• سپس در پنجره باز شده روی گزینه ENABLE کلیک کنید.

نمونه فرم هزینه را بارگذاری کنید

1. ما یک فرم نمونه برای استفاده داریم که در فضای ابری گوگل ذخیره شده است. می‌توانید آن را با دکمه یا دستور زیر دانلود کنید:

دانلود .pdf

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .

2. پس از فعال کردن قابلیت «انسان در حلقه»، روی دکمه «بارگذاری سند» کلیک کنید و سند نمونه‌ای را که دانلود کرده‌اید، جستجو کنید.
3. روی آپلود کلیک کنید و منتظر بمانید تا آپلود کامل شود.

۵. یک مورد را برای بررسی انسانی اختصاص دهید

1. در این صفحه، باید پیوندهایی به Pool Manager و Specialist Consoles مشاهده کنید. این پیوندها همچنین در ایمیلی از Vertex AI [e-mail] نمایش داده می‌شوند.
   • آنها باید چیزی شبیه به https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks باشند.
   • روی لینک کنسول مدیریت کلیک کنید.

2. پس از ورود به کنسول برچسب‌گذاری داده‌ها، روی عنوان تب وظایف کلیک کنید تا صفحه انتساب وظیفه باز شود.
3. روی کادر انتخاب «اختصاص داده نشده» کلیک کنید. باید ببینید که یک ورودی جدید در صف وظایف codelab-expense-parser-P1 فهرست شده است.

4. codelab-expense-parser-P1 را انتخاب کنید.
5. روی مدیریت تکلیف کلیک کنید.
6. ایمیل شخصی خود را در کادر متنی «شامل متخصصان از طریق ایمیل» وارد کنید و سپس آن را از لیست کشویی انتخاب کنید.
7. روی اعمال کلیک کنید.

اکنون صفحه نمایش نشان می‌دهد که وظیفه به شما محول شده است. ممکن است متوجه شوید که انتشار و قابل مشاهده شدن این اعلان ممکن است چند دقیقه طول بکشد.

8. کاربر جدید را انتخاب کنید و روی نماد منو کلیک کنید.
9. از منوی پاپ‌آپ ظاهر شده، روی «اختصاص به همه وظایف» کلیک کنید.

10. روی اعمال تغییرات کلیک کنید.
11. روی «تعهد» کلیک کنید.

۶. انجام وظیفه بررسی انسانی

1. به صفحه پیکربندی Human-in-the-Loop در Cloud Console برگردید.

برای بازدید از کنسول متخصص (کارگر) روی لینک کلیک کنید. این کنسول چیزی شبیه به https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx خواهد بود.

کنسول کارگر باید باز شود و وظیفه جدید شما را فهرست کند.

2. ماوس را روی آیتم خطی که شامل «ملاقات با ۴m» است ببرید و روی نماد ویرایش (مداد) کلیک کنید.
3. مقدار را ویرایش کنید تا متن به « ملاقات با آدم» تغییر کند. ممکن است لازم باشد برای دیدن متن، در کادر متن به پایین اسکرول کنید.
4. روی اعمال کلیک کنید.
5. برای مورد زیر، روی نماد تأیید (تیک سبز) کلیک کنید.
6. برای سایر موجودیت‌های هایلایت شده، روی آیکون تأیید کلیک کنید.
7. روی ارسال کلیک کنید. اکنون وظیفه بررسی از صف برچسب‌گذار شما حذف شده است.

۷. مشاهده وظایف انجام شده

1. به کنسول مدیریت برگردید.
2. روی وظایف کلیک کنید و در حال انجام را انتخاب کنید
3. متخصصان کلیک کنید.
4. آدرس ایمیل خود را انتخاب کنید.
5. روی مدیریت تکلیف کلیک کنید.
6. از Select specialists working on specific tasks و « Select tasks گزینه «پردازشگر هزینه-P1» را انتخاب کنید. برای هر انتخاب، روی «اعمال» کلیک کنید. در منوی زمینه برای «پردازشگر هزینه-P1» که به شما اختصاص داده شده است، «مشاهده متخصصان» را انتخاب کنید.

پس از ارسال برچسب‌گذاری توسط برچسب‌گذار، تعداد وظایف پاسخ داده شده و کل زمان صرف شده به‌روزرسانی می‌شود، اما نمایش داده‌ها در این نما ممکن است چند دقیقه طول بکشد.

7. پنجره‌ی بازشو متخصصان را ببندید و به برگه‌ی متخصصان مراجعه کنید.
8. روی منوی زمینه مربوط به نام کاربری خود کلیک کنید و گزینه View tasks را انتخاب کنید.

این نما، فهرست وظایف کاربر، تعداد تکمیل آنها و میزان زمان صرف شده را مطابق شکل زیر نشان می‌دهد:

۸. تبریک

تبریک می‌گویم، شما با موفقیت از Document AI Human-in-the-Loop برای پیکربندی بررسی انسانی اسناد پردازش شده با استفاده از پردازنده هزینه Document AI استفاده کردید.

پاکسازی

برای جلوگیری از تحمیل هزینه به حساب Google Cloud خود برای منابع استفاده شده در این آموزش:

• در کنسول ابری، به صفحه مدیریت منابع بروید.
• در لیست پروژه‌ها، پروژه خود را انتخاب کنید و سپس روی حذف کلیک کنید.
• در کادر محاوره‌ای، شناسه پروژه را تایپ کنید و سپس برای حذف پروژه، روی خاموش کردن (Shut down) کلیک کنید.

اطلاعات بیشتر

با این Codelabs های بعدی، به یادگیری در مورد هوش مصنوعی اسناد ادامه دهید.

• مدیریت پردازنده‌های هوش مصنوعی اسناد با پایتون

منابع

• آینده اسناد - لیست پخش یوتیوب
• مستندسازی هوش مصنوعی
• کتابخانه کلاینت پایتون برای مستندسازی هوش مصنوعی
• نمونه‌های هوش مصنوعی اسناد

مجوز

این اثر تحت مجوز عمومی Creative Commons Attribution 2.0 منتشر شده است.