डॉक्यूमेंट एआई: ह्यूमन इन द लूप

1. परिचय

Document AI API, दस्तावेज़ों को समझने का एक समाधान है. यह दस्तावेज़ों, ईमेल वगैरह जैसे अनस्ट्रक्चर्ड डेटा को लेता है और उसे समझने, विश्लेषण करने, और इस्तेमाल करने में आसान बनाता है.

मैन्युअल तरीके से समीक्षा करने की सुविधा का इस्तेमाल करके, दस्तावेज़ों को ज़्यादा सटीक तरीके से प्रोसेस किया जा सकता है. साथ ही, यह भी पक्का किया जा सकता है कि उनकी समीक्षा मैन्युअल तरीके से की गई हो. मैन्युअल तरीके से की जाने वाली समीक्षा से, अनुमानों के सटीक होने की संभावना बढ़ जाती है. साथ ही, इससे कारोबारों को खास तौर पर तैयार किए गए टूल का इस्तेमाल करके अनुमानों का आकलन करने में मदद मिलती है, ताकि वे समीक्षाएं कर सकें. इस लैब में, आपको मैन्युअल तरीके से समीक्षा करने की सुविधा का इस्तेमाल करके, खर्च का हिसाब रखने वाले प्रोसेसर को कॉन्फ़िगर और टेस्ट करना होगा. इससे, मैन्युअल तरीके से समीक्षा करने की सुविधा के कॉन्फ़िगरेशन और मैनेजमेंट टूल का इस्तेमाल करके, प्रोसेसर से मिले नतीजों की पुष्टि की जा सकेगी.

ध्यान दें: समय के साथ Console का यूज़र इंटरफ़ेस (यूआई) बदल सकता है. इसलिए, हो सकता है कि आपको अपना एनवायरमेंट थोड़ा अलग दिखे. अगर आपको इस लैब में कोई समस्या मिलती है, तो कृपया उसकी शिकायत करें.

ज़रूरी शर्तें

यह कोडलैब, Document AI के अन्य कोडलैब में दिए गए कॉन्टेंट पर आधारित है.

हमारा सुझाव है कि आगे बढ़ने से पहले, इन कोडलैब को पूरा कर लें.

• Document AI (Python) की मदद से ऑप्टिकल कैरेक्टर रिकग्निशन (ओसीआर)
• Document AI की मदद से फ़ॉर्म पार्स करना (Python)
• Document AI (Python) के साथ खास प्रोसेसर

आपको क्या सीखने को मिलेगा

• प्रोसेसर के लिए मैन्युअल तरीके से समीक्षा करने की सुविधा कॉन्फ़िगर करना.
• मैन्युअल तरीके से समीक्षा करने वाले उपयोगकर्ता के संसाधन पूल बनाएं.
• मैन्युअल तरीके से समीक्षा करने का टेस्ट टास्क बनाएं.
• किसी उपयोगकर्ता को मैन्युअल तरीके से समीक्षा करने का टास्क असाइन करें.
• किसी दस्तावेज़ की मैन्युअल तरीके से समीक्षा पूरी करना.

आपको इन चीज़ों की ज़रूरत होगी

• Google Cloud प्रोजेक्ट
• कोई ब्राउज़र, जैसे कि Chrome या Firefox
• Python 3 की जानकारी

2. सेट अप करना

इस कोडलैब में यह माना गया है कि आपने कोडलैब के बारे में बुनियादी जानकारी में दिए गए, Document AI सेटअप करने के चरण पूरे कर लिए हैं.

आगे बढ़ने से पहले, कृपया यह तरीका अपनाएं:

• Cloud Shell शुरू करें
• Document AI और Cloud Storage API चालू करना
• Python क्लाइंट लाइब्रेरी इंस्टॉल करना

आपको Vertex AI API भी चालू करना होगा.

1. कंसोल में सबसे ऊपर मौजूद खोज बार का इस्तेमाल करके, "Vertex AI API" खोजें. इसके बाद, अपने Google Cloud प्रोजेक्ट में एपीआई का इस्तेमाल करने के लिए, चालू करें पर क्लिक करें
2. इसके अलावा, इस एपीआई को चालू करने के लिए, यहां दी गई gcloud कमांड का इस्तेमाल किया जा सकता है.

gcloud services enable aiplatform.googleapis.com

3. प्रोसेसर बनाना

इस लैब के लिए, आपको सबसे पहले Expense Processor का एक इंस्टेंस बनाना होगा.

1. कंसोल में, Document AI Platform की खास जानकारी पर जाएं
2. प्रोसेसर बनाएं पर क्लिक करें. इसके बाद, नीचे की ओर स्क्रोल करके खास पर जाएं और खर्च पार्सर चुनें.
3. इसे codelab-expense-parser नाम दें. इसके अलावा, कोई ऐसा नाम भी दिया जा सकता है जो आपको याद रहे. इसके बाद, सूची में से सबसे मिलता-जुलता क्षेत्र चुनें.
4. प्रोसेसर बनाने के लिए, बनाएं पर क्लिक करें
5. प्रोसेसर आईडी कॉपी करें. आपको इसका इस्तेमाल बाद में अपने कोड में करना होगा.
6. Cloud Shell में, PROJECT_ID-hitl-results नाम का स्टोरेज बकेट बनाएं:

export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs://$PROJECT_ID-hitl-results

7. अपने उपयोगकर्ता खाते को लैब प्रोजेक्ट में, Vertex AI एडमिन IAM भूमिका से बाइंड करें

export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

4. मैन्युअल प्रोसेस वाला चरण कॉन्फ़िगर करना

इस टास्क में, आपको उस खर्च के प्रोसेसर के लिए मानवीय समीक्षा की सुविधा कॉन्फ़िगर करनी होगी जिसे आपने पहले बनाया था.

1. कंसोल में, नेविगेशन मेन्यू खोलें और Document AI को चुनें.
2. ह्यूमन-इन-द-लूप एआई पर क्लिक करें.
3. प्रोसेसर के लिए, मैन्युअल तरीके से समीक्षा करने वाला पेज खोलने के लिए, codelab-expense-parser पर क्लिक करें.
4. ह्यूमन-इन-द-लूप को कॉन्फ़िगर करें पर क्लिक करें.

5. दस्तावेज़ लेवल का फ़िल्टर चुनें.
6. भरोसे का थ्रेशोल्ड % स्लाइडर को 50% पर सेट करें.
7. स्पेशलिस्ट विकल्प को मेरे अपने स्पेशलिस्ट का इस्तेमाल करें पर सेट रहने दें.

8. स्पेशलिस्ट पूल ड्रॉप-डाउन बॉक्स में क्लिक करें. इसके बाद, नया स्पेशलिस्ट पूल पर क्लिक करें.
9. पूल का नाम के लिए, स्पेशलिस्ट का नया पूल डायलॉग में Codelab HITL Pool डालें.
10. पूल मैनेजर और स्पेशलिस्ट के लिए, अपना निजी ईमेल पता डालें
11. पूल बनाएं पर क्लिक करें.

इस प्रोसेस को पूरा होने में कुछ मिनट लगेंगे. आपको Vertex AI [e-mail] से एक ईमेल मिलेगा.

ध्यान दें: अगर आपको अनुमति से जुड़ी कोई समस्या आ रही है, तो फिर से कोशिश करें पर क्लिक करें. आपके पास Cloud IAM aiplatform.specialistPools.create अनुमति होनी चाहिए. इसके लिए, आपके उपयोगकर्ता खाते को प्रोजेक्ट लेवल पर roles/aiplatform.admin भूमिका असाइन की जानी चाहिए.

roles/project.owner अपने-आप में काफ़ी नहीं है.

12. अपने-आप असाइन होने की सुविधा चेकबॉक्स से सही का निशान हटाएं.
13. शुल्क की पुष्टि करें सेक्शन में मौजूद चेकबॉक्स पर क्लिक करें.
14. निर्देशों की जगह पर क्लिक करें और इस स्टोरेज की जगह में कॉपी करें: - पाथ में प्रीफ़िक्स gs:// को शामिल न करें

cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf

ध्यान दें: यह दस्तावेज़, समीक्षक के लिए निर्देशों का सेट बनाने से जुड़े दिशा-निर्देशों की कॉपी है. यह काम करने वाला उदाहरण नहीं है.

15. नतीजे की जगह में जाकर, ब्राउज़ करें पर क्लिक करें. इसके बाद, पहले बनाया गया Cloud Storage बकेट चुनें.
16. चुनें पर क्लिक करें.
17. कॉन्फ़िगरेशन सेव करें पर क्लिक करें.

अब Console पर ह्यूमन-इन-द-लूप को कॉन्फ़िगर किया जा रहा है दिखेगा. इसमें कुछ मिनट लगेंगे.

18. कॉन्फ़िगरेशन पूरा होने के बाद, कंसोल आपसे ह्यूमन-इन-द-लूप की सुविधा चालू करने के लिए कहेगा.

• चालू करने के लिए, स्विच बटन पर क्लिक करें.
• इसके बाद, पॉप-अप डायलॉग में चालू करें पर क्लिक करें.

खर्च का सैंपल फ़ॉर्म अपलोड करना

1. हमारे पास एक सैंपल फ़ॉर्म है, जिसे Google Cloud Storage में सेव किया गया है. इसे नीचे दिए गए बटन या कमांड से डाउनलोड किया जा सकता है:

expense-claim.pdf डाउनलोड करें

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .

2. ह्यूमन-इन-द-लूप की सुविधा चालू करने के बाद, दस्तावेज़ अपलोड करें बटन पर क्लिक करें. इसके बाद, अभी डाउनलोड किए गए सैंपल दस्तावेज़ को ब्राउज़ करें.
3. अपलोड करें पर क्लिक करें और अपलोड पूरा होने तक इंतज़ार करें.

5. मैन्युअल समीक्षा के लिए कोई आइटम असाइन करना

1. इस पेज पर, आपको पूल मैनेजर और स्पेशलिस्ट कंसोल के लिंक दिखेंगे. ये लिंक, Vertex AI [e-mail] से मिले ईमेल में भी दिखेंगे.
   • ये https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks की तरह दिखने चाहिए
   • Manager console के लिंक पर क्लिक करें.

2. Data Labeling Console में, टास्क असाइनमेंट पेज खोलने के लिए, टास्क टैब के टाइटल पर क्लिक करें.
3. असाइन नहीं किया गया चेक बॉक्स पर क्लिक करें. आपको दिखेगा कि codelab-expense-parser-P1 टास्क की कतार के लिए, एक नई एंट्री जोड़ी गई है.

4. codelab-expense-parser-P1 चुनें.
5. असाइनमेंट मैनेज करें पर क्लिक करें.
6. ईमेल से विशेषज्ञों को शामिल करें टेक्स्ट बॉक्स में अपना निजी ईमेल पता डालें. इसके बाद, ड्रॉपडाउन सूची से उसे चुनें.
7. लागू करें पर क्लिक करें.

अब डिसप्ले में दिखेगा कि यह टास्क आपको असाइन किया गया है. आपको दिख सकता है कि इसे लागू होने और दिखने में कुछ मिनट लग सकते हैं.

8. नए उपयोगकर्ता को चुनें और मेन्यू आइकॉन पर क्लिक करें.
9. इसके बाद दिखने वाले पॉप-अप मेन्यू में, सभी टास्क को असाइन करें पर क्लिक करें.

10. बदलाव लागू करें पर क्लिक करें.
11. कमिट करें पर क्लिक करें.

6. मैन्युअल तरीके से समीक्षा करने का टास्क पूरा करना

1. Cloud Console में, Human-in-the-Loop कॉन्फ़िगरेशन पेज पर वापस जाएं.

स्पेशलिस्ट (वर्कर) कंसोल पर जाने के लिए, लिंक पर क्लिक करें. यह https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx जैसा दिखेगा.

वर्कर कंसोल खुलना चाहिए और उसमें आपका नया टास्क दिखना चाहिए.

2. चार मीटर की मीटिंग वाले लाइन आइटम पर कर्सर घुमाएं और बदलाव करें (पेंसिल) आइकॉन पर क्लिक करें.
3. एडम के साथ मीटिंग टेक्स्ट को बदलने के लिए, वैल्यू में बदलाव करें. टेक्स्ट देखने के लिए, आपको टेक्स्ट बॉक्स में नीचे की ओर स्क्रोल करना पड़ सकता है.
4. लागू करें पर क्लिक करें.
5. नीचे दिए गए आइटम के लिए, पुष्टि करें (हरे रंग का सही का निशान) आइकॉन पर क्लिक करें.
6. हाइलाइट की गई अन्य इकाइयों के लिए, पुष्टि करें आइकॉन पर क्लिक करें.
7. सबमिट करें पर क्लिक करें. समीक्षा करने के टास्क को अब लेबलर की सूची से हटा दिया गया है.

7. पूरे हो चुके टास्क देखना

1. Manager Console पर वापस जाएं.
2. टास्क पर क्लिक करें और जारी है को चुनें
3. विशेषज्ञ पर क्लिक करें.
4. अपना ईमेल पता चुनें.
5. असाइनमेंट मैनेज करें पर क्लिक करें.
6. Select specialists working on specific tasks और Select tasks ड्रॉपडाउन से, expense-processor-P1 चुनें. हर चुने गए विकल्प के लिए, लागू करें पर क्लिक करें. आपको असाइन किए गए expense-processor-P1 के संदर्भ मेन्यू में जाकर, विशेषज्ञों को देखें को चुनें

लेबलर के लेबलिंग टास्क सबमिट करने के बाद, जवाब दिए गए टास्क की संख्या और कुल समय अपडेट हो जाएगा. हालांकि, इस व्यू में डेटा दिखने में कुछ मिनट लग सकते हैं.

7. स्पेशलिस्ट वाला पॉप-अप बंद करें और स्पेशलिस्ट टैब देखें.
8. अपने उपयोगकर्ता नाम के लिए, कॉन्टेक्स्ट मेन्यू पर क्लिक करें और टास्क देखें को चुनें.

इस व्यू में, उपयोगकर्ता के लिए टास्क की सूची, उन्हें पूरा करने की संख्या, और उन्हें पूरा करने में लगा समय दिखता है. यह जानकारी यहां दी गई है:

8. बधाई हो

बधाई हो! आपने Document AI Human-in-the-Loop का इस्तेमाल करके, Document AI के खर्चों को प्रोसेस करने वाले टूल से प्रोसेस किए गए दस्तावेज़ों की मानवीय समीक्षा को कॉन्फ़िगर कर लिया है.

सफ़ाई

इस ट्यूटोरियल में इस्तेमाल किए गए संसाधनों के लिए, अपने Google Cloud खाते से शुल्क न लिए जाने के लिए:

• Cloud Console में, संसाधन मैनेज करें पेज पर जाएं.
• प्रोजेक्ट की सूची में, अपना प्रोजेक्ट चुनें. इसके बाद, मिटाएं पर क्लिक करें.
• डायलॉग बॉक्स में, प्रोजेक्ट आईडी टाइप करें. इसके बाद, प्रोजेक्ट मिटाने के लिए बंद करें पर क्लिक करें.

ज़्यादा जानें

इन फ़ॉलो-अप कोडलैब की मदद से, Document AI के बारे में ज़्यादा जानें.

• Python की मदद से Document AI प्रोसेसर मैनेज करना

संसाधन

• द फ़्यूचर ऑफ़ डॉक्यूमेंट्स - YouTube प्लेलिस्ट
• Document AI से जुड़े दस्तावेज़
• Document AI Python क्लाइंट लाइब्रेरी
• Document AI के सैंपल

लाइसेंस

इस काम के लिए, Creative Commons एट्रिब्यूशन 2.0 जेनेरिक लाइसेंस के तहत लाइसेंस मिला है.