डॉक्यूमेंट एआई: ह्यूमन इन द लूप

1. परिचय

दस्तावेज़ एआई एपीआई, दस्तावेज़ों को समझने का एक तरीका है. इसमें दस्तावेज़, ईमेल वगैरह जैसे बिना स्ट्रक्चर वाले डेटा का इस्तेमाल किया जाता है. यह डेटा को समझने, उसका विश्लेषण करने, और उसका इस्तेमाल करने में आसान बनाता है.

मैन्युअल तरीके से की गई समीक्षा की मदद से, दस्तावेज़ को प्रोसेस करने के लिए ज़्यादा सटीक जानकारी मिलती है. यह ज़्यादा सटीक होने के लिए, किसी व्यक्ति के भरोसे का इस्तेमाल किया जा सकता है. मैन्युअल तरीके से की जाने वाली समीक्षा से, समीक्षाओं को ज़्यादा सटीक बनाने में मदद मिलती है. साथ ही, इसकी मदद से कारोबार को, खास तौर पर आपके लिए बनाए गए टूल का इस्तेमाल करके, अनुमानों का आकलन करने में मदद मिलती है. इस लैब में, मानवीय समीक्षा का इस्तेमाल करके खर्च के प्रोसेसर को कॉन्फ़िगर और टेस्ट किया जाएगा. ऐसा करके, ह्यूमन-इन-द-लूप कॉन्फ़िगरेशन और मैनेजमेंट टूल का इस्तेमाल करके, प्रोसेसर के नतीजों की पुष्टि की जाएगी.

ध्यान दें: समय के साथ कंसोल का यूज़र इंटरफ़ेस (यूआई) बदल सकता है, इसलिए आपका एनवायरमेंट कुछ अलग दिख सकता है. अगर आपको इस लैब में कोई समस्या मिलती है, तो कृपया उसकी शिकायत करें.

ज़रूरी शर्तें

यह कोडलैब, अन्य दस्तावेज़ एआई कोडलैब में मौजूद कॉन्टेंट के आधार पर बनता है.

हमारा सुझाव है कि आगे बढ़ने से पहले, यहां दिए गए कोडलैब (कोड बनाना सीखना) पूरा करें.

• दस्तावेज़ एआई (Python) की मदद से ऑप्टिकल कैरेक्टर रिकग्निशन (ओसीआर) की सुविधा
• दस्तावेज़ एआई (Python) की मदद से फ़ॉर्म पार्स करना
• दस्तावेज़ एआई (Python) वाले खास प्रोसेसर

आपको इनके बारे में जानकारी मिलेगी

• प्रोसेसर के लिए मैन्युअल तरीके से की जाने वाली समीक्षा को कॉन्फ़िगर करें.
• मानवीय समीक्षा के लिए उपयोगकर्ता संसाधन पूल बनाएं.
• मैन्युअल तरीके से समीक्षा करने के लिए टास्क बनाएं.
• किसी उपयोगकर्ता को मैन्युअल तरीके से समीक्षा करने का टास्क असाइन करें.
• किसी दस्तावेज़ की मैन्युअल तरीके से समीक्षा करें.

आपको इन चीज़ों की ज़रूरत होगी

• Google Cloud प्रोजेक्ट
• ब्राउज़र, जैसे कि Chrome या Firefox
• Python 3 की जानकारी

2. सेट अप किया जा रहा है

कोडलैब के इस टूल में यह माना जाता है कि आपने कोडलैब के बारे में शुरुआती जानकारी में दिए गए, दस्तावेज़ के एआई को सेटअप करने के सभी चरणों को पूरा कर लिया है.

आगे बढ़ने से पहले, कृपया नीचे दिए गए चरणों को पूरा करें:

• Cloud Shell शुरू करना
• दस्तावेज़ एआई को चालू करना और Cloud Storage के एपीआई
• Python क्लाइंट लाइब्रेरी इंस्टॉल करना

आपको Vertex AI API को भी चालू करना होगा.

1. कंसोल में सबसे ऊपर मौजूद खोज बार का इस्तेमाल करके, "Vertex AI API" खोजें. इसके बाद, अपने Google Cloud प्रोजेक्ट में एपीआई का इस्तेमाल करने के लिए, चालू करें पर क्लिक करें
2. इसके अलावा, gcloud निर्देश का इस्तेमाल करके भी एपीआई को चालू किया जा सकता है.

gcloud services enable aiplatform.googleapis.com

3. प्रोसेसर बनाना

इस लैब के लिए, सबसे पहले आपको एक्सपेंस प्रोसेसर का एक इंस्टेंस बनाना होगा.

1. कंसोल में, दस्तावेज़ एआई प्लैटफ़ॉर्म की खास जानकारी पर जाएं
2. प्रोसेसर बनाएं पर क्लिक करें, नीचे स्क्रोल करके खास पर जाएं और खर्च पार्सर चुनें.
3. इसे codelab-expense-parser नाम दें (या कुछ और जो आपको याद रहेगा) और सूची में अपना सबसे नज़दीकी इलाका चुनें.
4. अपना प्रोसेसर बनाने के लिए, बनाएं पर क्लिक करें
5. प्रोसेसर आईडी को कॉपी करें. आपको बाद में अपने कोड में इसका इस्तेमाल करना होगा.
6. Cloud Shell में, PROJECT_ID-hitl-results का इस्तेमाल नाम के तौर पर करके एक स्टोरेज बकेट बनाएं:

export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs://$PROJECT_ID-hitl-results

7. अपने उपयोगकर्ता खाते को अपने लैब प्रोजेक्ट में, Vertex AI एडमिन IAM भूमिका से बाइंड करें

export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

4. ह्यूमन-इन-द-लूप को कॉन्फ़िगर करें

इस टास्क में, पहले बनाए गए खर्च प्रोसेसर के लिए, मैन्युअल तरीके से समीक्षा को कॉन्फ़िगर किया जाएगा.

1. कंसोल में, नेविगेशन मेन्यू खोलें और दस्तावेज़ एआई (AI) चुनें.
2. Human-in-the-loop AI पर क्लिक करें.
3. प्रोसेसर की मानवीय समीक्षा वाला पेज खोलने के लिए, codelab-expense-parser पर क्लिक करें.
4. Human-in-the-Loop को कॉन्फ़िगर करें पर क्लिक करें.

5. दस्तावेज़ लेवल फ़िल्टर चुनें.
6. कॉन्फ़िडेंस थ्रेशोल्ड % के स्लाइडर को 50% पर सेट करें.
7. विशेषज्ञ विकल्प को मेरे विशेषज्ञों का इस्तेमाल करें पर सेट रहने दें.

8. स्पेशलिस्ट पूल ड्रॉप-डाउन बॉक्स पर क्लिक करें. इसके बाद, नए खास लोगों के लिए पूल पर क्लिक करें.
9. पूल का नाम के लिए, नया विशेषज्ञ पूल डायलॉग में Codelab HITL Pool डालें.
10. पूल मैनेजर और स्पेशलिस्ट के लिए अपना निजी ईमेल पता डालें
11. पूल बनाएं पर क्लिक करें.

इस प्रोसेस को पूरा होने में कुछ मिनट लगेंगे. आपको Vertex AI [e-mail] से एक ईमेल मिलेगा.

ध्यान दें: अगर आपको अनुमति से जुड़ी कोई समस्या है, तो फिर से कोशिश करें पर क्लिक करें. आपके पास क्लाउड आईएएम aiplatform.specialistPools.create की अनुमति होनी चाहिए. इसके लिए, प्रोजेक्ट लेवल पर आपके उपयोगकर्ता खाते को roles/aiplatform.admin वाली भूमिका असाइन करनी होगी.

अपने-आप में roles/project.owner काफ़ी नहीं है.

12. अपने-आप असाइन होने की सुविधा चेकबॉक्स से सही का निशान हटाएं.
13. शुल्कों की पुष्टि करें सेक्शन में, चेकबॉक्स पर क्लिक करें.
14. निर्देशों की जगह पर क्लिक करें और इसे सेव करने की जगह में कॉपी करें: - पाथ में gs:// प्रीफ़िक्स शामिल न करें

cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf

ध्यान दें: यह दस्तावेज़, समीक्षक के लिए निर्देशों के सेट बनाने के दिशा-निर्देशों की कॉपी है, न कि उदाहरण के तौर पर.

15. नतीजों की जगह में, ब्राउज़ करें पर क्लिक करें और वह Cloud Storage बकेट चुनें जिसे आपने पहले बनाया था.
16. चुनें पर क्लिक करें.
17. कॉन्फ़िगरेशन सेव करें पर क्लिक करें.

अब Console में, लूप में मौजूद इंसानों को कॉन्फ़िगर करना दिखेगा. इसे पूरा होने में कुछ मिनट लगेंगे.

18. कॉन्फ़िगरेशन पूरा हो जाने पर, कंसोल आपको ह्यूमन-इन-द-लूप को सक्षम करने का संकेत देगा.

• इस सुविधा को चालू करने के लिए, 'स्विच करें' बटन पर क्लिक करें.
• इसके बाद, पॉप-अप डायलॉग में चालू करें पर क्लिक करें.

खर्च के सैंपल के लिए फ़ॉर्म अपलोड करें

1. हमारे पास Google Cloud Storage में सेव किए गए सैंपल फ़ॉर्म का एक सैंपल उपलब्ध है. आप इसे नीचे दिए गए बटन या निर्देश से डाउनलोड कर सकते हैं:

खर्च-claim.pdf डाउनलोड करें

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .

2. ह्यूमन-इन-द-लूप को सक्षम करने के बाद, दस्तावेज़ अपलोड करें बटन पर क्लिक करें और अभी-अभी डाउनलोड किया गया नमूना दस्तावेज़ ब्राउज़ करें.
3. अपलोड करें पर क्लिक करें और इसके पूरा होने का इंतज़ार करें.

5. किसी आइटम की मैन्युअल तरीके से समीक्षा करने के लिए उसे असाइन करना

1. इस पेज पर, आपको पूल मैनेजर और स्पेशलिस्ट कंसोल के लिंक दिखेंगे. ये लिंक Vertex AI [e-mail] से भेजे जाने वाले ईमेल में भी दिखेंगे.
   • इन्हें https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks की तरह दिखना चाहिए
   • Manager कंसोल के लिंक पर क्लिक करें.

2. डेटा लेबलिंग कंसोल में, टास्क असाइनमेंट पेज खोलने के लिए टास्क टैब के टाइटल पर क्लिक करें.
3. असाइन नहीं किया गया चेक बॉक्स पर क्लिक करें. आपको दिखेगा कि codelab-expense-parser-P1 टास्क की सूची में नई एंट्री जोड़ी गई है.

4. codelab-expense-parser-P1 चुनें.
5. असाइनमेंट मैनेज करें पर क्लिक करें.
6. ईमेल से विशेषज्ञों को शामिल करें टेक्स्ट बॉक्स में अपना निजी ईमेल पता डालें. इसके बाद, ड्रॉपडाउन मेन्यू से उसे चुनें.
7. लागू करें पर क्लिक करें.

अब स्क्रीन पर दिखेगा कि यह टास्क आपको असाइन किया गया है. आप शायद पाएं कि इसे लागू होने और दिखने में कुछ मिनट लग सकते हैं.

8. नया उपयोगकर्ता चुनें और मेन्यू आइकॉन पर क्लिक करें.
9. पॉप-अप मेन्यू में, सभी टास्क को असाइन करें पर क्लिक करें.

10. बदलाव लागू करें पर क्लिक करें.
11. समीक्षा करें पर क्लिक करें.

6. मैन्युअल तरीके से समीक्षा करने का टास्क करें

1. Cloud Console में, Human-in-the-Loop कॉन्फ़िगरेशन पेज पर वापस जाएं.

विशेषज्ञ (कर्मचारी) कंसोल पर जाने के लिए लिंक पर क्लिक करें. यह https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx जैसा दिखेगा.

वर्कर कंसोल में, आपका नया टास्क खुलेगा.

2. उस लाइन आइटम पर कर्सर घुमाएं जिसमें चार मिनट वाली मीटिंग है और बदलाव करें (पेंसिल) आइकॉन पर क्लिक करें.
3. वैल्यू में बदलाव करें, ताकि ऐडम के साथ मीटिंग करने के लिए इस्तेमाल होने वाले टेक्स्ट में बदलाव किया जा सके. टेक्स्ट देखने के लिए, आपको टेक्स्ट बॉक्स में नीचे की ओर स्क्रोल करना पड़ सकता है.
4. लागू करें पर क्लिक करें.
5. नीचे दिए गए आइटम के लिए, पुष्टि करें (हरे टिक) आइकॉन पर क्लिक करें.
6. हाइलाइट की गई अन्य इकाइयों के लिए, पुष्टि करें आइकॉन पर क्लिक करें.
7. सबमिट करें पर क्लिक करें. समीक्षा टास्क अब आपकी लेबलर सूची से हटा दिया गया है.

7. पूरे हो चुके टास्क देखें

1. Manager कंसोल पर वापस जाएं.
2. Tasks पर क्लिक करें. इसके बाद, Ongoing को चुनें
3. विशेषज्ञ पर क्लिक करें.
4. अपना ईमेल पता चुनें.
5. असाइनमेंट मैनेज करें पर क्लिक करें.
6. Select specialists working on specific tasks और Select tasks ड्रॉपडाउन से, expense-processor-P1 को चुनें. चुने गए हर विकल्प के लिए, लागू करें पर क्लिक करें. आपको असाइन किए गए expense-processor-P1 के संदर्भ मेन्यू में, विशेषज्ञों को देखें चुनें

लेबलर के ज़रिए लेबल करने का काम सबमिट करने के बाद जवाब दिए गए टास्क की संख्या और कुल समय अपडेट किया जाएगा, लेकिन इस व्यू में डेटा दिखाई देने में कुछ मिनट लग सकते हैं.

7. विशेषज्ञों का पॉप-अप बंद करें और विशेषज्ञ टैब देखें.
8. अपने उपयोगकर्ता नाम के लिए संदर्भ मेन्यू पर क्लिक करें और टास्क देखें चुनें.

इस व्यू में उपयोगकर्ता के लिए टास्क की सूची, उन्हें पूरा करने की संख्या और लगने वाला समय दिखाया गया है, जैसा कि नीचे दिखाया गया है:

8. बधाई हो

बधाई हो, आपने Document AI Human-in-the-Loop का इस्तेमाल करके, उन दस्तावेज़ों की मानवीय समीक्षा को कॉन्फ़िगर कर लिया है जिन्हें Document AI खर्च प्रोसेसर की मदद से प्रोसेस किया गया था.

मिटाना

इस ट्यूटोरियल में इस्तेमाल किए गए संसाधनों के लिए, आपके Google Cloud खाते पर लगने वाले शुल्क से बचने के लिए:

• Cloud Console में, संसाधन मैनेज करें पेज पर जाएं.
• प्रोजेक्ट की सूची में, अपना प्रोजेक्ट चुनें. इसके बाद, 'मिटाएं' पर क्लिक करें.
• डायलॉग बॉक्स में, प्रोजेक्ट आईडी टाइप करें. इसके बाद, प्रोजेक्ट मिटाने के लिए 'शट डाउन करें' पर क्लिक करें.

ज़्यादा जानें

इन फ़ॉलो-अप कोडलैब की मदद से, दस्तावेज़ एआई (AI) के बारे में ज़्यादा जानें.

• Python की मदद से, दस्तावेज़ के एआई प्रोसेसर को मैनेज करना

संसाधन

• दस्तावेज़ों का भविष्य - YouTube प्लेलिस्ट
• दस्तावेज़ एआई से जुड़ा दस्तावेज़
• दस्तावेज़ एआई Python क्लाइंट लाइब्रेरी
• दस्तावेज़ के एआई सैंपल

लाइसेंस

इस काम को क्रिएटिव कॉमंस एट्रिब्यूशन 2.0 जेनरिक लाइसेंस के तहत लाइसेंस मिला है.