নথি এআই: লুপে মানব

1. ভূমিকা

ডকুমেন্ট এআই এপিআই হল একটি নথি বোঝার সমাধান যা অসংগঠিত ডেটা নেয়, যেমন নথি, ইমেল ইত্যাদি, এবং ডেটা বোঝা, বিশ্লেষণ এবং ব্যবহার করা সহজ করে তোলে।

মানুষের পর্যালোচনার মাধ্যমে আপনি মানব পর্যালোচনার নিশ্চয়তার সাথে উচ্চতর নথি প্রক্রিয়াকরণের নির্ভুলতা অর্জন করতে পারেন। মানুষের পর্যালোচনা নির্ভুলতা বাড়াতে পারে এবং ব্যবসাগুলিকে সেই পর্যালোচনাগুলি সক্ষম করতে উদ্দেশ্য-নির্মিত সরঞ্জামগুলি ব্যবহার করে পূর্বাভাস মূল্যায়ন করতে সহায়তা করে৷ এই ল্যাবে, আপনি হিউম্যান-ইন-দ্য-লুপ কনফিগারেশন এবং ম্যানেজমেন্ট টুল ব্যবহার করে প্রসেসর থেকে ফলাফল যাচাই করার জন্য মানব পর্যালোচনা ব্যবহার করে একটি ব্যয় প্রসেসর কনফিগার এবং পরীক্ষা করবেন।

দ্রষ্টব্য: কনসোল UI সময়ের সাথে পরিবর্তিত হতে পারে, তাই আপনার পরিবেশ কিছুটা আলাদা দেখতে পারে। আপনি যদি এই ল্যাবের সাথে কোন সমস্যা খুঁজে পান, অনুগ্রহ করে তাদের রিপোর্ট করুন ।

পূর্বশর্ত

এই কোডল্যাব অন্যান্য ডকুমেন্ট এআই কোডল্যাবে উপস্থাপিত বিষয়বস্তুর উপর ভিত্তি করে তৈরি করে।

এটি সুপারিশ করা হয় যে আপনি এগিয়ে যাওয়ার আগে নিম্নলিখিত কোডল্যাবগুলি সম্পূর্ণ করুন৷

• ডকুমেন্ট এআই (পাইথন) সহ অপটিক্যাল ক্যারেক্টার রিকগনিশন (OCR)
• ডকুমেন্ট এআই (পাইথন) সহ ফর্ম পার্সিং
• ডকুমেন্ট এআই (পাইথন) সহ বিশেষায়িত প্রসেসর

আপনি কি শিখবেন

• একটি প্রসেসরের জন্য মানুষের পর্যালোচনা কনফিগার করুন।
• একটি মানব পর্যালোচনা ব্যবহারকারী সম্পদ পুল তৈরি করুন।
• একটি পরীক্ষা মানুষের পর্যালোচনা টাস্ক তৈরি করুন.
• একজন ব্যবহারকারীকে একটি মানবিক পর্যালোচনা কাজ বরাদ্দ করুন।
• একটি নথির একটি মানবিক পর্যালোচনা সম্পূর্ণ করুন।

আপনি কি প্রয়োজন হবে

• একটি Google ক্লাউড প্রকল্প
• একটি ব্রাউজার, যেমন ক্রোম বা ফায়ারফক্স
• পাইথনের জ্ঞান 3

2. সেট আপ করা হচ্ছে

এই কোডল্যাব অনুমান করে যে আপনি Introductory Codelab- এ তালিকাভুক্ত ডকুমেন্ট AI সেটআপ ধাপগুলি সম্পূর্ণ করেছেন৷

এগিয়ে যাওয়ার আগে অনুগ্রহ করে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

• ক্লাউড শেল শুরু করুন
• ডকুমেন্ট এআই এবং ক্লাউড স্টোরেজ এপিআই সক্ষম করুন
• পাইথন ক্লায়েন্ট লাইব্রেরি ইনস্টল করুন

আপনাকে Vertex AI API সক্ষম করতে হবে।

1. কনসোলের শীর্ষে অনুসন্ধান বার ব্যবহার করে, "Vertex AI API" অনুসন্ধান করুন, তারপরে আপনার Google ক্লাউড প্রকল্পে API ব্যবহার করতে সক্ষম করুন ক্লিক করুন
2. বিকল্পভাবে, নিম্নলিখিত gcloud কমান্ড ব্যবহার করে API সক্রিয় করা যেতে পারে।

gcloud services enable aiplatform.googleapis.com

3. একটি প্রসেসর তৈরি করুন

এই ল্যাবের জন্য ব্যবহার করার জন্য আপনাকে প্রথমে ব্যয় প্রসেসরের একটি উদাহরণ তৈরি করতে হবে।

1. কনসোলে, ডকুমেন্ট এআই প্ল্যাটফর্ম ওভারভিউতে নেভিগেট করুন
2. প্রসেসর তৈরি করুন ক্লিক করুন, স্পেশালাইজডে স্ক্রোল করুন এবং এক্সপেনস পার্সার নির্বাচন করুন।
3. এটিকে codelab-expense-parser (অথবা অন্য কিছু যা আপনি মনে রাখবেন) নাম দিন এবং তালিকার নিকটতম অঞ্চলটি নির্বাচন করুন।
4. আপনার প্রসেসর তৈরি করতে তৈরি করুন ক্লিক করুন
5. প্রসেসর আইডি কপি করুন। আপনাকে অবশ্যই এটি আপনার কোডে ব্যবহার করতে হবে।
6. ক্লাউড শেলে, নাম হিসাবে PROJECT_ID-hitl-results ব্যবহার করে একটি স্টোরেজ বাকেট তৈরি করুন:

export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs://$PROJECT_ID-hitl-results

7. আপনার ল্যাব প্রোজেক্টে Vertex AI অ্যাডমিন IAM ভূমিকার সাথে আপনার ব্যবহারকারীর অ্যাকাউন্টকে আবদ্ধ করুন

export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

4. হিউম্যান-ইন-দ্য-লুপ কনফিগার করুন

এই কাজটিতে, আপনি আগে তৈরি করা ব্যয় প্রসেসরের জন্য মানব পর্যালোচনা কনফিগার করবেন।

1. কনসোলে, নেভিগেশন মেনু খুলুন এবং ডকুমেন্ট এআই নির্বাচন করুন।
2. হিউম্যান-ইন-দ্য-লুপ এআই-এ ক্লিক করুন।
3. প্রসেসরের জন্য হিউম্যান রিভিউ পৃষ্ঠা খুলতে codelab-expense-parser ক্লিক করুন।
4. হিউম্যান-ইন-দ্য-লুপ কনফিগার করুন ক্লিক করুন।

5. ডকুমেন্ট লেভেল ফিল্টার নির্বাচন করুন।
6. কনফিডেন্স থ্রেশহোল্ড % স্লাইডার 50% এ সেট করুন।
7. স্পেশালিস্ট অপশনটিকে আমার নিজের বিশেষজ্ঞ ব্যবহার করুন- এ সেট ছেড়ে দিন।

8. স্পেশালিস্ট পুল ড্রপ ডাউন বক্সে ক্লিক করুন এবং নিউ স্পেশালিস্ট পুল এ ক্লিক করুন।
9. পুলের নামের জন্য নতুন বিশেষজ্ঞ পুল ডায়ালগে Codelab HITL Pool লিখুন।
10. পুল ম্যানেজার এবং বিশেষজ্ঞদের জন্য আপনার ব্যক্তিগত ইমেল ঠিকানা লিখুন
11. পুল তৈরি করুন ক্লিক করুন।

এটি সম্পূর্ণ হতে কয়েক মিনিট সময় লাগবে। আপনার Vertex AI [e-mail] থেকে একটি ইমেল পাওয়া উচিত।

দ্রষ্টব্য: আপনার কোনো অনুমতি সমস্যা থাকলে পুনরায় চেষ্টা করুন এ ক্লিক করুন। আপনার অবশ্যই ক্লাউড IAM aiplatform.specialistPools.create অনুমতি থাকতে হবে যার জন্য প্রকল্প স্তরে আপনার ব্যবহারকারীর অ্যাকাউন্টে নির্ধারিত roles/aiplatform.admin ভূমিকা প্রয়োজন৷

roles/project.owner নিজে থেকে যথেষ্ট নয়।

12. অটো-অ্যাসাইনমেন্ট চেকবক্সটি টিক চিহ্ন ছাড়াই ছেড়ে দিন।
13. চার্জ নিশ্চিত করুন বিভাগে চেকবক্সে ক্লিক করুন।
14. নির্দেশের অবস্থানে ক্লিক করুন এবং এই স্টোরেজ অবস্থানে অনুলিপি করুন: - পথটিতে gs:// উপসর্গ অন্তর্ভুক্ত করবেন না

cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf

দ্রষ্টব্য: এই নথিটি পর্যালোচক নির্দেশাবলী সেট তৈরি করার জন্য নির্দেশিকাগুলির একটি অনুলিপি, একটি কার্যকর উদাহরণ নয়।

15. ফলাফলের অবস্থানে , ব্রাউজ ক্লিক করুন এবং আপনার আগে তৈরি করা ক্লাউড স্টোরেজ বাকেটটি নির্বাচন করুন।
16. নির্বাচন ক্লিক করুন.
17. সেভ কনফিগারেশন ক্লিক করুন।

কনসোল এখন বলবে মানব-ইন-দ্য-লুপ কনফিগার করা হচ্ছে এবং এটি সম্পূর্ণ হতে কয়েক মিনিট সময় লাগবে।

18. কনফিগারেশন সম্পূর্ণ হলে, কনসোল আপনাকে হিউম্যান-ইন-দ্য-লুপ সক্ষম করতে অনুরোধ করবে।

• সক্রিয় করতে সুইচ বোতামে ক্লিক করুন।
• তারপর পপ-আপ ডায়ালগে ENABLE এ ক্লিক করুন।

একটি নমুনা ব্যয় ফর্ম আপলোড করুন

1. Google ক্লাউড স্টোরেজে সঞ্চিত ব্যবহারের জন্য আমাদের কাছে একটি নমুনা ফর্ম রয়েছে৷ আপনি নীচের বোতাম বা কমান্ড দিয়ে এটি ডাউনলোড করতে পারেন:

খরচ-claim.pdf ডাউনলোড করুন

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .

2. হিউম্যান-ইন-দ্য-লুপ সক্ষম করার পরে, আপলোড ডকুমেন্ট বোতামে ক্লিক করুন এবং আপনার ডাউনলোড করা নমুনা নথির জন্য ব্রাউজ করুন।
3. আপলোড ক্লিক করুন এবং এটি সম্পূর্ণ হওয়ার জন্য অপেক্ষা করুন।

5. মানুষের পর্যালোচনার জন্য একটি আইটেম বরাদ্দ করুন

1. এই পৃষ্ঠায়, আপনি পুল ম্যানেজার এবং বিশেষজ্ঞ কনসোলগুলির লিঙ্কগুলি দেখতে পাবেন৷ এই লিঙ্কগুলি Vertex AI [e-mail] থেকে একটি ইমেলেও দেখাবে৷
   • তাদের দেখতে https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks এর মতো হওয়া উচিত
   • ম্যানেজার কনসোলের জন্য লিঙ্কটিতে ক্লিক করুন।

2. একবার ডেটা লেবেলিং কনসোলে, টাস্ক অ্যাসাইনমেন্ট পৃষ্ঠা খুলতে টাস্ক ট্যাব শিরোনামে ক্লিক করুন।
3. আনঅ্যাসাইন করা চেক বক্সে ক্লিক করুন। আপনার দেখতে হবে যে কোডল্যাব-ব্যয়-পার্সার-পি1 টাস্ক কিউ-এর বিপরীতে একটি নতুন এন্ট্রি তালিকাভুক্ত করা হয়েছে।

4. Codelab-expense-parser-P1 নির্বাচন করুন।
5. ম্যানেজ অ্যাসাইনমেন্ট ক্লিক করুন।
6. ইমেল টেক্সট বক্সে বিশেষজ্ঞদের অন্তর্ভুক্ত করুন আপনার নিজস্ব ব্যক্তিগত ইমেল লিখুন এবং তারপর ড্রপডাউন তালিকা থেকে এটি নির্বাচন করুন।
7. প্রয়োগ করুন ক্লিক করুন।

ডিসপ্লেটি এখন দেখায় যে টাস্কটি আপনাকে বরাদ্দ করা হয়েছে। আপনি দেখতে পাবেন যে এটি প্রচারিত হতে এবং দৃশ্যমান হতে কয়েক মিনিট সময় নিতে পারে।

8. নতুন ব্যবহারকারী নির্বাচন করুন এবং মেনু আইকনে ক্লিক করুন।
9. প্রদর্শিত পপ-আপ মেনু থেকে সমস্ত কাজের জন্য বরাদ্দ করুন ক্লিক করুন।

10. কমিট পরিবর্তন ক্লিক করুন।
11. কমিট এ ক্লিক করুন।

6. হিউম্যান রিভিউ টাস্ক সম্পাদন করুন

1. ক্লাউড কনসোলে হিউম্যান-ইন-দ্য-লুপ কনফিগারেশন পৃষ্ঠায় ফিরে যান।

বিশেষজ্ঞ (কর্মী) কনসোল দেখার জন্য লিঙ্কটিতে ক্লিক করুন। এটি দেখতে https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx এর মতো হবে।

কর্মী কনসোল খোলা উচিত এবং আপনার নতুন টাস্ক তালিকাভুক্ত করা উচিত।

2. যে লাইন আইটেমটিতে 4m এর সাথে মিটিং রয়েছে তার উপর হোভার করুন এবং সম্পাদনা (পেন্সিল) আইকনে ক্লিক করুন।
3. টেক্সট পরিবর্তন করতে মান সম্পাদনা করুন মিটিং উইথ অ্যাডাম । পাঠ্যটি দেখতে আপনাকে পাঠ্য বাক্সে নীচে স্ক্রোল করতে হতে পারে।
4. প্রয়োগ করুন ক্লিক করুন।
5. নীচের আইটেমটির জন্য নিশ্চিত করুন (সবুজ টিক) আইকনে ক্লিক করুন।
6. অন্যান্য হাইলাইট করা সত্তার জন্য নিশ্চিত করুন আইকনে ক্লিক করুন।
7. জমা দিন ক্লিক করুন. পর্যালোচনা টাস্ক এখন আপনার লেবেলার সারি থেকে সরানো হয়েছে.

7. সমাপ্ত কাজগুলি দেখুন৷

1. ম্যানেজার কনসোলে ফিরে যান।
2. কাজ ক্লিক করুন এবং চলমান নির্বাচন করুন
3. বিশেষজ্ঞদের উপর ক্লিক করুন।
4. আপনার ইমেল ঠিকানা নির্বাচন করুন.
5. ম্যানেজ অ্যাসাইনমেন্ট ক্লিক করুন।
6. Select specialists working on specific tasks এবং Select tasks ড্রপডাউন থেকে expense-processor-P1 সিলেক্ট করুন। প্রতিটি নির্বাচনের জন্য আবেদন করুন ক্লিক করুন। খরচ-প্রসেসর-P1-এর প্রসঙ্গ মেনুতে যা আপনাকে বরাদ্দ করা হয়েছে, বিশেষজ্ঞদের দেখুন নির্বাচন করুন

একবার লেবেলার দ্বারা লেবেলিং টাস্ক জমা দেওয়া হলে উত্তর দেওয়া কাজের সংখ্যা এবং মোট সময় আপডেট করা হবে কিন্তু এই ভিউতে থাকা ডেটা প্রদর্শিত হতে কয়েক মিনিট সময় নিতে পারে।

7. বিশেষজ্ঞদের পপ-আপ বন্ধ করুন এবং বিশেষজ্ঞ ট্যাবটি দেখুন।
8. আপনার ব্যবহারকারীর নামের জন্য প্রসঙ্গ মেনুতে ক্লিক করুন এবং কার্য দেখুন নির্বাচন করুন।

এই ভিউটি ব্যবহারকারীর জন্য কাজের তালিকা, তাদের সমাপ্তির সংখ্যা এবং নিচের মত সময় নেওয়ার পরিমাণ দেখায়:

8. অভিনন্দন

অভিনন্দন, আপনি ডকুমেন্ট এআই এক্সপেনস প্রসেসর ব্যবহার করে প্রক্রিয়াকৃত নথিগুলির জন্য মানব পর্যালোচনা কনফিগার করতে ডকুমেন্ট এআই হিউম্যান-ইন-দ্য-লুপ সফলভাবে ব্যবহার করেছেন।

ক্লিনআপ

এই টিউটোরিয়ালে ব্যবহৃত সংস্থানগুলির জন্য আপনার Google ক্লাউড অ্যাকাউন্টে চার্জ এড়াতে:

• ক্লাউড কনসোলে, সম্পদ পরিচালনা পৃষ্ঠাতে যান।
• প্রকল্প তালিকায়, আপনার প্রকল্প নির্বাচন করুন তারপর মুছুন ক্লিক করুন.
• ডায়ালগে, প্রকল্প আইডি টাইপ করুন এবং তারপরে প্রকল্পটি মুছে ফেলতে শাট ডাউন ক্লিক করুন।

আরও জানুন

এই ফলো-আপ কোডল্যাবগুলির সাথে ডকুমেন্ট এআই সম্পর্কে শেখা চালিয়ে যান।

• পাইথনের সাথে ডকুমেন্ট এআই প্রসেসর পরিচালনা করা

সম্পদ

• নথির ভবিষ্যত - YouTube প্লেলিস্ট
• ডকুমেন্ট এআই ডকুমেন্টেশন
• নথি এআই পাইথন ক্লায়েন্ট লাইব্রেরি
• নথি AI নমুনা

লাইসেন্স

এই কাজটি ক্রিয়েটিভ কমন্স অ্যাট্রিবিউশন 2.0 জেনেরিক লাইসেন্সের অধীনে লাইসেন্সপ্রাপ্ত।