নথি এআই: লুপে মানব

1. ভূমিকা

ডকুমেন্ট এআই এপিআই হল একটি ডকুমেন্ট বোঝার সমাধান যা ডকুমেন্ট, ইমেল ইত্যাদির মতো অসংগঠিত ডেটা গ্রহণ করে এবং ডেটা বোঝা, বিশ্লেষণ এবং ব্যবহার করা সহজ করে তোলে।

মানব পর্যালোচনার মাধ্যমে আপনি মানব পর্যালোচনার নিশ্চয়তার সাথে উচ্চতর ডকুমেন্ট প্রক্রিয়াকরণ নির্ভুলতা অর্জন করতে পারেন। মানব পর্যালোচনা নির্ভুলতা বৃদ্ধি করতে পারে এবং ব্যবসাগুলিকে উদ্দেশ্য-নির্মিত সরঞ্জামগুলি ব্যবহার করে ভবিষ্যদ্বাণী মূল্যায়ন করতে সহায়তা করে যাতে পর্যালোচনাগুলি সক্ষম হয়। এই ল্যাবে, আপনি মানব-ইন-দ্য-লুপ কনফিগারেশন এবং পরিচালনা সরঞ্জামগুলি ব্যবহার করে প্রসেসরের ফলাফল যাচাই করার জন্য মানব পর্যালোচনা ব্যবহার করে একটি ব্যয় প্রসেসর কনফিগার এবং পরীক্ষা করবেন।

পূর্বশর্ত

এই কোডল্যাবটি অন্যান্য ডকুমেন্ট এআই কোডল্যাবগুলিতে উপস্থাপিত বিষয়বস্তুর উপর ভিত্তি করে তৈরি।

এগিয়ে যাওয়ার আগে নিম্নলিখিত কোডল্যাবগুলি সম্পূর্ণ করার পরামর্শ দেওয়া হচ্ছে।

তুমি কি শিখবে

  • একটি প্রসেসরের জন্য মানব পর্যালোচনা কনফিগার করুন।
  • একটি মানব পর্যালোচনা ব্যবহারকারী রিসোর্স পুল তৈরি করুন।
  • একটি পরীক্ষামূলক মানব পর্যালোচনা টাস্ক তৈরি করুন।
  • একজন ব্যবহারকারীকে একটি মানব পর্যালোচনার কাজ অর্পণ করুন।
  • একটি নথির মানবিক পর্যালোচনা সম্পূর্ণ করুন।

তোমার যা লাগবে

  • একটি গুগল ক্লাউড প্রকল্প
  • একটি ব্রাউজার, যেমন ক্রোম বা ফায়ারফক্স
  • পাইথন ৩ সম্পর্কে জ্ঞান

2. সেট আপ করা

এই কোডল্যাব ধরে নিচ্ছে যে আপনি Introductory Codelab- এ তালিকাভুক্ত ডকুমেন্ট এআই সেটআপ ধাপগুলি সম্পন্ন করেছেন।

এগিয়ে যাওয়ার আগে অনুগ্রহ করে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

আপনাকে Vertex AI API সক্রিয় করতে হবে।

  1. কনসোলের উপরে থাকা সার্চ বার ব্যবহার করে, "Vertex AI API" অনুসন্ধান করুন, তারপর আপনার Google ক্লাউড প্রকল্পে API ব্যবহার করতে সক্ষম করুন এ ক্লিক করুন।
  2. বিকল্পভাবে, নিম্নলিখিত gcloud কমান্ড ব্যবহার করে API সক্রিয় করা যেতে পারে। 
gcloud services enable aiplatform.googleapis.com

৩. একটি প্রসেসর তৈরি করুন

এই ল্যাবের জন্য ব্যবহার করার জন্য আপনাকে প্রথমে Expense Processor এর একটি উদাহরণ তৈরি করতে হবে।

  1. কনসোলে, ডকুমেন্ট এআই প্ল্যাটফর্ম ওভারভিউতে নেভিগেট করুন।
  2. Create Processor এ ক্লিক করুন, Specialized এ স্ক্রোল করুন এবং Expense Parser নির্বাচন করুন।
  3. এটির নাম দিন codelab-expense-parser (অথবা অন্য কিছু যা আপনার মনে থাকবে) এবং তালিকার সবচেয়ে কাছের অঞ্চলটি নির্বাচন করুন।
  4. আপনার প্রসেসর তৈরি করতে Create এ ক্লিক করুন।
  5. প্রসেসর আইডি কপি করুন। পরে আপনার কোডে এটি ব্যবহার করতে হবে।
  6. ক্লাউড শেলে, PROJECT_ID-hitl-results নামটি ব্যবহার করে একটি স্টোরেজ বাকেট তৈরি করুন: 
export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs://$PROJECT_ID-hitl-results
  1. আপনার ল্যাব প্রকল্পে আপনার ব্যবহারকারী অ্যাকাউন্টটি Vertex AI Admin IAM ভূমিকার সাথে আবদ্ধ করুন। 
export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

৪. হিউম্যান-ইন-দ্য-লুপ কনফিগার করুন

এই কাজে, আপনি আগে তৈরি করা ব্যয় প্রসেসরের জন্য মানব পর্যালোচনা কনফিগার করবেন।

  1. কনসোলে, নেভিগেশন মেনু খুলুন এবং ডকুমেন্ট এআই নির্বাচন করুন।
  2. Human-in-the-loop AI-তে ক্লিক করুন। HITLমেনু
  3. প্রসেসরের জন্য হিউম্যান রিভিউ পৃষ্ঠা খুলতে codelab-expense-parser ক্লিক করুন।
  4. "হিউম্যান-ইন-দ্য-লুপ" কনফিগার করুন এ ক্লিক করুন।

HITL কনফিগার করুন

  1. ডকুমেন্ট লেভেল ফিল্টার নির্বাচন করুন।
  2. কনফিডেন্স থ্রেশহোল্ড % স্লাইডারটি 50% এ সেট করুন।
  3. Specialists বিকল্পটি Use my own specialists এ সেট করে রাখুন।

হিটলিফিল্টার

  1. স্পেশালিস্ট পুল ড্রপ ডাউন বক্সে ক্লিক করুন এবং NEW SPECIALIST POOL এ ক্লিক করুন।
  2. পুলের নামের জন্য নতুন বিশেষজ্ঞ পুল ডায়ালগে Codelab HITL Pool লিখুন।
  3. পুল ম্যানেজার এবং বিশেষজ্ঞদের জন্য আপনার ব্যক্তিগত ইমেল ঠিকানা লিখুন।
  4. পুল তৈরি করুন ক্লিক করুন।

HITLবিশেষজ্ঞপুল

এটি সম্পন্ন হতে কয়েক মিনিট সময় লাগবে। আপনি Vertex AI noreply-vertex@google.com থেকে একটি ইমেল পাবেন।

  1. অটো-অ্যাসাইনমেন্ট চেকবক্সটি আনচেক করে রাখুন।
  2. চার্জ নিশ্চিত করুন বিভাগে চেকবক্সে ক্লিক করুন।
  3. নির্দেশাবলীর অবস্থানে ক্লিক করুন এবং এই স্টোরেজ অবস্থানে অনুলিপি করুন: - পাথে gs:// উপসর্গটি অন্তর্ভুক্ত করবেন না । 
cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf
  1. ফলাফল অবস্থানে , ব্রাউজ করুন এ ক্লিক করুন এবং আপনার আগে তৈরি করা ক্লাউড স্টোরেজ বাকেটটি নির্বাচন করুন।
  2. নির্বাচন করুন ক্লিক করুন।
  3. কনফিগারেশন সংরক্ষণ করুন ক্লিক করুন।

কনসোলটি এখন "কনফিগারিং হিউম্যান-ইন-দ্য-লুপ" বলবে এবং এটি সম্পূর্ণ হতে কয়েক মিনিট সময় লাগবে।

হিটল লোডিং

  1. কনফিগারেশন সম্পূর্ণ হলে, কনসোল আপনাকে Human-in-the-loop সক্ষম করতে বলবে।
  • সক্রিয় করতে সুইচ বোতামে ক্লিক করুন।
  • তারপর পপ-আপ ডায়ালগে ENABLE এ ক্লিক করুন।

হিটলনেবল

একটি নমুনা ব্যয় ফর্ম আপলোড করুন

  1. আমাদের কাছে গুগল ক্লাউড স্টোরেজে ব্যবহারের জন্য একটি নমুনা ফর্ম আছে। আপনি নীচের বোতাম বা কমান্ড ব্যবহার করে এটি ডাউনলোড করতে পারেন:

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .
  1. Human-in-the-loop সক্ষম করার পর, Upload Document বোতামে ক্লিক করুন এবং আপনার ডাউনলোড করা নমুনা ডকুমেন্টটি ব্রাউজ করুন।
  2. আপলোড এ ক্লিক করুন এবং এটি সম্পূর্ণ হওয়ার জন্য অপেক্ষা করুন।

৫. মানব পর্যালোচনার জন্য একটি আইটেম বরাদ্দ করুন

  1. এই পৃষ্ঠায়, আপনি পুল ম্যানেজার এবং স্পেশালিস্ট কনসোলের লিঙ্কগুলি দেখতে পাবেন। এই লিঙ্কগুলি Vertex AI noreply-vertex@google.com থেকে আসা একটি ইমেলেও দেখা যাবে।
    • এগুলো https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks এর মতো দেখতে হবে
    • ম্যানেজার কনসোলের লিঙ্কে ক্লিক করুন।

  1. ডেটা লেবেলিং কনসোলে একবার, টাস্ক অ্যাসাইনমেন্ট পৃষ্ঠাটি খুলতে টাস্ক ট্যাবের শিরোনামে ক্লিক করুন।
  2. Unassigned চেক বক্সে ক্লিক করুন। আপনি দেখতে পাবেন যে codelab-expense-parser-P1 টাস্ক কিউ-এর বিপরীতে একটি নতুন এন্ট্রি তালিকাভুক্ত করা হয়েছে।

চিত্র

  1. কোডল্যাব-এক্সপেনস-পার্সার-পি১ নির্বাচন করুন।
  2. অ্যাসাইনমেন্ট পরিচালনা করুন ক্লিক করুন।
  3. "ইমেল দ্বারা বিশেষজ্ঞদের অন্তর্ভুক্ত করুন" টেক্সট বক্সে আপনার নিজস্ব ব্যক্তিগত ইমেল লিখুন এবং তারপর ড্রপডাউন তালিকা থেকে এটি নির্বাচন করুন।
  4. প্রয়োগ করুন ক্লিক করুন।

ডিসপ্লেতে এখন দেখা যাচ্ছে যে কাজটি আপনাকে অর্পণ করা হয়েছে। আপনি হয়তো দেখতে পাবেন যে এটি প্রচারিত হতে এবং দৃশ্যমান হতে কয়েক মিনিট সময় নিতে পারে।

চিত্র

  1. নতুন ব্যবহারকারী নির্বাচন করুন এবং মেনু আইকনে ক্লিক করুন।
  2. প্রদর্শিত পপ-আপ মেনু থেকে "সকল কাজ বরাদ্দ করুন" এ ক্লিক করুন।

চিত্র

  1. পরিবর্তনগুলি কমিট করুন এ ক্লিক করুন।
  2. কমিট ক্লিক করুন।

চিত্র

৬. মানব পর্যালোচনার কাজ সম্পাদন করুন

  1. ক্লাউড কনসোলে হিউম্যান-ইন-দ্য-লুপ কনফিগারেশন পৃষ্ঠায় ফিরে যান।

স্পেশালিস্ট (ওয়ার্কার) কনসোলটি দেখতে লিঙ্কটিতে ক্লিক করুন। এটি https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx এর মতো দেখাবে।

কর্মী কনসোলটি খুলবে এবং আপনার নতুন কাজটি তালিকাভুক্ত করবে।

চিত্র

  1. "Meeting with 4m" লেখা লাইন আইটেমের উপর কার্সার রাখুন এবং সম্পাদনা (পেন্সিল) আইকনে ক্লিক করুন।
  2. মানটি সম্পাদনা করে টেক্সটটি "Meeting with Adam" লেখাটি পরিবর্তন করুন। টেক্সটটি দেখতে আপনাকে টেক্সট বক্সে নিচে স্ক্রোল করতে হতে পারে।
  3. প্রয়োগ করুন ক্লিক করুন।
  4. নিচের আইটেমটির জন্য নিশ্চিত করুন (সবুজ টিক) আইকনে ক্লিক করুন। চিত্র
  5. অন্যান্য হাইলাইট করা সত্তাগুলির জন্য নিশ্চিতকরণ আইকনে ক্লিক করুন।
  6. জমা দিন ক্লিক করুন। পর্যালোচনার কাজটি এখন আপনার লেবেলার সারি থেকে সরানো হয়েছে।

৭. সম্পন্ন কাজগুলি দেখুন

  1. ম্যানেজার কনসোলে ফিরে যান।
  2. টাস্কে ক্লিক করুন এবং চলমান নির্বাচন করুন। চিত্র
  3. বিশেষজ্ঞদের উপর ক্লিক করুন।
  4. আপনার ইমেল ঠিকানা নির্বাচন করুন।
  5. অ্যাসাইনমেন্ট পরিচালনা করুন ক্লিক করুন।
  6. Select specialists working on specific tasks নির্বাচন করুন এবং Select tasks ড্রপডাউন থেকে expense-processor-P1 নির্বাচন করুন। প্রতিটি নির্বাচনের জন্য প্রয়োগ করুন ক্লিক করুন। আপনার জন্য নির্ধারিত expense-processor-P1 এর প্রসঙ্গ মেনুতে, View Specialists নির্বাচন করুন।

চিত্র

লেবেলার কর্তৃক লেবেলিং টাস্ক জমা দেওয়ার পর, উত্তর দেওয়া কাজের সংখ্যা এবং মোট সময় আপডেট করা হবে, তবে এই ভিউতে থাকা ডেটা প্রদর্শিত হতে কয়েক মিনিট সময় লাগতে পারে।

  1. বিশেষজ্ঞ পপ-আপ বন্ধ করুন এবং বিশেষজ্ঞ ট্যাবটি দেখুন।
  2. আপনার ব্যবহারকারীর নামের প্রসঙ্গ মেনুতে ক্লিক করুন এবং কাজগুলি দেখুন নির্বাচন করুন।

এই ভিউতে ব্যবহারকারীর কাজের তালিকা, তাদের সমাপ্তির সংখ্যা এবং সময়কালের পরিমাণ দেখানো হয়েছে, যা নীচে দেখানো হয়েছে:

চিত্র

৮. অভিনন্দন

অভিনন্দন, আপনি ডকুমেন্ট এআই এক্সপেন্স প্রসেসর ব্যবহার করে প্রক্রিয়াজাত নথির জন্য মানব পর্যালোচনা কনফিগার করতে ডকুমেন্ট এআই হিউম্যান-ইন-দ্য-লুপ সফলভাবে ব্যবহার করেছেন।

পরিষ্কার করা

এই টিউটোরিয়ালে ব্যবহৃত রিসোর্সের জন্য আপনার গুগল ক্লাউড অ্যাকাউন্টে চার্জ এড়াতে:

  • ক্লাউড কনসোলে, রিসোর্স পরিচালনা পৃষ্ঠায় যান।
  • প্রকল্পের তালিকায়, আপনার প্রকল্প নির্বাচন করুন এবং তারপর মুছুন ক্লিক করুন।
  • ডায়ালগে, প্রজেক্ট আইডি টাইপ করুন এবং তারপর প্রজেক্টটি মুছে ফেলতে Shut down এ ক্লিক করুন।

আরও জানুন

এই ফলো-আপ কোডল্যাবগুলির সাহায্যে ডকুমেন্ট এআই সম্পর্কে শেখা চালিয়ে যান।

রিসোর্স

লাইসেন্স

এই কাজটি ক্রিয়েটিভ কমন্স অ্যাট্রিবিউশন ২.০ জেনেরিক লাইসেন্সের অধীনে লাইসেন্সপ্রাপ্ত।