১. ভূমিকা
ডকুমেন্ট এআই হলো একটি ডকুমেন্ট বোঝার সমাধান, যা ডকুমেন্ট, ইমেল ইত্যাদির মতো অসংগঠিত ডেটাকে আরও সহজে বোঝা, বিশ্লেষণ করা এবং ব্যবহার করার উপযোগী করে তোলে।
ডকুমেন্ট এআই ওয়ার্কবেঞ্চের সাহায্যে, আপনি আপনার নিজস্ব প্রশিক্ষণ ডেটা ব্যবহার করে সম্পূর্ণ কাস্টমাইজড মডেল তৈরি করার মাধ্যমে ডকুমেন্ট প্রক্রিয়াকরণের উচ্চতর নির্ভুলতা অর্জন করতে পারেন।
এই ল্যাবে, আপনি একটি কাস্টম ডকুমেন্ট এক্সট্র্যাকশন প্রসেসর তৈরি করবেন, একটি ডেটাসেট ইম্পোর্ট করবেন, উদাহরণ ডকুমেন্টগুলোতে লেবেল যুক্ত করবেন এবং প্রসেসরটিকে প্রশিক্ষণ দেবেন।
এই ল্যাবে ব্যবহৃত ডকুমেন্ট ডেটাসেটটি ক্যাগল-এ থাকা CC0: পাবলিক ডোমেইন লাইসেন্সযুক্ত একটি নকল W-2 (মার্কিন ট্যাক্স ফর্ম) ডেটাসেট থেকে নেওয়া হয়েছে।
পূর্বশর্ত
এই কোডল্যাবটি ডকুমেন্ট এআই-এর অন্যান্য কোডল্যাবে উপস্থাপিত বিষয়বস্তুর উপর ভিত্তি করে তৈরি করা হয়েছে।
এগিয়ে যাওয়ার আগে নিম্নলিখিত কোডল্যাবগুলো সম্পন্ন করার পরামর্শ দেওয়া হচ্ছে।
- ডকুমেন্ট এআই (পাইথন) ব্যবহার করে অপটিক্যাল ক্যারেক্টার রিকগনিশন (OCR)
- ডকুমেন্ট এআই (পাইথন) ব্যবহার করে ফর্ম পার্সিং
- ডকুমেন্ট এআই (পাইথন) সহ বিশেষায়িত প্রসেসর
- পাইথন ব্যবহার করে ডকুমেন্ট এআই প্রসেসর পরিচালনা করা
- ডকুমেন্ট এআই: হিউম্যান ইন লুপ
- ডকুমেন্ট এআই: আপট্রেনিং
আপনি যা শিখবেন
- একটি কাস্টম ডকুমেন্ট এক্সট্র্যাক্টর প্রসেসর তৈরি করুন।
- অ্যানোটেশন টুল ব্যবহার করে ডকুমেন্ট এআই প্রশিক্ষণ ডেটা লেবেল করুন।
- একটি নতুন মডেল সংস্করণকে প্রশিক্ষণ দিন।
- নতুন মডেল সংস্করণটির নির্ভুলতা মূল্যায়ন করুন।
আপনার যা যা লাগবে
- একটি গুগল ক্লাউড প্রজেক্ট
- একটি ব্রাউজার, যেমন ক্রোম বা ফায়ারফক্স
২. প্রস্তুতি গ্রহণ
এই কোডল্যাবটি ধরে নেয় যে আপনি প্রারম্ভিক কোডল্যাবে তালিকাভুক্ত ডকুমেন্ট এআই সেটআপ ধাপগুলো সম্পন্ন করেছেন।
এগিয়ে যাওয়ার আগে অনুগ্রহ করে নিম্নলিখিত ধাপগুলো সম্পন্ন করুন:
৩. একটি প্রসেসর তৈরি করুন
এই ল্যাবটি ব্যবহারের জন্য আপনাকে প্রথমে একটি কাস্টম ডকুমেন্ট এক্সট্র্যাক্টর প্রসেসর তৈরি করতে হবে।
- কনসোলে, ডকুমেন্ট এআই ওভারভিউ পৃষ্ঠায় যান।
- Create Custom Processor-এ ক্লিক করুন এবং Custom Document Extractor নির্বাচন করুন।
- এটির নাম দিন
codelab-custom-extractor(অথবা এমন কিছু যা আপনার মনে থাকবে) এবং তালিকা থেকে সবচেয়ে কাছের অঞ্চলটি নির্বাচন করুন।
- আপনার প্রসেসর তৈরি করতে Create-এ ক্লিক করুন। এরপর আপনি Processor Overview পৃষ্ঠাটি দেখতে পাবেন।
৪. একটি ডেটাসেট তৈরি করুন
আমাদের প্রসেসরকে প্রশিক্ষণ দেওয়ার জন্য, আমাদেরকে প্রশিক্ষণ এবং পরীক্ষার ডেটা সহ একটি ডেটাসেট তৈরি করতে হবে, যা প্রসেসরকে আমাদের নিষ্কাশন করতে চাওয়া সত্তাগুলো শনাক্ত করতে সাহায্য করবে।
- প্রসেসর ওভারভিউ পৃষ্ঠায়, আপনার ডেটাসেট কনফিগার করুন -এ ক্লিক করুন।
- আপনি এখন ডেটাসেট কনফিগার করুন (Configure Dataset) পৃষ্ঠায় থাকবেন। আপনি যদি প্রশিক্ষণ ডকুমেন্ট এবং লেবেল সংরক্ষণের জন্য নিজের বাকেট নির্দিষ্ট করতে চান, তাহলে উন্নত বিকল্প দেখান (Show Advanced Options )-এ ক্লিক করুন। অন্যথায়, শুধু চালিয়ে যান (Continue )-এ ক্লিক করুন।
- ডেটা সেট তৈরি হওয়া পর্যন্ত অপেক্ষা করুন, তারপর এটি আপনাকে প্রশিক্ষণ পৃষ্ঠায় নিয়ে যাবে।
৫. একটি পরীক্ষার নথি আমদানি করুন
এখন, আমাদের ডেটাসেটে একটি নমুনা W2 পিডিএফ ইম্পোর্ট করা যাক।
- ডকুমেন্ট ইম্পোর্ট করতে ক্লিক করুন
- এই ল্যাবে ব্যবহারের জন্য আমাদের কাছে একটি নমুনা পিডিএফ আছে। নিচের লিঙ্কটি কপি করে সোর্স পাথ (Source Path) বক্সে পেস্ট করুন। আপাতত 'ডেটা স্প্লিট' (Data split) 'আনঅ্যাসাইনড' (Unassigned) রাখুন। অন্য সব বক্স আনচেকড রাখুন। ইমপোর্ট (Import) বাটনে ক্লিক করুন।
cloud-samples-data/documentai/codelabs/custom/extractor/pdfs
- ডকুমেন্টটি ইম্পোর্ট হওয়ার জন্য অপেক্ষা করুন। এতে ১ মিনিটেরও কম সময় লাগা উচিত।
- ইম্পোর্ট সম্পন্ন হলে, আপনি ট্রেনিং পেজে ডকুমেন্টটি দেখতে পাবেন।
৬. লেবেল তৈরি করুন
যেহেতু আমরা একটি নতুন প্রসেসর টাইপ তৈরি করছি, তাই Document AI-কে কোন ফিল্ডগুলো এক্সট্র্যাক্ট করতে চাই তা জানানোর জন্য কাস্টম লেবেল তৈরি করতে হবে।
- নিচের বাম কোণায় থাকা 'Edit Schema'- তে ক্লিক করুন।
- আপনি এখন স্কিমা ম্যানেজমেন্ট কনসোলে থাকবেন।
- Create Label বাটনটি ব্যবহার করে নিম্নলিখিত লেবেলগুলো তৈরি করুন।
নাম | ডেটা টাইপ | ঘটনা |
| সংখ্যা | একাধিক প্রয়োজন |
| সাধারণ পাঠ্য | একাধিক প্রয়োজন |
| সাধারণ পাঠ্য | একাধিক প্রয়োজন |
| ঠিকানা | একাধিক প্রয়োজন |
| টাকা | একাধিক প্রয়োজন |
| টাকা | একাধিক প্রয়োজন |
| টাকা | একাধিক প্রয়োজন |
| টাকা | একাধিক প্রয়োজন |
- সম্পূর্ণ হলে কনসোলটি দেখতে এইরকম হবে। কাজ শেষ হলে সেভ-এ ক্লিক করুন।
- ট্রেনিং পেজে ফিরে যেতে ব্যাক অ্যারোতে ক্লিক করুন। লক্ষ্য করুন যে আমাদের তৈরি করা লেবেলগুলো নিচের-বাম কোণে দেখা যাচ্ছে।
৭. পরীক্ষার নথিটি চিহ্নিত করুন।
এরপরে, আমরা যে সত্তাগুলো নিষ্কাশন করতে চাই, সেগুলোর জন্য পাঠ্য উপাদান এবং লেবেল শনাক্ত করব। এই লেবেলগুলো আমাদের মডেলকে এই নির্দিষ্ট নথির কাঠামো বিশ্লেষণ করতে এবং সঠিক প্রকারগুলো শনাক্ত করতে প্রশিক্ষণ দিতে ব্যবহৃত হবে।
- লেবেলিং কনসোলে প্রবেশ করতে, পূর্বে ইম্পোর্ট করা ডকুমেন্টটির উপর ডাবল-ক্লিক করুন। এটি দেখতে অনেকটা এইরকম হবে।
- 'বাউন্ডিং বক্স' টুলে ক্লিক করুন, তারপর '1173038' লেখাটি হাইলাইট করুন এবং
CONTROL_NUMBERলেবেলটি নির্ধারণ করুন। আপনি লেবেলের নাম খোঁজার জন্য টেক্সট ফিল্টার ব্যবহার করতে পারেন।
-
CONTROL_NUMBERএর অপর দৃষ্টান্তটির জন্য সম্পূর্ণ করুন। লেবেল করার পর এটি দেখতে এইরকম হবে।
- নিম্নলিখিত টেক্সট ভ্যালুগুলোর সকল দৃষ্টান্ত হাইলাইট করুন এবং উপযুক্ত লেবেল নির্ধারণ করুন।
লেবেলের নাম | পাঠ্য |
| ২৪-৩১৮৮৮১০ |
| ১৯১২৭.২ |
| ৫০৯৩.৭১ |
| ৬৬৫৮৪.৪৬ |
| ৫৬০৮১.১৮ |
| ৭১৪-৩২-২১০৫ |
| অ্যাডামস, চেজ এবং গিলবার্ট ইনকর্পোরেটেড ৯৭২ গঞ্জালেজ ড্যাম সাউথ ক্যাথরিন এনসি ৯৫৮৬৯-৫১৭৮ |
- সম্পূর্ণ হলে লেবেলযুক্ত ডকুমেন্টটি দেখতে এইরকম হবে। মনে রাখবেন, আপনি ডকুমেন্টের বাউন্ডিং বক্সে অথবা বাম দিকের মেনুতে থাকা লেবেলের নাম/মানের উপর ক্লিক করে এই লেবেলগুলিতে পরিবর্তন আনতে পারেন। লেবেল দেওয়া শেষ হলে ‘Mark As Labeled’- এ ক্লিক করুন, তারপর ডেটাসেট ম্যানেজমেন্ট কনসোলে ফিরে যান।
৮. প্রশিক্ষণ সেটে নথি বরাদ্দ করুন
আপনি এখন ডেটাসেট ম্যানেজমেন্ট কনসোলে ফিরে এসেছেন। লক্ষ্য করুন যে লেবেলযুক্ত ও লেবেলবিহীন ডকুমেন্টের সংখ্যা এবং প্রতিটি লেবেলের ইনস্ট্যান্সের সংখ্যা পরিবর্তিত হয়েছে।
- আমাদের এই ডকুমেন্টটিকে 'ট্রেনিং' অথবা 'টেস্ট' সেটের যেকোনো একটিতে অন্তর্ভুক্ত করতে হবে। ডকুমেন্টটির উপর ক্লিক করুন, 'অ্যাসাইন টু সেট'-এ ক্লিক করুন, তারপর 'ট্রেনিং'- এ ক্লিক করুন।
- লক্ষ্য করুন, ডেটা স্প্লিট নম্বরগুলো পরিবর্তিত হয়েছে।
৯. পূর্ব-লেবেলযুক্ত ডেটা আমদানি করুন
ডকুমেন্ট এআই কাস্টম প্রসেসরের জন্য ট্রেনিং এবং টেস্ট সেট উভয়টিতেই ন্যূনতম ১০টি ডকুমেন্ট এবং প্রতিটি সেটে প্রতিটি লেবেলের ১০টি করে ইনস্ট্যান্স প্রয়োজন।
সর্বোত্তম পারফরম্যান্সের জন্য প্রতিটি সেটে কমপক্ষে ৫০টি ডকুমেন্ট এবং প্রতিটি লেবেলের ৫০টি করে নমুনা রাখার পরামর্শ দেওয়া হয়। সাধারণত, বেশি ট্রেনিং ডেটা মানেই হলো উচ্চতর নির্ভুলতা।
সমস্ত নথি হাতে হাতে লেবেল করতে অনেক সময় লাগবে, তাই আমাদের কাছে আগে থেকে লেবেল করা কিছু নথি আছে যা আপনি এই ল্যাবের জন্য ইম্পোর্ট করতে পারেন।
আপনি Document.json ফরম্যাটে আগে থেকে লেবেল করা ডকুমেন্ট ফাইল ইম্পোর্ট করতে পারেন। এগুলো কোনো প্রসেসরকে কল করার এবং Human in the Loop (HITL) ব্যবহার করে নির্ভুলতা যাচাই করার ফলাফল হতে পারে।
নেতিবাচক বাদ দিন
দ্রষ্টব্য: আগে থেকে লেবেল করা ডেটা ইম্পোর্ট করার সময়, মডেল প্রশিক্ষণের পূর্বে অ্যানোটেশনগুলো ম্যানুয়ালি পর্যালোচনা করার জন্য দৃঢ়ভাবে সুপারিশ করা হচ্ছে।
- ইমপোর্ট ডকুমেন্টস -এ ক্লিক করুন।
- নিম্নলিখিত ক্লাউড স্টোরেজ পাথটি কপি/পেস্ট করুন এবং ট্রেনিং সেটে এটি বরাদ্দ করুন।
cloud-samples-data/documentai/codelabs/custom/extractor/training
- ‘Add Another Folder’- এ ক্লিক করুন। এরপর নিচের ক্লাউড স্টোরেজ পাথটি কপি/পেস্ট করে টেস্ট সেটে বরাদ্দ করুন।
cloud-samples-data/documentai/codelabs/custom/extractor/test
- ইমপোর্ট-এ ক্লিক করুন এবং ডকুমেন্টগুলো ইমপোর্ট হওয়া পর্যন্ত অপেক্ষা করুন। এবার প্রসেস করার জন্য ডকুমেন্টের সংখ্যা বেশি হওয়ায়, গতবারের চেয়ে বেশি সময় লাগবে। এতে প্রায় ৬ মিনিট সময় লাগতে পারে, আপনি এই পেজটি ছেড়ে পরে আবার ফিরে আসতে পারেন।
- একবার সম্পন্ন হলে, আপনি প্রশিক্ষণ পৃষ্ঠায় নথিগুলো দেখতে পাবেন।
১০. মডেলটিকে প্রশিক্ষণ দিন
এখন, আমরা আমাদের কাস্টম ডকুমেন্ট এক্সট্র্যাক্টরের প্রশিক্ষণ শুরু করতে প্রস্তুত।
- নতুন সংস্করণে ট্রেন করতে ক্লিক করুন
- আপনার ভার্সনটির এমন একটি নাম দিন যা আপনার মনে থাকবে, যেমন
codelab-custom-1। "প্রশিক্ষণ পদ্ধতি"-এর জন্য, "শুরু থেকে প্রশিক্ষণ" নির্বাচন করুন।
- (ঐচ্ছিক) আপনার ডেটাসেটের লেবেলগুলো সম্পর্কিত মেট্রিক দেখতে আপনি ‘ভিউ লেবেল স্ট্যাটস’ নির্বাচন করতে পারেন।
- প্রশিক্ষণ প্রক্রিয়া শুরু করতে 'স্টার্ট ট্রেনিং'- এ ক্লিক করুন। আপনাকে ডেটাসেট ম্যানেজমেন্ট পেজে নিয়ে যাওয়া হবে। আপনি ডানদিকে প্রশিক্ষণের অবস্থা দেখতে পারবেন। প্রশিক্ষণটি সম্পূর্ণ হতে কয়েক ঘণ্টা সময় লাগবে। আপনি এই পেজটি ছেড়ে পরে আবার ফিরে আসতে পারেন।
- ভার্সনের নামে ক্লিক করলে আপনাকে 'ম্যানেজ ভার্সনস' পেজে নিয়ে যাওয়া হবে, যেখানে ভার্সন আইডি এবং ট্রেনিং জবটির বর্তমান স্ট্যাটাস দেখা যায়।
১১. নতুন মডেল সংস্করণটি পরীক্ষা করুন
একবার ট্রেনিং জবটি সম্পূর্ণ হয়ে গেলে (আমার পরীক্ষায় এতে প্রায় ১ ঘন্টা সময় লেগেছিল), আপনি এখন নতুন মডেল সংস্করণটি পরীক্ষা করে দেখতে পারেন এবং প্রেডিকশনের জন্য এটি ব্যবহার করা শুরু করতে পারেন।
- ম্যানেজ ভার্সন পেজে যান। এখানে আপনি বর্তমান স্ট্যাটাস এবং এফ১ স্কোর দেখতে পাবেন।
- ব্যবহার করার আগে আমাদের এই মডেল সংস্করণটি ডেপ্লয় করতে হবে। ডানদিকের উল্লম্ব ডটগুলোতে ক্লিক করুন এবং ‘Deploy Version’ নির্বাচন করুন।
- পপ-আপ উইন্ডো থেকে 'Deploy' নির্বাচন করুন এবং ভার্সনটি ডেপ্লয় হওয়ার জন্য অপেক্ষা করুন। এটি সম্পন্ন হতে কয়েক মিনিট সময় লাগবে। ডেপ্লয় হয়ে গেলে, আপনি এই ভার্সনটিকে ডিফল্ট ভার্সন হিসেবেও সেট করতে পারেন।
- ডেপ্লয়মেন্ট শেষ হয়ে গেলে, ইভ্যালুয়েট ট্যাবে যান। এই পেজে আপনি সম্পূর্ণ ডকুমেন্ট এবং প্রতিটি লেবেলের জন্য F1 স্কোর, প্রিসিশন ও রিকল সহ ইভ্যালুয়েশন মেট্রিকগুলো দেখতে পারবেন। এই মেট্রিকগুলো সম্পর্কে আরও বিস্তারিত জানতে আপনি অটোএমএল ডকুমেন্টেশন পড়তে পারেন।
- নিচের লিঙ্ক থেকে পিডিএফ ফাইলটি ডাউনলোড করুন। এটি একটি নমুনা W2 যা প্রশিক্ষণ বা পরীক্ষা সেটে অন্তর্ভুক্ত ছিল না।
- আপলোড টেস্ট ডকুমেন্ট- এ ক্লিক করুন এবং পিডিএফ ফাইলটি নির্বাচন করুন।
- নিষ্কাশিত সত্তাগুলো দেখতে অনেকটা এইরকম হবে।
১২. ঐচ্ছিক: নতুন আমদানি করা নথিগুলিতে স্বয়ংক্রিয়ভাবে লেবেল যুক্ত করুন
একটি প্রশিক্ষিত প্রসেসর সংস্করণ স্থাপন করার পর, নতুন ডকুমেন্ট ইম্পোর্ট করার সময় লেবেলিং-এর খরচ বাঁচাতে আপনি অটো-লেবেলিং ব্যবহার করতে পারেন।
- ট্রেন পেজে, ইমপোর্ট ডকুমেন্টস- এ ক্লিক করুন।
- নিম্নলিখিত পাথটি কপি করে পেস্ট করুন। এই ডিরেক্টরিতে ৫টি লেবেলবিহীন W2 পিডিএফ রয়েছে। ডেটা স্প্লিট ড্রপডাউন তালিকা থেকে ট্রেনিং নির্বাচন করুন।
cloud-samples-data/documentai/Custom/W2/AutoLabel - অটো-লেবেলিং বিভাগে, ‘ইম্পোর্ট উইথ অটো-লেবেলিং’ চেকবক্সটি নির্বাচন করুন।
- ডকুমেন্টগুলোতে লেবেল দেওয়ার জন্য একটি বিদ্যমান প্রসেসর সংস্করণ নির্বাচন করুন।
- উদাহরণস্বরূপ:
2af620b2fd4d1fcf
- ইমপোর্ট-এ ক্লিক করুন এবং ডকুমেন্টগুলো ইমপোর্ট হওয়া পর্যন্ত অপেক্ষা করুন। আপনি এই পেজটি ছেড়ে পরে আবার ফিরে আসতে পারেন।
- সম্পূর্ণ হলে, নথিগুলো ট্রেন পৃষ্ঠার স্বয়ংক্রিয়-লেবেলযুক্ত বিভাগে প্রদর্শিত হয়।
- স্বয়ংক্রিয়ভাবে লেবেল করা নথিগুলিকে লেবেলযুক্ত হিসাবে চিহ্নিত না করে আপনি প্রশিক্ষণ বা পরীক্ষার জন্য সেগুলি ব্যবহার করতে পারবেন না। স্বয়ংক্রিয়ভাবে লেবেল করা নথিগুলি দেখতে ' স্বয়ংক্রিয়-লেবেলযুক্ত' বিভাগে যান।
- লেবেলিং কনসোলে প্রবেশ করতে প্রথম ডকুমেন্টটি নির্বাচন করুন।
- লেবেল, বাউন্ডিং বক্স এবং মানগুলো সঠিক কিনা তা যাচাই করুন। বাদ পড়া মানগুলোকে লেবেল করুন।
- কাজ শেষ হলে 'লেবেলযুক্ত হিসাবে চিহ্নিত করুন ' নির্বাচন করুন।
- স্বয়ংক্রিয়ভাবে লেবেল করা প্রতিটি ডকুমেন্টের জন্য লেবেল যাচাইকরণ প্রক্রিয়াটি পুনরাবৃত্তি করুন, তারপর প্রশিক্ষণের জন্য ডেটা ব্যবহার করতে 'ট্রেন' পৃষ্ঠায় ফিরে যান।
১৩. উপসংহার
অভিনন্দন, আপনি সফলভাবে ডকুমেন্ট এআই ব্যবহার করে একটি কাস্টম ডকুমেন্ট এক্সট্র্যাক্টর প্রসেসরকে প্রশিক্ষণ দিয়েছেন। এখন আপনি যেকোনো স্পেশালাইজড প্রসেসরের মতোই এই প্রসেসরটি ব্যবহার করে এই ফরম্যাটের ডকুমেন্টগুলো পার্স করতে পারবেন।
প্রসেসিং রেসপন্সটি কীভাবে হ্যান্ডেল করতে হয় তা পর্যালোচনা করার জন্য আপনি স্পেশালাইজড প্রসেসরস কোডল্যাবটি দেখতে পারেন।
পরিষ্কার-পরিচ্ছন্নতা
এই টিউটোরিয়ালে ব্যবহৃত রিসোর্সগুলির জন্য আপনার গুগল ক্লাউড অ্যাকাউন্টে চার্জ হওয়া এড়াতে:
- ক্লাউড কনসোলে, রিসোর্স পরিচালনা (Manage resources) পৃষ্ঠায় যান।
- প্রজেক্ট তালিকা থেকে আপনার প্রজেক্টটি নির্বাচন করে ডিলিট-এ ক্লিক করুন।
- ডায়ালগ বক্সে প্রজেক্ট আইডি টাইপ করুন এবং তারপর প্রজেক্টটি মুছে ফেলার জন্য 'শাট ডাউন'-এ ক্লিক করুন।
সম্পদ
- ডকুমেন্ট এআই ওয়ার্কবেঞ্চ ডকুমেন্টেশন
- নথিপত্রের ভবিষ্যৎ - ইউটিউব প্লেলিস্ট
- ডকুমেন্ট এআই ডকুমেন্টেশন
- ডকুমেন্ট এআই পাইথন ক্লায়েন্ট লাইব্রেরি
- এআই নমুনা নথিভুক্ত করুন
লাইসেন্স
এই কাজটি ক্রিয়েটিভ কমন্স অ্যাট্রিবিউশন ২.০ জেনেরিক লাইসেন্সের অধীনে রয়েছে।