1. ভূমিকা
ডকুমেন্ট এআই হল একটি ডকুমেন্ট বোঝার সমাধান যা ডকুমেন্ট, ইমেল ইত্যাদির মতো অসংগঠিত ডেটা গ্রহণ করে এবং ডেটা বোঝা, বিশ্লেষণ এবং ব্যবহার করা সহজ করে তোলে।
ডকুমেন্ট এআই ওয়ার্কবেঞ্চের সাহায্যে, আপনি আপনার নিজস্ব প্রশিক্ষণ ডেটা ব্যবহার করে সম্পূর্ণ কাস্টমাইজড মডেল তৈরি করে উচ্চতর ডকুমেন্ট প্রক্রিয়াকরণ নির্ভুলতা অর্জন করতে পারেন।
এই ল্যাবে, আপনি একটি কাস্টম ডকুমেন্ট এক্সট্রাকশন প্রসেসর তৈরি করবেন, একটি ডেটাসেট আমদানি করবেন, উদাহরণ ডকুমেন্ট লেবেল করবেন এবং প্রসেসরকে প্রশিক্ষণ দেবেন।
এই ল্যাবে ব্যবহৃত ডকুমেন্ট ডেটাসেটটি CC0: পাবলিক ডোমেইন লাইসেন্স সহ Kaggle-এর একটি জাল W-2 (মার্কিন ট্যাক্স ফর্ম) ডেটাসেট থেকে নেওয়া হয়েছে।
পূর্বশর্ত
এই কোডল্যাবটি অন্যান্য ডকুমেন্ট এআই কোডল্যাবগুলিতে উপস্থাপিত বিষয়বস্তুর উপর ভিত্তি করে তৈরি।
এগিয়ে যাওয়ার আগে নিম্নলিখিত কোডল্যাবগুলি সম্পূর্ণ করার পরামর্শ দেওয়া হচ্ছে।
- ডকুমেন্ট এআই (পাইথন) সহ অপটিক্যাল ক্যারেক্টার রিকগনিশন (ওসিআর)
- ডকুমেন্ট এআই (পাইথন) দিয়ে ফর্ম পার্সিং
- ডকুমেন্ট এআই (পাইথন) সহ বিশেষায়িত প্রসেসর
- পাইথন দিয়ে ডকুমেন্ট এআই প্রসেসর পরিচালনা করা
- ডকুমেন্ট এআই: লুপে মানুষ
- ডকুমেন্ট এআই: আপট্রেনিং
তুমি কি শিখবে
- একটি কাস্টম ডকুমেন্ট এক্সট্র্যাক্টর প্রসেসর তৈরি করুন।
- অ্যানোটেশন টুল ব্যবহার করে ডকুমেন্ট এআই প্রশিক্ষণ ডেটা লেবেল করুন।
- একটি নতুন মডেল সংস্করণ প্রশিক্ষণ দিন।
- নতুন মডেল সংস্করণের নির্ভুলতা মূল্যায়ন করুন।
তোমার যা লাগবে
- একটি গুগল ক্লাউড প্রকল্প
- একটি ব্রাউজার, যেমন ক্রোম বা ফায়ারফক্স
2. সেট আপ করা
এই কোডল্যাব ধরে নিচ্ছে যে আপনি Introductory Codelab- এ তালিকাভুক্ত ডকুমেন্ট এআই সেটআপ ধাপগুলি সম্পন্ন করেছেন।
এগিয়ে যাওয়ার আগে অনুগ্রহ করে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
৩. একটি প্রসেসর তৈরি করুন
এই ল্যাবের জন্য ব্যবহার করার জন্য আপনাকে প্রথমে একটি কাস্টম ডকুমেন্ট এক্সট্র্যাক্টর প্রসেসর তৈরি করতে হবে।
- কনসোলে, ডকুমেন্ট এআই ওভারভিউ পৃষ্ঠায় যান।
- Create Custom Processor এ ক্লিক করুন এবং Custom Document Extractor নির্বাচন করুন।
- এটির নাম দিন
codelab-custom-extractor(অথবা অন্য কিছু যা আপনার মনে থাকবে) এবং তালিকার সবচেয়ে কাছের অঞ্চলটি নির্বাচন করুন।
- আপনার প্রসেসর তৈরি করতে Create এ ক্লিক করুন। এরপর আপনার প্রসেসর ওভারভিউ পৃষ্ঠাটি দেখতে হবে।
৪. একটি ডেটাসেট তৈরি করুন
আমাদের প্রসেসরকে প্রশিক্ষণ দেওয়ার জন্য, আমাদের প্রশিক্ষণ এবং পরীক্ষার ডেটা সহ একটি ডেটাসেট তৈরি করতে হবে যা প্রসেসরকে আমরা যে সত্তাগুলি বের করতে চাই তা সনাক্ত করতে সহায়তা করবে।
- প্রসেসর ওভারভিউ পৃষ্ঠায়, আপনার ডেটাসেট কনফিগার করুন এ ক্লিক করুন।
- এখন আপনার ডেটাসেট কনফিগার করুন পৃষ্ঠায় থাকা উচিত। যদি আপনি প্রশিক্ষণ নথি এবং লেবেল সংরক্ষণের জন্য আপনার নিজস্ব বাকেট নির্দিষ্ট করতে চান, তাহলে Show Advanced Options এ ক্লিক করুন। অন্যথায়, কেবল Continue এ ক্লিক করুন।
- ডেটাসেট তৈরি হওয়ার জন্য অপেক্ষা করুন, তারপর এটি আপনাকে প্রশিক্ষণ পৃষ্ঠায় নিয়ে যাবে।
৫. একটি পরীক্ষামূলক নথি আমদানি করুন
এখন, আমাদের ডেটাসেটে একটি নমুনা W2 পিডিএফ আমদানি করা যাক।
- ইমপোর্ট ডকুমেন্টস -এ ক্লিক করুন
- এই ল্যাবে ব্যবহারের জন্য আমাদের কাছে একটি নমুনা PDF আছে। নিচের লিঙ্কটি কপি করে Source Path বক্সে পেস্ট করুন। "Data split" কে আপাতত "Unassigned" হিসেবে রেখে দিন। বাকি সব বক্স আনচেক করে রাখুন। Import এ ক্লিক করুন।
cloud-samples-data/documentai/codelabs/custom/extractor/pdfs
- ডকুমেন্টটি আমদানি হওয়া পর্যন্ত অপেক্ষা করুন। এতে ১ মিনিটেরও কম সময় লাগবে।
- আমদানি সম্পন্ন হলে, আপনি প্রশিক্ষণ পৃষ্ঠায় ডকুমেন্টটি দেখতে পাবেন।
৬. লেবেল তৈরি করুন
যেহেতু আমরা একটি নতুন প্রসেসর টাইপ তৈরি করছি, তাই ডকুমেন্ট এআই-কে কোন ফিল্ডগুলি আমরা বের করতে চাই তা জানানোর জন্য কাস্টম লেবেল তৈরি করতে হবে।
- নীচের বাম কোণে Edit Schema- এ ক্লিক করুন।
- আপনার এখন স্কিমা ম্যানেজমেন্ট কনসোলে থাকা উচিত।
- লেবেল তৈরি করুন বোতামটি ব্যবহার করে নিম্নলিখিত লেবেলগুলি তৈরি করুন।
নাম | ডেটা টাইপ | ঘটনা |
| সংখ্যা | প্রয়োজনীয় একাধিক |
| সরল লেখা | প্রয়োজনীয় একাধিক |
| সরল লেখা | প্রয়োজনীয় একাধিক |
| জানুন | প্রয়োজনীয় একাধিক |
| টাকা | প্রয়োজনীয় একাধিক |
| টাকা | প্রয়োজনীয় একাধিক |
| টাকা | প্রয়োজনীয় একাধিক |
| টাকা | প্রয়োজনীয় একাধিক |
- সম্পূর্ণ হলে কনসোলটি এইরকম দেখাবে। সম্পন্ন হলে সংরক্ষণ করুন এ ক্লিক করুন।
- প্রশিক্ষণ পৃষ্ঠায় ফিরে যেতে পিছনের তীরটিতে ক্লিক করুন। লক্ষ্য করুন যে আমাদের তৈরি লেবেলগুলি নীচের বাম কোণে প্রদর্শিত হবে।
৭. পরীক্ষার নথিতে লেবেল লাগান
এরপর, আমরা যে সত্তাগুলি বের করতে চাই তার জন্য টেক্সট উপাদান এবং লেবেলগুলি সনাক্ত করব। এই লেবেলগুলি আমাদের মডেলকে এই নির্দিষ্ট নথি কাঠামো বিশ্লেষণ করতে এবং সঠিক প্রকারগুলি সনাক্ত করতে প্রশিক্ষণ দিতে ব্যবহার করা হবে।
- লেবেলিং কনসোলে প্রবেশ করার জন্য আমরা আগে যে ডকুমেন্টটি আমদানি করেছি তাতে ডাবল-ক্লিক করুন। এটি দেখতে এরকম কিছু হওয়া উচিত।
- "Bounding Box" টুলে ক্লিক করুন, তারপর "1173038" লেখাটি হাইলাইট করুন এবং
CONTROL_NUMBERলেবেলটি বরাদ্দ করুন। লেবেলের নাম অনুসন্ধান করতে আপনি টেক্সট ফিল্টার ব্যবহার করতে পারেন।
-
CONTROL_NUMBERএর অন্য উদাহরণের জন্য সম্পূর্ণ করুন। লেবেল করার পরে এটি এইরকম দেখাবে।
- নিম্নলিখিত টেক্সট মানের সমস্ত উদাহরণ হাইলাইট করুন এবং উপযুক্ত লেবেল নির্ধারণ করুন।
লেবেলের নাম | টেক্সট |
| ২৪-৩১৮৮৮১০ |
| ১৯১২৭.২ |
| ৫০৯৩.৭১ |
| ৬৬৫৮৪.৪৬ |
| ৫৬০৮১.১৮ |
| ৭১৪-৩২-২১০৫ |
| অ্যাডামস, চেজ এবং গিলবার্ট ইনকর্পোরেটেড 972 গঞ্জালেজ ড্যাম সাউথ ক্যাথেরিন এনসি 95869-5178 |
- লেবেলযুক্ত ডকুমেন্টটি সম্পূর্ণ হয়ে গেলে এইরকম দেখাবে। মনে রাখবেন, আপনি ডকুমেন্টের বাউন্ডিং বক্সে অথবা বাম দিকের মেনুতে লেবেলের নাম/মানে ক্লিক করে এই লেবেলগুলিতে সমন্বয় করতে পারেন। লেবেলিং শেষ হয়ে গেলে Mark As Labeled এ ক্লিক করুন, তারপর Dataset management console এ ফিরে যান।
৮. প্রশিক্ষণ সেটে নথি বরাদ্দ করুন
এখন আপনার ডেটাসেট ম্যানেজমেন্ট কনসোলে ফিরে আসা উচিত। লক্ষ্য করুন যে লেবেলযুক্ত এবং লেবেলবিহীন ডকুমেন্টের সংখ্যা এবং প্রতিটি লেবেলের উদাহরণের সংখ্যা পরিবর্তিত হয়েছে।
- আমাদের এই ডকুমেন্টটি "Training" অথবা "Test" সেটের জন্য বরাদ্দ করতে হবে। Document-এ ক্লিক করুন, Assign to Set-এ ক্লিক করুন, তারপর Training- এ ক্লিক করুন।
- লক্ষ্য করুন ডেটা স্প্লিট নম্বরগুলি পরিবর্তিত হয়েছে।
৯. প্রি-লেবেলড ডেটা আমদানি করুন
ডকুমেন্ট এআই কাস্টম প্রসেসরগুলির জন্য প্রশিক্ষণ এবং পরীক্ষা সেট উভয় ক্ষেত্রেই কমপক্ষে ১০টি ডকুমেন্টের প্রয়োজন হয়, এবং প্রতিটি সেটে প্রতিটি লেবেলের ১০টি উদাহরণও প্রয়োজন হয়।
সর্বোত্তম পারফরম্যান্সের জন্য প্রতিটি সেটে কমপক্ষে ৫০টি ডকুমেন্ট এবং প্রতিটি লেবেলের ৫০টি উদাহরণ থাকা বাঞ্ছনীয়। বেশি প্রশিক্ষণের তথ্য সাধারণত উচ্চ নির্ভুলতার সমান।
সমস্ত নথি ম্যানুয়ালি লেবেল করতে অনেক সময় লাগবে, তাই আমাদের কাছে কিছু প্রি-লেবেলযুক্ত নথি আছে যা আপনি এই ল্যাবের জন্য আমদানি করতে পারেন।
আপনি Document.json ফর্ম্যাটে প্রি-লেবেলযুক্ত ডকুমেন্ট ফাইলগুলি আমদানি করতে পারেন। এটি একটি প্রসেসর কল করে এবং Human in the Loop (HITL) ব্যবহার করে নির্ভুলতা যাচাই করার ফলাফল হতে পারে।
নেতিবাচক দিক বাদ দিয়ে
দ্রষ্টব্য: প্রি-লেবেলযুক্ত ডেটা আমদানি করার সময়, কোনও মডেলকে প্রশিক্ষণ দেওয়ার আগে ম্যানুয়ালি টীকাগুলি পর্যালোচনা করার পরামর্শ দেওয়া হয়।
- ইমপোর্ট ডকুমেন্টস এ ক্লিক করুন।
- নিম্নলিখিত ক্লাউড স্টোরেজ পাথটি কপি/পেস্ট করুন এবং এটি প্রশিক্ষণ সেটে বরাদ্দ করুন।
cloud-samples-data/documentai/codelabs/custom/extractor/training
- Add Another Folder এ ক্লিক করুন। তারপর নিম্নলিখিত Cloud Storage পাথটি কপি/পেস্ট করুন এবং এটি Test set এ বরাদ্দ করুন।
cloud-samples-data/documentai/codelabs/custom/extractor/test
- "আমদানি করুন" এ ক্লিক করুন এবং ডকুমেন্টগুলি আমদানি হওয়ার জন্য অপেক্ষা করুন। এতে আগের বারের চেয়ে বেশি সময় লাগবে কারণ আরও ডকুমেন্ট প্রক্রিয়া করতে হবে। এতে প্রায় ৬ মিনিট সময় লাগবে, আপনি এই পৃষ্ঠাটি ছেড়ে পরে ফিরে আসতে পারেন।
- একবার সম্পূর্ণ হয়ে গেলে, আপনি প্রশিক্ষণ পৃষ্ঠায় নথিগুলি দেখতে পাবেন।
১০. মডেলকে প্রশিক্ষণ দিন
এখন, আমরা আমাদের কাস্টম ডকুমেন্ট এক্সট্র্যাক্টরকে প্রশিক্ষণ শুরু করতে প্রস্তুত।
- ট্রেনের নতুন সংস্করণে ক্লিক করুন
- তোমার ভার্সনের এমন একটি নাম দাও যা তুমি মনে রাখবে, যেমন
codelab-custom-1। "প্রশিক্ষণ পদ্ধতি" এর জন্য, "শুরু থেকে প্রশিক্ষণ" নির্বাচন করো।
- (ঐচ্ছিক) আপনার ডেটাসেটে লেবেল সম্পর্কে মেট্রিক্স দেখতে আপনি "লেবেল পরিসংখ্যান দেখুন" নির্বাচন করতে পারেন।
- প্রশিক্ষণ প্রক্রিয়া শুরু করতে "প্রশিক্ষণ শুরু করুন" এ ক্লিক করুন। আপনাকে ডেটাসেট ব্যবস্থাপনা পৃষ্ঠায় পুনঃনির্দেশিত করা হবে। আপনি ডান দিকে প্রশিক্ষণের অবস্থা দেখতে পাবেন। প্রশিক্ষণ সম্পূর্ণ হতে কয়েক ঘন্টা সময় লাগবে। আপনি এই পৃষ্ঠাটি ছেড়ে পরে ফিরে আসতে পারেন।
- আপনি যদি সংস্করণের নামের উপর ক্লিক করেন, তাহলে আপনাকে "সংস্করণ পরিচালনা করুন" পৃষ্ঠায় নিয়ে যাওয়া হবে, যেখানে সংস্করণ আইডি এবং প্রশিক্ষণ কাজের বর্তমান অবস্থা দেখানো হবে।
১১. নতুন মডেল সংস্করণটি পরীক্ষা করুন
প্রশিক্ষণের কাজটি সম্পন্ন হয়ে গেলে (আমার পরীক্ষাগুলিতে প্রায় ১ ঘন্টা সময় লেগেছে), আপনি এখন নতুন মডেল সংস্করণটি পরীক্ষা করে দেখতে পারেন এবং পূর্বাভাসের জন্য এটি ব্যবহার শুরু করতে পারেন।
- Manage Versions পৃষ্ঠায় যান। এখানে আপনি বর্তমান অবস্থা এবং F1 স্কোর দেখতে পাবেন।
- এই মডেল ভার্সনটি ব্যবহার করার আগে আমাদের এটি স্থাপন করতে হবে। ডান পাশের উল্লম্ব বিন্দুগুলিতে ক্লিক করুন এবং Deploy Version নির্বাচন করুন।
- পপ-আপ উইন্ডো থেকে Deploy নির্বাচন করুন, এবং ভার্সনটি স্থাপনের জন্য অপেক্ষা করুন। এটি সম্পন্ন হতে কয়েক মিনিট সময় লাগবে। এটি স্থাপনের পরে, আপনি এই ভার্সনটিকে ডিফল্ট ভার্সন হিসেবেও সেট করতে পারেন।
- এটি স্থাপন করা শেষ হয়ে গেলে, মূল্যায়ন ট্যাবে যান। এই পৃষ্ঠায়, আপনি সম্পূর্ণ ডকুমেন্টের জন্য F1 স্কোর, যথার্থতা এবং প্রত্যাহার সহ মূল্যায়ন মেট্রিক্স দেখতে পারবেন, সেইসাথে পৃথক লেবেলগুলিও দেখতে পারবেন। আপনি অটোএমএল ডকুমেন্টেশনে এই মেট্রিক্স সম্পর্কে আরও পড়তে পারেন।
- নীচের লিঙ্কে থাকা PDF ফাইলটি ডাউনলোড করুন। এটি একটি নমুনা W2 যা প্রশিক্ষণ বা পরীক্ষার সেটে অন্তর্ভুক্ত ছিল না।
- আপলোড টেস্ট ডকুমেন্টে ক্লিক করুন এবং পিডিএফ ফাইলটি নির্বাচন করুন।
- এক্সট্রাক্ট করা এন্টিটিগুলো দেখতে এরকম কিছু হওয়া উচিত।
১২. ঐচ্ছিক: নতুন আমদানি করা নথিগুলিকে স্বয়ংক্রিয়ভাবে লেবেল করুন
একটি প্রশিক্ষিত প্রসেসর সংস্করণ স্থাপনের পরে, নতুন ডকুমেন্ট আমদানি করার সময় লেবেলিংয়ের সময় বাঁচাতে আপনি অটো-লেবেলিং ব্যবহার করতে পারেন।
- ট্রেন পৃষ্ঠায়, ডকুমেন্ট আমদানি করুন এ ক্লিক করুন।
- নিম্নলিখিত পাথটি কপি করে পেস্ট করুন। এই ডিরেক্টরিতে ৫টি লেবেলবিহীন W2 PDF রয়েছে। Data split ড্রপডাউন তালিকা থেকে, Training নির্বাচন করুন।
cloud-samples-data/documentai/Custom/W2/AutoLabel - অটো-লেবেলিং বিভাগে, অটো-লেবেলিং সহ আমদানি করুন চেকবক্সটি নির্বাচন করুন।
- ডকুমেন্ট লেবেল করার জন্য একটি বিদ্যমান প্রসেসর সংস্করণ নির্বাচন করুন।
- উদাহরণস্বরূপ:
2af620b2fd4d1fcf
- আমদানিতে ক্লিক করুন এবং নথিগুলি আমদানি হওয়ার জন্য অপেক্ষা করুন। আপনি এই পৃষ্ঠাটি ছেড়ে পরে ফিরে আসতে পারেন।
- সম্পূর্ণ হয়ে গেলে, ডকুমেন্টগুলি অটো-লেবেলযুক্ত বিভাগে ট্রেন পৃষ্ঠায় প্রদর্শিত হবে।
- আপনি প্রশিক্ষণ বা পরীক্ষার জন্য স্বয়ংক্রিয় লেবেলযুক্ত নথিগুলিকে লেবেলযুক্ত হিসাবে চিহ্নিত না করে ব্যবহার করতে পারবেন না। স্বয়ংক্রিয় লেবেলযুক্ত নথিগুলি দেখতে স্বয়ংক্রিয় লেবেলযুক্ত বিভাগে যান।
- লেবেলিং কনসোলে প্রবেশ করার জন্য প্রথম নথিটি নির্বাচন করুন।
- লেবেল, বাউন্ডিং বাক্স এবং মানগুলি সঠিক কিনা তা নিশ্চিত করতে যাচাই করুন। বাদ দেওয়া যেকোনো মান লেবেল করুন।
- সম্পন্ন হলে লেবেলযুক্ত হিসাবে চিহ্নিত করুন নির্বাচন করুন।
- প্রতিটি স্বয়ংক্রিয়-লেবেলযুক্ত নথির জন্য লেবেল যাচাইকরণ পুনরাবৃত্তি করুন, তারপর প্রশিক্ষণের জন্য ডেটা ব্যবহার করতে ট্রেন পৃষ্ঠায় ফিরে যান।
১৩. উপসংহার
অভিনন্দন, আপনি একটি কাস্টম ডকুমেন্ট এক্সট্র্যাক্টর প্রসেসর প্রশিক্ষণের জন্য ডকুমেন্ট এআই সফলভাবে ব্যবহার করেছেন। আপনি এখন এই প্রসেসরটি ব্যবহার করে এই ফর্ম্যাটে ডকুমেন্ট পার্স করতে পারবেন ঠিক যেমন আপনি যেকোনো বিশেষায়িত প্রসেসরের জন্য করেন।
প্রক্রিয়াকরণ প্রতিক্রিয়া কীভাবে পরিচালনা করবেন তা পর্যালোচনা করতে আপনি বিশেষায়িত প্রসেসর কোডল্যাব দেখতে পারেন।
পরিষ্কার করা
এই টিউটোরিয়ালে ব্যবহৃত রিসোর্সের জন্য আপনার গুগল ক্লাউড অ্যাকাউন্টে চার্জ এড়াতে:
- ক্লাউড কনসোলে, রিসোর্স পরিচালনা পৃষ্ঠায় যান।
- প্রকল্পের তালিকায়, আপনার প্রকল্প নির্বাচন করুন এবং তারপর মুছুন ক্লিক করুন।
- ডায়ালগে, প্রজেক্ট আইডি টাইপ করুন এবং তারপর প্রজেক্টটি মুছে ফেলতে Shut down এ ক্লিক করুন।
রিসোর্স
- ডকুমেন্ট এআই ওয়ার্কবেঞ্চ ডকুমেন্টেশন
- ডকুমেন্টের ভবিষ্যৎ - ইউটিউব প্লেলিস্ট
- ডকুমেন্ট এআই ডকুমেন্টেশন
- ডকুমেন্ট এআই পাইথন ক্লায়েন্ট লাইব্রেরি
- ডকুমেন্ট এআই নমুনা
লাইসেন্স
এই কাজটি ক্রিয়েটিভ কমন্স অ্যাট্রিবিউশন ২.০ জেনেরিক লাইসেন্সের অধীনে লাইসেন্সপ্রাপ্ত।