1। সংক্ষিপ্ত বিবরণ
এই ল্যাবটি দ্রুত একটি LIT ডেমো স্থাপনের নির্দেশনা প্রদান করে। উদ্দেশ্য হল মডেল আচরণ অন্বেষণ করতে LIT টুলের সাথে আপনাকে পরিচিত করা। আপনি একটি আবেগপূর্ণ বিশ্লেষণ পরিচালনা করবেন এবং নির্দিষ্ট শব্দের গুরুত্ব খুঁজে পেতে কাউন্টারফ্যাকচুয়াল LIT বৈশিষ্ট্যটি ব্যবহার করবেন। ডেমোতে বিশ্লেষণ চালানোর জন্য একটি ডেটাসেট অন্তর্ভুক্ত রয়েছে। ল্যাবটি Google ক্লাউড প্ল্যাটফর্মে LIT স্থাপন, ডেটা বিশ্লেষণ এবং স্থাপন করা পরিষেবাগুলি মুছে ফেলার পদক্ষেপগুলি প্রদান করে৷
লার্নিং ইন্টারপ্রিটেবিলিটি টুল (LIT) কি?
🔥LIT হল একটি ভিজ্যুয়াল, ইন্টারেক্টিভ ML মডেল-বোঝার টুল যা পাঠ্য, চিত্র এবং টেবুলার ডেটা সমর্থন করে। এটি একটি স্বতন্ত্র সার্ভার হিসাবে বা নোটবুক পরিবেশ যেমন Colab, Jupyter এবং Google Cloud Vertex AI নোটবুকের ভিতরে চালানো যেতে পারে।
LIT তৈরি করা হয়েছে প্রশ্নের উত্তর দেওয়ার জন্য যেমন:
- কি ধরনের উদাহরণ আমার মডেল খারাপভাবে কাজ করে?
- কেন আমার মডেল এই ভবিষ্যদ্বাণী করেছেন? এই ভবিষ্যদ্বাণীটি কি প্রতিপক্ষ আচরণের জন্য দায়ী করা যেতে পারে, বা প্রশিক্ষণ সেটে অবাঞ্ছিত পূর্বের জন্য?
- আমি পাঠ্য শৈলী, ক্রিয়া কাল, বা সর্বনাম লিঙ্গের মতো জিনিসগুলি পরিবর্তন করলে কি আমার মডেল ধারাবাহিকভাবে আচরণ করে?
টুলটি LIT Github Repo- তে পাওয়া যায়। এর জন্য একটি কাগজও ArXiv- এ পাওয়া যায়।
তুমি কি করবে
আপনি কন্টেইনার ইমেজ টানতে, ট্যাগ করতে, পুশ করতে এবং স্থাপন করতে Google ক্লাউড শেল ব্যবহার করবেন।
আপনি Google আর্টিফ্যাক্ট রেজিস্ট্রি ব্যবহার করবেন যা আপনাকে একটি সমন্বিত Google ক্লাউড অভিজ্ঞতার অংশ হিসাবে কেন্দ্রীয়ভাবে শিল্পকর্ম সংরক্ষণ করতে এবং নির্ভরতা তৈরি করতে সক্ষম করে। আপনি আর্টিফ্যাক্ট রেজিস্ট্রিতে ডকার ইমেজ আপলোড করবেন। আপনি Google ক্লাউড আর্টিফ্যাক্ট রেজিস্ট্রি ডকুমেন্টেশনে এটি সম্পর্কে আরও জানতে পারেন।
আপনি ডকার ইমেজ স্থাপন করতে Google Cloud Cloud Run , একটি পরিচালিত Knative পরিষেবা ব্যবহার করবেন। এটি একটি পরিচালিত গণনা প্ল্যাটফর্ম যা আপনাকে সরাসরি Google এর মাপযোগ্য পরিকাঠামোর উপরে কন্টেইনার চালাতে দেয়।
ডেটাসেট
ডেমো স্ট্যানফোর্ড সেন্টিমেন্ট ট্রিব্যাঙ্ক ডেটাসেট ব্যবহার করে।
"স্ট্যানফোর্ড সেন্টিমেন্ট ট্রিব্যাঙ্ক হল সম্পূর্ণরূপে লেবেলযুক্ত পার্স ট্রি সহ প্রথম কর্পাস যা ভাষায় অনুভূতির গঠনগত প্রভাবগুলির সম্পূর্ণ বিশ্লেষণের অনুমতি দেয়৷ কর্পাসটি প্যাং এবং লি (2005) দ্বারা প্রবর্তিত ডেটাসেটের উপর ভিত্তি করে এবং 11,855টি একক বাক্য নিয়ে গঠিত৷ মুভি রিভিউ থেকে এটিকে স্ট্যানফোর্ড পার্সার (ক্লেইন এবং ম্যানিং, 2003) দিয়ে পার্স করা হয়েছে এবং সেই পার্স ট্রি থেকে মোট 215,154টি অনন্য বাক্যাংশ অন্তর্ভুক্ত করা হয়েছে, প্রতিটি 3 জন বিচারক দ্বারা টীকা করা হয়েছে।" রেফারেন্স পেপার
তুমি শুরু করার আগে
এই রেফারেন্স গাইডের জন্য, আপনার একটি Google ক্লাউড প্রকল্প প্রয়োজন। আপনি একটি নতুন তৈরি করতে পারেন, অথবা আপনি ইতিমধ্যে তৈরি করা একটি প্রকল্প নির্বাচন করতে পারেন৷
2. Google ক্লাউড কনসোল এবং একটি ক্লাউড শেল চালু করুন৷
আপনি একটি Google ক্লাউড কনসোল চালু করবেন এবং এই ধাপে Google ক্লাউড শেল ব্যবহার করবেন।
2-a: একটি Google ক্লাউড কনসোল চালু করুন
একটি ব্রাউজার চালু করুন এবং Google ক্লাউড কনসোলে যান।
Google ক্লাউড কনসোল হল একটি শক্তিশালী, সুরক্ষিত ওয়েব অ্যাডমিন ইন্টারফেস যা আপনাকে আপনার Google ক্লাউড সংস্থানগুলিকে দ্রুত পরিচালনা করতে দেয়৷ এটি চলতে চলতে একটি DevOps টুল।
2-বি: একটি Google ক্লাউড শেল চালু করুন
একটি Google ক্লাউড শেল চালু করুন। রেফারেন্সের জন্য নীচের ছবিটি দেখুন।
আপনি এই মত কিছু দেখতে হবে:
আপনি পরবর্তী ধাপে কমান্ড প্রম্পট ব্যবহার করবেন।
ক্লাউড শেল হল একটি অনলাইন ডেভেলপমেন্ট এবং অপারেশন এনভায়রনমেন্ট যা আপনার ব্রাউজার দিয়ে যেকোনো জায়গায় অ্যাক্সেসযোগ্য। আপনি gcloud কমান্ড-লাইন টুল, kubectl এবং আরও অনেক কিছুর মতো ইউটিলিটিগুলির সাথে প্রিলোড করা অনলাইন টার্মিনাল দিয়ে আপনার সংস্থানগুলি পরিচালনা করতে পারেন। এছাড়াও আপনি অনলাইন ক্লাউড শেল এডিটর ব্যবহার করে আপনার ক্লাউড-ভিত্তিক অ্যাপ্লিকেশনগুলি বিকাশ, নির্মাণ, ডিবাগ এবং স্থাপন করতে পারেন। ক্লাউড শেল একটি ডেভেলপারকে প্রস্তুত, অনলাইন পরিবেশ প্রদান করে যেখানে একটি প্রিইন্সটল করা পছন্দের টুল সেট এবং 5GB স্থায়ী স্টোরেজ স্পেস রয়েছে।
2-c: Google ক্লাউড প্রজেক্ট সেট করুন
Google ক্লাউড প্রকল্প এবং আপনি যেখানে Google ক্লাউড পরিষেবাগুলি তৈরি করবেন সেটি সেট করুন৷ আপনি একটি Google ক্লাউড ওয়ার্কবেঞ্চ এবং একটি আর্টিফ্যাক্ট রেজিস্ট্রি তৈরি করতে তথ্য ব্যবহার করবেন৷ আপনি প্রাক্তনটি নির্মাণের জন্য ব্যবহার করবেন এবং একটি পাত্রে ধাক্কা দেবেন। আপনি কন্টেইনার ইমেজ সংরক্ষণ করতে পরেরটি ব্যবহার করবেন।
আপনাকে অবশ্যই শুধুমাত্র বাধ্যতামূলক PROJECT_ID ভেরিয়েবল সেট করতে হবে। আপনি অন্যান্য ভেরিয়েবল পরিবর্তন করতে পারেন, কিন্তু ডিফল্ট মান ল্যাব চালানোর জন্য যথেষ্ট। সঠিক Google ক্লাউড প্রজেক্ট সেট করুন। এটি gcloud কমান্ড দ্বারা ব্যবহৃত হয়।
# Set your GCP Project ID.
export PROJECT_ID=[Your project ID]
3. ডকার চিত্রগুলিকে Google ক্লাউড আর্টিফ্যাক্ট রেজিস্ট্রিতে স্থাপন করুন৷
3-a: একটি Google ক্লাউড আর্টিফ্যাক্ট রেজিস্ট্রি তৈরি করুন
প্রথমত, ডকার ইমেজ সংরক্ষণ করার জন্য আপনাকে একটি আর্টিফ্যাক্ট রেজিস্ট্রি তৈরি করতে হবে।
# Set Google Cloud Location.
export GCP_LOCATION=us-central1
# Set image container artifact repo name.
export ARTIFACT_REPO=lit-demo
# Set lit demo name.
export DEMO_NAME=demo1
# Use below cmd to list all Google Cloud Artifact locations:
# gcloud artifacts locations list
# Create a repo to upload the docker container images.
gcloud artifacts repositories create $ARTIFACT_REPO \
--repository-format=docker \
--location=$GCP_LOCATION \
--description="LIT Demos"
# Validate the repo creation.
gcloud artifacts repositories describe $ARTIFACT_REPO \
--location=$GCP_LOCATION
3-বি: ডকার ইমেজ টানুন
দ্বিতীয়ত, নীচের কমান্ডটি ব্যবহার করে পাবলিক রিপোজিটরিতে সমস্ত LIT ডকার ইমেজ তালিকাভুক্ত করুন।
# List all the public LIT docker images.
gcloud container images list-tags us-east4-docker.pkg.dev/lit-demos/lit-app/lit-app
আপনি সমস্ত উপলব্ধ চিত্র এবং তাদের ট্যাগ খুঁজে পেতে পারেন, যা চিত্র সংস্করণকে বোঝায় এবং আপনি যে ট্যাগটি স্থাপন করতে চান তা চয়ন করুন৷
নীচের কমান্ড ব্যবহার করে আপনার নির্বাচিত ডকার ইমেজ টানুন।
# Set your chosen tag.
export TAG=[Your Chosen Tag]
# Pull the chosen docker image.
docker pull us-east4-docker.pkg.dev/lit-demos/lit-app/lit-app:$TAG
3-c: ট্যাগ ডকার ইমেজ
তৃতীয়ত, টার্গেট রিপোজিটরিতে আপনি যে ছবিটি টানছেন তা ট্যাগ করুন।
# Push the pulled docker image to target repository.
docker tag us-east4-docker.pkg.dev/lit-demos/lit-app/lit-app:$TAG $GCP_LOCATION-docker.pkg.dev/$PROJECT_ID/$ARTIFACT_REPO/$DEMO_NAME:$TAG
3-d: পুশ ডকার ইমেজ
এরপরে, ডকার ইমেজটিকে টার্গেট রিপোজিটরিতে চাপুন।
# Push the pulled docker image to the target repository.
docker push $GCP_LOCATION-docker.pkg.dev/$PROJECT_ID/$ARTIFACT_REPO/$DEMO_NAME:$TAG
3-ই: ক্লাউডরানে ডকার ইমেজ স্থাপন করুন
লক্ষ্য সংগ্রহস্থল থেকে ক্লাউড রানে ডকার ইমেজ স্থাপন করুন।
ডিপ্লয় অপশনে, "একটি বিদ্যমান কন্টেইনার ইমেজ থেকে একটি রিভিশন স্থাপন করুন" নির্বাচন করুন।
কনফিগ-এ, আপনার পরিষেবার নাম $DEMO_NAME-এর মতো করুন এবং অঞ্চলটি নির্বাচন করুন যাতে $GCP_LOCATION-এর মতো হয়৷
প্রমাণীকরণের জন্য, আপনি "অপ্রমাণিত আবেদনের অনুমতি দিন" বা "প্রমাণিকরণের প্রয়োজন" বেছে নিতে পারেন। আপনি যদি "প্রমাণিকরণের প্রয়োজন" নির্বাচন করেন তাহলে আপনাকে ডেমো অ্যাক্সেস করার জন্য অতিরিক্ত পদক্ষেপগুলি সম্পূর্ণ করতে হতে পারে৷ অতএব, আপনি যদি ডেমোর সাথে পরিচিত হতে চান তবে "অপ্রমাণিত আহ্বানের অনুমতি দিন" নির্বাচন করার পরামর্শ দেওয়া হচ্ছে।
কনটেইনার কনফিগারেশনে, কনটেইনার পোর্টটি 5432 হতে হবে, মেমরিটি 32 গিব হতে হবে এবং সিপিইউ 8 হতে হবে তা নির্বাচন করুন।
কনফিগারেশন সেট করার পরে, উদাহরণ তৈরি করুন।
4. GCP-এ LIT পরিষেবা দেখুন
পরিষেবাটি তৈরি করার পরে, আপনি Google ক্লাউড কনসোলে লগগুলি দেখতে পারেন৷
নেভিগেশন: Google ক্লাউড কনসোলে শীর্ষ বার → ক্লাউড রান (সার্চ বারে) → ডেমো1 অ্যাপ্লিকেশন নির্বাচন করুন → লগস নির্বাচন করুন। এছাড়াও আপনি METRICS ইত্যাদি পরীক্ষা করতে পারেন।
গুগল ক্লাউড কনসোলে অনুসন্ধানটি ব্যবহার করুন এবং 'ক্লাউড রান' টাইপ করুন। রেফারেন্সের জন্য নীচের ছবিটি দেখুন।
আপনি এইমাত্র তৈরি করা 'ডেমো1' পরিষেবাটি নির্বাচন করুন৷ আপনার রেফারেন্সের জন্য নীচের ছবি দেখুন.
আপনি LOGS বিভাগটি পরীক্ষা করতে পারেন। এর মধ্যে, আপনি রেফারেন্সের URL খুঁজে পেতে পারেন। আপনার রেফারেন্সের জন্য নীচের ছবি দেখুন. 
আপনি METRICS বিভাগটি পরীক্ষা করতে পারেন। আপনার রেফারেন্সের জন্য নীচের ছবি দেখুন. 
5. LIT ডেমো URL ব্রাউজ করুন
আপনি যদি নিষিদ্ধ ত্রুটির কারণে URL অ্যাক্সেস করতে না পারেন, তাহলে আপনাকে পরিষেবাটি পরিবর্তন করতে হবে এবং অননুমোদিত আহ্বানের অনুমতি দিতে হবে।
অথবা আপনি নীচের কমান্ড ব্যবহার করে স্থানীয় হোস্টে পরিষেবাটি প্রক্সি করতে পারেন।
# Proxy the service to local host.
gcloud run services proxy $DEMO_NAME --project $PROJECT_ID
নিশ্চিত করুন যে অঞ্চলটি GCP_LOCATION-এর মতোই। তারপর আপনি স্থানীয় হোস্ট url ব্রাউজ করতে পারেন.
LIT ডেমো নীচের স্ক্রিনশটের মত দেখাচ্ছে:
আপনি স্ট্যানফোর্ড সেন্টিমেন্ট ট্রিব্যাঙ্ক ডেটাসেটে সেন্টিমেন্টাল অ্যানালাইসিস পরীক্ষা করবেন। নিচের ধাপগুলো অনুসরণ করুন
- 'না' শব্দটি সম্বলিত 56টি ডেটা পয়েন্ট খুঁজে পেতে LIT-এর ডেটা টেবিলে অনুসন্ধান ফাংশনটি ব্যবহার করুন।
- মেট্রিক্স টেবিলে BERT মডেলের যথার্থতা পরীক্ষা করুন। BERT মডেলের নির্ভুলতা উচ্চ।
- পৃথক ডেটা পয়েন্ট নির্বাচন করুন এবং ব্যাখ্যা সন্ধান করুন। 'বিষণ্নতা' শব্দটি অনুসন্ধান করুন।
- "এটি চূড়ান্ত হতাশা-যুগের গ্যাংস্টার চলচ্চিত্র নয়" নির্বাচন করুন। Salience মানচিত্র পরীক্ষা করুন. স্যালিয়েন্স মানচিত্রগুলি সুপারিশ করে যে "না" এবং "চূড়ান্ত" ভবিষ্যদ্বাণীর জন্য গুরুত্বপূর্ণ।
আপনি চেষ্টা করতে পারেন যে অনেক LIT বৈশিষ্ট্য আছে. আপনি আমাদের ছোট ইউটিউব ভিডিও বা LIT বৈশিষ্ট্যগুলি ব্যাখ্যা করে LIT ArXiv খুঁজে পেতে পারেন৷
6. অভিনন্দন
কোডল্যাব সম্পূর্ণ করার উপর ভাল কাজ! ঠান্ডা করার সময়!
পরিষ্কার কর
ল্যাব পরিষ্কার করতে, ল্যাবের জন্য তৈরি করা সমস্ত Google ক্লাউড পরিষেবা মুছুন। নিম্নলিখিত কমান্ডগুলি চালানোর জন্য Google ক্লাউড শেল ব্যবহার করুন।
নিষ্ক্রিয়তার কারণে যদি Google ক্লাউড সংযোগটি হারিয়ে যায়, তাহলে ভেরিয়েবল রিসেট করুন। শেল ভেরিয়েবল সেট করতে এবং Google ক্লাউড প্রজেক্ট সেট করতে 2-c এবং 4-1 অনুসরণ করুন।
# Delete the Cloud Run Service.
gcloud run services delete $DEMO_NAME \
--region=$GCP_LOCATION
# Delete the Artifact Registry.
gcloud artifacts repositories delete $ARTIFACT_REPO\
--location=$GCP_LOCATION
### **Further reading**
Continue learning the LIT tool features with the below materials:
* LIT open source code base: [Git repo](https://github.com/PAIR-code/lit)
* LIT paper: [ArXiv](https://arxiv.org/pdf/2008.05122.pdf)
* LIT feature video demo: [Youtube](https://www.youtube.com/watch?v=CuRI_VK83dU)
### **License**
This work is licensed under a Creative Commons Attribution 2.0 Generic License.