জিসিপি-তে লার্নিং ইন্টারপ্রিটেবিলিটি টুল (এলআইটি) দিয়ে এলএলএম প্রম্পট ডিবাগিং

1. ওভারভিউ

এই ল্যাবটি ভার্টেক্স এআই জেমিনি ফাউন্ডেশন মডেল এবং স্ব-হোস্টেড থার্ড-পার্টি লার্জ ল্যাঙ্গুয়েজ মডেলের (এলএলএম) সাথে ইন্টারঅ্যাক্ট করার জন্য Google ক্লাউড প্ল্যাটফর্মে (GCP) একটি LIT অ্যাপ্লিকেশন সার্ভার স্থাপনের একটি বিস্তারিত ওয়াক-থ্রু প্রদান করে। প্রম্পট ডিবাগিং এবং মডেল ব্যাখ্যার জন্য কীভাবে LIT UI ব্যবহার করতে হয় তার নির্দেশিকাও এতে অন্তর্ভুক্ত রয়েছে।

এই ল্যাব অনুসরণ করে, ব্যবহারকারীরা শিখবে কিভাবে:

• GCP-এ একটি LIT সার্ভার কনফিগার করুন।
• LIT সার্ভারটিকে Vertex AI Gemini মডেল বা অন্যান্য স্ব-হোস্টেড LLM-এর সাথে সংযুক্ত করুন।
• ভাল মডেল পারফরম্যান্স এবং অন্তর্দৃষ্টির জন্য প্রম্পটগুলি বিশ্লেষণ, ডিবাগ এবং ব্যাখ্যা করতে LIT UI ব্যবহার করুন।

LIT কি?

LIT হল একটি ভিজ্যুয়াল, ইন্টারেক্টিভ মডেল-বোঝার টুল যা টেক্সট, ইমেজ এবং ট্যাবুলার ডেটা সমর্থন করে। এটি একটি স্বতন্ত্র সার্ভার হিসাবে বা নোটবুক পরিবেশের ভিতরে যেমন Google Colab, Jupyter, এবং Google Cloud Vertex AI হিসাবে চালানো যেতে পারে। LIT PyPI এবং GitHub থেকে পাওয়া যায়।

মূলত শ্রেণীবিভাগ এবং রিগ্রেশন মডেলগুলি বোঝার জন্য তৈরি করা হয়েছে, সাম্প্রতিক আপডেটগুলি ডিবাগিং এলএলএম প্রম্পটগুলির জন্য সরঞ্জামগুলি যুক্ত করেছে যা আপনাকে ব্যবহারকারী, মডেল এবং সিস্টেম সামগ্রী কীভাবে প্রজন্মের আচরণকে প্রভাবিত করে তা অন্বেষণ করতে দেয়।

ভার্টেক্স এআই এবং মডেল গার্ডেন কি?

Vertex AI হল একটি মেশিন লার্নিং (ML) প্ল্যাটফর্ম যা আপনাকে ML মডেল এবং AI অ্যাপ্লিকেশানগুলিকে প্রশিক্ষণ ও স্থাপন করতে এবং আপনার AI-চালিত অ্যাপ্লিকেশনগুলিতে ব্যবহারের জন্য LLMগুলি কাস্টমাইজ করতে দেয়৷ Vertex AI ডেটা ইঞ্জিনিয়ারিং, ডেটা সায়েন্স এবং ML ইঞ্জিনিয়ারিং ওয়ার্কফ্লোগুলিকে একত্রিত করে, আপনার দলগুলিকে একটি সাধারণ টুলসেট ব্যবহার করে সহযোগিতা করতে এবং Google ক্লাউডের সুবিধাগুলি ব্যবহার করে আপনার অ্যাপ্লিকেশনগুলিকে স্কেল করতে সক্ষম করে৷

Vertex Model Garden হল একটি ML মডেল লাইব্রেরি যা আপনাকে Google মালিকানা আবিষ্কার, পরীক্ষা, কাস্টমাইজ এবং স্থাপন করতে এবং তৃতীয় পক্ষের মডেল এবং সম্পদ নির্বাচন করতে সাহায্য করে।

আপনি কি করবেন

আপনি LIT এর পূর্বনির্মাণ চিত্র থেকে একটি ডকার কন্টেইনার স্থাপন করতে Google ক্লাউড শেল এবং ক্লাউড রান ব্যবহার করবেন।

ক্লাউড রান হল একটি পরিচালিত গণনা প্ল্যাটফর্ম যা আপনাকে GPU সহ Google-এর মাপযোগ্য পরিকাঠামোর উপরে সরাসরি কন্টেইনার চালাতে দেয়।

ডেটাসেট

ডেমো ডিফল্টরূপে LIT প্রম্পট ডিবাগিং নমুনা ডেটাসেট ব্যবহার করে, অথবা আপনি UI এর মাধ্যমে আপনার নিজস্ব লোড করতে পারেন।

আপনি শুরু করার আগে

এই রেফারেন্স গাইডের জন্য, আপনার একটি Google ক্লাউড প্রকল্প প্রয়োজন। আপনি একটি নতুন তৈরি করতে পারেন, অথবা আপনি ইতিমধ্যে তৈরি করা একটি প্রকল্প নির্বাচন করতে পারেন৷

• একটি Google ক্লাউড প্রকল্প নির্বাচন করুন বা তৈরি করুন ৷
• নিশ্চিত করুন যে আপনার প্রকল্পের জন্য বিলিং সক্ষম করা আছে ৷
• GCP-এ LIT ডেমো
• সিকোয়েন্স স্যালিয়েন্স ব্যবহার করে প্রম্পট ডিবাগিং ।

2. Google ক্লাউড কনসোল এবং একটি ক্লাউড শেল চালু করুন৷

আপনি একটি Google ক্লাউড কনসোল চালু করবেন এবং এই ধাপে Google ক্লাউড শেল ব্যবহার করবেন।

2-a: একটি Google ক্লাউড কনসোল চালু করুন

একটি ব্রাউজার চালু করুন এবং Google ক্লাউড কনসোলে যান।

Google ক্লাউড কনসোল হল একটি শক্তিশালী, সুরক্ষিত ওয়েব অ্যাডমিন ইন্টারফেস যা আপনাকে আপনার Google ক্লাউড সংস্থানগুলিকে দ্রুত পরিচালনা করতে দেয়৷ এটি চলতে চলতে একটি DevOps টুল।

2-বি: একটি Google ক্লাউড শেল চালু করুন

ক্লাউড শেল হল একটি অনলাইন ডেভেলপমেন্ট এবং অপারেশন এনভায়রনমেন্ট যা আপনার ব্রাউজার দিয়ে যেকোনো জায়গায় অ্যাক্সেসযোগ্য। আপনি gcloud কমান্ড-লাইন টুল, kubectl এবং আরও অনেক কিছুর মতো ইউটিলিটিগুলির সাথে প্রিলোড করা অনলাইন টার্মিনাল দিয়ে আপনার সংস্থানগুলি পরিচালনা করতে পারেন। এছাড়াও আপনি অনলাইন ক্লাউড শেল এডিটর ব্যবহার করে আপনার ক্লাউড-ভিত্তিক অ্যাপ্লিকেশনগুলি বিকাশ, নির্মাণ, ডিবাগ এবং স্থাপন করতে পারেন। ক্লাউড শেল একটি ডেভেলপারকে প্রস্তুত, অনলাইন পরিবেশ প্রদান করে যেখানে একটি প্রিইন্সটল করা পছন্দের টুল সেট এবং 5GB স্থায়ী স্টোরেজ স্পেস রয়েছে। আপনি পরবর্তী ধাপে কমান্ড প্রম্পট ব্যবহার করবেন।

নিচের স্ক্রিনশটে নীল রঙে বৃত্তাকার মেনু বারের উপরের ডানদিকে আইকনটি ব্যবহার করে একটি Google ক্লাউড শেল চালু করুন।

আপনি পৃষ্ঠার নীচে একটি ব্যাশ শেল সহ একটি টার্মিনাল দেখতে পাবেন।

2-c: Google ক্লাউড প্রজেক্ট সেট করুন

আপনাকে অবশ্যই gcloud কমান্ড ব্যবহার করে প্রকল্প আইডি এবং প্রকল্প অঞ্চল সেট করতে হবে।

# Set your GCP Project ID.
gcloud config set project your-project-id

# Set your GCP Project Region.
gcloud config set run/region your-project-region

3. ক্লাউড রানের সাথে LIT অ্যাপ সার্ভার ডকার ইমেজ স্থাপন করুন

3-a: ক্লাউড রানে LIT অ্যাপ স্থাপন করুন

আপনাকে প্রথমে LIT-App-এর সর্বশেষ সংস্করণটিকে স্থাপন করা সংস্করণ হিসাবে সেট করতে হবে৷

# Set latest version as your LIT_SERVICE_TAG.
export LIT_SERVICE_TAG=latest

যদিও সর্বোত্তম অভিজ্ঞতার জন্য সর্বশেষ সংস্করণটি ব্যবহার করার জন্য দৃঢ়ভাবে সুপারিশ করা হয়, তবে সামঞ্জস্যের কারণে, নির্দিষ্ট বৈশিষ্ট্যগুলির জন্য বা বিদ্যমান সেটআপের সাথে সামঞ্জস্য বজায় রাখার জন্য প্রয়োজন হলে আপনি একটি পুরানো সংস্করণ বেছে নিতে পারেন। সমস্ত সংস্করণ দেখতে, নিম্নলিখিত কমান্ডটি চালান।

# List all the public LIT GCP App server docker images.
gcloud container images  list-tags  us-east4-docker.pkg.dev/lit-demos/lit-app/gcp-lit-app

সংস্করণ ট্যাগ সেট করার পরে, আপনাকে পরিষেবাটির নাম দিতে হবে।

# Set your lit service name. While 'lit-app-service' is provided as a placeholder, you can customize the service name based on your preferences.
export LIT_SERVICE_NAME=lit-app-service

এর পরে, আপনি ক্লাউড রানে কন্টেইনার স্থাপন করতে নিম্নলিখিত কমান্ডটি চালাতে পারেন।

# Use below cmd to deploy the LIT App to Cloud Run.
gcloud run deploy $LIT_SERVICE_NAME \
--image us-east4-docker.pkg.dev/lit-demos/lit-app/gcp-lit-app:$LIT_SERVICE_TAG \
--port 5432 \
--cpu 8 \
--memory 32Gi \
--no-cpu-throttling \
--no-allow-unauthenticated

LIT আপনাকে সার্ভার শুরু করার সময় ডেটাসেট যোগ করার অনুমতি দেয়। এটি করার জন্য, বিন্যাস name:path ব্যবহার করে, আপনি যে ডেটা লোড করতে চান তা অন্তর্ভুক্ত করতে DATASETS ভেরিয়েবল সেট করুন, উদাহরণস্বরূপ, data_foo:/bar/data_2024.jsonl । ডেটাসেট ফর্ম্যাটটি .jsonl হওয়া উচিত, যেখানে প্রতিটি রেকর্ডে prompt এবং ঐচ্ছিক target এবং source ক্ষেত্র রয়েছে৷ একাধিক ডেটাসেট লোড করতে, একটি কমা দিয়ে আলাদা করুন৷ সেট না থাকলে, LIT প্রম্পট ডিবাগিং নমুনা ডেটাসেট লোড করা হবে।

# Set the dataset.
export DATASETS=[DATASETS]

MAX_EXAMPLES সেট করে, আপনি প্রতিটি মূল্যায়ন সেট থেকে লোড করার জন্য সর্বাধিক সংখ্যক উদাহরণ সেট করতে পারবেন।

# Set the max examples.
export MAX_EXAMPLES=[MAX_EXAMPLES]

তারপর, deploy commad এ, আপনি যোগ করতে পারেন

--set-env-vars "DATASETS=$DATASETS" \
--set-env-vars "MAX_EXAMPLES=$MAX_EXAMPLES" \

3-বি: LIT অ্যাপ পরিষেবা দেখুন

LIT অ্যাপ সার্ভার তৈরি করার পরে, আপনি ক্লাউড কনসোলের ক্লাউড রান বিভাগে পরিষেবাটি খুঁজে পেতে পারেন।

আপনি এইমাত্র তৈরি করা LIT অ্যাপ পরিষেবাটি নির্বাচন করুন৷ নিশ্চিত করুন যে পরিষেবার নাম LIT_SERVICE_NAME এর মতই।

আপনি এইমাত্র যে পরিষেবাটি স্থাপন করেছেন তাতে ক্লিক করে আপনি পরিষেবা URL খুঁজে পেতে পারেন৷

তারপর আপনি LIT UI দেখতে সক্ষম হওয়া উচিত। আপনি একটি ত্রুটি সম্মুখীন হলে, সমস্যা সমাধান বিভাগ চেক করুন.

আপনি কার্যকলাপ নিরীক্ষণ করতে, ত্রুটি বার্তা দেখতে, এবং স্থাপনার অগ্রগতি ট্র্যাক করতে LOGS বিভাগটি পরীক্ষা করতে পারেন৷

আপনি পরিষেবার মেট্রিক্স দেখতে METRICS বিভাগটি পরীক্ষা করতে পারেন৷

3-c: ডেটাসেট লোড করুন

LIT UI-তে Configure বিকল্পে ক্লিক করুন, Dataset নির্বাচন করুন। একটি নাম উল্লেখ করে এবং ডেটাসেট URL প্রদান করে ডেটাসেট লোড করুন। ডেটাসেট ফর্ম্যাটটি .jsonl হওয়া উচিত, যেখানে প্রতিটি রেকর্ডে prompt এবং ঐচ্ছিক target এবং source ক্ষেত্র রয়েছে৷

4. ভার্টেক্স এআই মডেল গার্ডেনে জেমিনি মডেল প্রস্তুত করুন

আপনি যদি জেমিনি মডেল ব্যবহার করে আপনার নিজস্ব ওপেন সোর্স LLM হোস্ট করতে চান তবে আপনি এই বিভাগটি এড়িয়ে যেতে পারেন।

গুগলের জেমিনি ফাউন্ডেশন মডেলগুলি Vertex AI API থেকে পাওয়া যায়। LIT প্রজন্মের জন্য এই মডেলগুলি ব্যবহার করার জন্য VertexAIModelGarden মডেলের মোড়ক প্রদান করে। মডেল নামের প্যারামিটারের মাধ্যমে কেবল পছন্দসই সংস্করণটি নির্দিষ্ট করুন (যেমন, "gemini-1.5-pro-001")। এই মডেলগুলি ব্যবহার করার একটি মূল সুবিধা হল তাদের স্থাপনার জন্য কোন অতিরিক্ত প্রচেষ্টার প্রয়োজন হয় না। ডিফল্টরূপে, আপনার কাছে GCP-তে Gemini 1.0 Pro এবং Gemini 1.5 Pro-এর মতো মডেলগুলিতে অবিলম্বে অ্যাক্সেস রয়েছে, যা অতিরিক্ত কনফিগারেশন পদক্ষেপের প্রয়োজনীয়তা দূর করে৷

4-a: Vertex AI অনুমতি দিন

জিসিপিতে জেমিনিকে জিজ্ঞাসা করতে, আপনাকে পরিষেবা অ্যাকাউন্টে Vertex AI অনুমতি দিতে হবে। নিশ্চিত করুন যে পরিষেবা অ্যাকাউন্টের নামটি Default compute service account । অ্যাকাউন্টের পরিষেবা অ্যাকাউন্ট ইমেল অনুলিপি করুন।

আপনার IAM অনুমোদিত তালিকায় Vertex AI User ভূমিকা সহ একটি প্রধান হিসাবে পরিষেবা অ্যাকাউন্টের ইমেল যোগ করুন।

4-বি: মিথুন মডেল লোড করুন

আপনি নীচের ধাপগুলি অনুসরণ করে জেমিনি মডেলগুলি লোড করবেন এবং এর পরামিতিগুলি সামঞ্জস্য করবেন৷

• 1. LIT UI এ Configure অপশনে ক্লিক করুন।
• 2. Select a base model বিকল্পের অধীনে gemini বিকল্পটি নির্বাচন করুন।
• 3. আপনাকে new_name মডেলটির নাম দিতে হবে।
• 4. model_name হিসাবে আপনার নির্বাচিত মিথুন মডেল লিখুন।
• 5. Load Model ক্লিক করুন.
• 6. Submit ক্লিক করুন.

5. GCP-তে স্ব-হোস্টেড LLMs মডেল সার্ভার স্থাপন করুন

আপনি যদি সরাসরি আপনার নিজের এলএলএম হোস্ট করার জন্য জেমিনি মডেলগুলি ব্যবহার করতে চান তবে আপনি এই বিভাগটি এড়িয়ে যেতে পারেন।

LIT-এর মডেল সার্ভার ডকার ইমেজ সহ স্ব-হোস্টিং LLMগুলি আপনাকে LIT-এর স্যালিয়েন্স ব্যবহার করতে এবং মডেল আচরণের গভীর অন্তর্দৃষ্টি পেতে ফাংশনগুলিকে টোকেনাইজ করার অনুমতি দেয়। মডেল সার্ভার ইমেজ কেরাসএনএলপি বা আলিঙ্গন ফেস ট্রান্সফরমার মডেলের সাথে কাজ করে, যেমন লাইব্রেরি-প্রদত্ত এবং স্ব-হোস্টেড ওজন, যেমন, Google ক্লাউড স্টোরেজে।

5-a: মডেল কনফিগার করুন

প্রতিটি ধারক একটি মডেল লোড করে, পরিবেশ ভেরিয়েবল ব্যবহার করে কনফিগার করা হয়।

MODEL_CONFIG সেট করে আপনাকে লোড করার জন্য মডেলগুলি নির্দিষ্ট করতে হবে৷ বিন্যাসটি name:path হওয়া উচিত, উদাহরণস্বরূপ model_foo:model_foo_path । পাথটি একটি URL, একটি স্থানীয় ফাইল পাথ বা কনফিগার করা ডিপ লার্নিং ফ্রেমওয়ার্কের জন্য একটি প্রিসেটের নাম হতে পারে (আরো জন্য নিম্নলিখিত টেবিলটি দেখুন)। এই সার্ভারটি সমস্ত সমর্থিত DL_FRAMEWORK মানগুলিতে Gemma, GPT2, Llama এবং Mistral দিয়ে পরীক্ষা করা হয়। অন্যান্য মডেল কাজ করা উচিত, কিন্তু সমন্বয় প্রয়োজন হতে পারে.

# Set models you want to load. While 'gemma2b is given as a placeholder, you can load your preferred model by following the instructions above.
export MODEL_CONFIG=gemma2b:gemma_2b_en

অতিরিক্তভাবে, LIT মডেল সার্ভার নীচের কমান্ড ব্যবহার করে বিভিন্ন পরিবেশ ভেরিয়েবলের কনফিগারেশনের অনুমতি দেয়। বিস্তারিত জানার জন্য টেবিল পড়ুন. মনে রাখবেন যে প্রতিটি ভেরিয়েবল পৃথকভাবে সেট করা আবশ্যক।

# Customize the variable value as needed.
export [VARIABLE]=[VALUE]

পরিবর্তনশীল	মূল্যবোধ	বর্ণনা
DL_FRAMEWORK	kerasnlp , transformers	মডেলিং লাইব্রেরি নির্দিষ্ট রানটাইমে মডেলের ওজন লোড করতে ব্যবহৃত হয়। kerasnlp এ ডিফল্ট।
DL_RUNTIME	torch , tensorflow	ডিপ লার্নিং ব্যাকএন্ড ফ্রেমওয়ার্ক যেটিতে মডেলটি চলে। এই সার্ভার দ্বারা লোড করা সমস্ত মডেল একই ব্যাকএন্ড ব্যবহার করবে, অসঙ্গতি ত্রুটির কারণ হবে৷ torch ডিফল্ট.
নির্ভুলতা	bfloat16 , float32	এলএলএম মডেলের জন্য ফ্লোটিং পয়েন্ট নির্ভুলতা। bfloat16 এ ডিফল্ট।
BATCH_SIZE	ধনাত্মক পূর্ণসংখ্যা	প্রতি ব্যাচে প্রসেস করার জন্য উদাহরণের সংখ্যা। ডিফল্ট 1 .
SEQUENCE_LENGTH	ধনাত্মক পূর্ণসংখ্যা	ইনপুট প্রম্পটের সর্বাধিক ক্রম দৈর্ঘ্য প্লাস তৈরি করা পাঠ্য। ডিফল্ট 512 .

5-বি: ক্লাউড রানে মডেল সার্ভার স্থাপন করুন

আপনাকে প্রথমে মডেল সার্ভারের সর্বশেষ সংস্করণটি স্থাপন করতে হবে সংস্করণ হিসাবে সেট করতে হবে৷

# Set latest as MODEL_VERSION_TAG.
export MODEL_VERSION_TAG=latest

যদিও সর্বোত্তম অভিজ্ঞতার জন্য সর্বশেষ সংস্করণটি ব্যবহার করার জন্য দৃঢ়ভাবে সুপারিশ করা হয়, তবে সামঞ্জস্যের কারণে, নির্দিষ্ট বৈশিষ্ট্যগুলির জন্য বা বিদ্যমান সেটআপের সাথে সামঞ্জস্য বজায় রাখার জন্য প্রয়োজন হলে আপনি একটি পুরানো সংস্করণ বেছে নিতে পারেন। সমস্ত সংস্করণ দেখতে, নিম্নলিখিত কমান্ডটি চালান।

# List all the public LIT GCP model server docker images.
gcloud container images  list-tags  us-east4-docker.pkg.dev/lit-demos/lit-app/gcp-model-server

সংস্করণ ট্যাগ সেট করার পরে, আপনাকে আপনার মডেল-সার্ভারের নাম দিতে হবে।

# Set your Service name.
export MODEL_SERVICE_NAME='gemma2b-model-server'

এর পরে, আপনি ক্লাউড রানে কন্টেইনার স্থাপন করতে নিম্নলিখিত কমান্ডটি চালাতে পারেন। আপনি পরিবেশ ভেরিয়েবল সেট না করলে, ডিফল্ট মান প্রয়োগ করা হবে। যেহেতু বেশিরভাগ LLM-এর জন্য ব্যয়বহুল কম্পিউটিং সংস্থানগুলির প্রয়োজন হয়, তাই GPU ব্যবহার করার জন্য এটি অত্যন্ত সুপারিশ করা হয়। আপনি যদি শুধুমাত্র CPU-তে চালাতে পছন্দ করেন (যা GPT2 এর মত ছোট মডেলের জন্য ভালো কাজ করে), তাহলে আপনি সম্পর্কিত আর্গুমেন্টগুলি সরিয়ে ফেলতে পারেন --gpu 1 --gpu-type nvidia-l4 --max-instances 7 ।

ক্লাউড রানে GPU সমর্থন বর্তমানে খোলা বিটাতে রয়েছে; প্রাপ্যতা এবং অন্যান্য সীমাবদ্ধতা সাপেক্ষে। উপলব্ধ জিপিইউ এবং পরিষেবার সীমাবদ্ধতার তালিকার জন্য ক্লাউড রান পরিষেবা ওয়েবসাইট দেখুন।

# Deploy the model service container.
gcloud beta run deploy $MODEL_SERVICE_NAME \
--image us-east4-docker.pkg.dev/lit-demos/lit-app/gcp-model-server:$MODEL_VERSION_TAG \
--port 5432 \
--cpu 8 \
--memory 32Gi \
--no-cpu-throttling \
--gpu 1 \
--gpu-type nvidia-l4  \
--max-instances 7  \
--set-env-vars "MODEL_CONFIG=$MODEL_CONFIG" \
--no-allow-unauthenticated

এছাড়াও, আপনি নিম্নলিখিত কমান্ডগুলি যোগ করে পরিবেশের ভেরিয়েবলগুলি কাস্টমাইজ করতে পারেন। শুধুমাত্র আপনার নির্দিষ্ট প্রয়োজনের জন্য প্রয়োজনীয় পরিবেশ ভেরিয়েবলগুলি অন্তর্ভুক্ত করুন।

--set-env-vars "DL_FRAMEWORK=$DL_FRAMEWORK" \
--set-env-vars "DL_RUNTIME=$DL_RUNTIME" \
--set-env-vars "PRECISION=$PRECISION" \
--set-env-vars "BATCH_SIZE=$BATCH_SIZE" \
--set-env-vars "SEQUENCE_LENGTH=$SEQUENCE_LENGTH" \

নির্দিষ্ট মডেল অ্যাক্সেস করার জন্য অতিরিক্ত পরিবেশ ভেরিয়েবলের প্রয়োজন হতে পারে। উপযুক্ত হিসাবে Kaggle হাব (KerasNLP মডেলের জন্য ব্যবহৃত) এবং Hugging Face Hub থেকে নির্দেশাবলী দেখুন।

5-c: এক্সেস মডেল সার্ভার

মডেল সার্ভার তৈরি করার পরে, শুরু করা পরিষেবাটি আপনার GCP প্রকল্পের ক্লাউড রান বিভাগে পাওয়া যেতে পারে।

আপনি যে মডেল সার্ভার তৈরি করেছেন তা নির্বাচন করুন। নিশ্চিত করুন যে পরিষেবার নামটি MODEL_SERVICE_NAME এর মতই।

আপনি এইমাত্র মোতায়েন করা মডেল পরিষেবাতে ক্লিক করে পরিষেবা URL খুঁজে পেতে পারেন৷

আপনি কার্যকলাপ নিরীক্ষণ করতে, ত্রুটি বার্তা দেখতে, এবং স্থাপনার অগ্রগতি ট্র্যাক করতে LOGS বিভাগটি পরীক্ষা করতে পারেন৷

আপনি পরিষেবার মেট্রিক্স দেখতে METRICS বিভাগটি পরীক্ষা করতে পারেন৷

মডেল সার্ভারটি আরও যাচাই করতে, আপনি এটি সরাসরি জিজ্ঞাসা করতে পারেন। অতিরিক্ত বিশদ বিবরণের জন্য, অনুগ্রহ করে সমস্যা সমাধান বিভাগ দেখুন।

5-d: স্ব-হোস্টেড মডেল লোড করুন

আপনি যদি ধাপ 3 এ আপনার LIT সার্ভারকে প্রক্সি করেন (সমস্যা সমাধান বিভাগটি পরীক্ষা করুন), আপনাকে নিম্নলিখিত কমান্ডটি চালিয়ে আপনার GCP পরিচয় টোকেন পেতে হবে।

# Find your GCP identity token.
gcloud auth print-identity-token

আপনি স্ব-হোস্ট করা মডেলগুলি লোড করবেন এবং নীচের পদক্ষেপগুলি অনুসরণ করে এর পরামিতিগুলি সামঞ্জস্য করবেন।

1. LIT UI এ Configure অপশনে ক্লিক করুন।
2. Select a base model বিকল্পের অধীনে LLM (self hosted) বিকল্পটি নির্বাচন করুন।
3. আপনাকে new_name মডেলটির নাম দিতে হবে।
4. base_url হিসাবে আপনার মডেল সার্ভার url লিখুন।
5. আপনি যদি LIT অ্যাপ সার্ভারে প্রক্সি করেন তাহলে identity_token এ প্রাপ্ত পরিচয় টোকেন ইনপুট করুন (ধাপ 3 এবং ধাপ 7 দেখুন)। অন্যথায়, এটি খালি ছেড়ে দিন।
6. Load Model ক্লিক করুন.
7. Submit ক্লিক করুন.

6. GCP-এ LIT-এর সাথে যোগাযোগ করুন

LIT আপনাকে মডেল আচরণগুলি ডিবাগ করতে এবং বুঝতে সাহায্য করার জন্য বৈশিষ্ট্যগুলির একটি সমৃদ্ধ সেট অফার করে৷ আপনি একটি বাক্সে টেক্সট টাইপ করে এবং মডেলের ভবিষ্যতবাণী দেখে, বা LIT-এর শক্তিশালী বৈশিষ্ট্যগুলির স্যুট সহ মডেলগুলিকে গভীরভাবে পরিদর্শন করে, মডেলটি অনুসন্ধান করার মতো সহজ কিছু করতে পারেন, যার মধ্যে রয়েছে:

6-a: LIT এর মাধ্যমে মডেলটি জিজ্ঞাসা করুন

মডেল এবং ডেটাসেট লোড হওয়ার পরে LIT স্বয়ংক্রিয়ভাবে ডেটাসেট অনুসন্ধান করে। আপনি কলামে প্রতিক্রিয়া নির্বাচন করে প্রতিটি মডেলের প্রতিক্রিয়া দেখতে পারেন।

6-বি: সিকোয়েন্স স্যালিয়েন্স টেকনিক ব্যবহার করুন

বর্তমানে LIT-এ সিকোয়েন্স স্যালিয়েন্স কৌশল শুধুমাত্র স্ব-হোস্ট করা মডেলগুলিকে সমর্থন করে।

সিকোয়েন্স স্যালিয়েন্স হল একটি ভিজ্যুয়াল টুল যা প্রদত্ত আউটপুটের জন্য প্রম্পটের কোন অংশগুলি সবচেয়ে গুরুত্বপূর্ণ তা হাইলাইট করে এলএলএম প্রম্পট ডিবাগ করতে সাহায্য করে। সিকোয়েন্স স্যালিয়েন্স সম্পর্কে আরও তথ্যের জন্য, এই বৈশিষ্ট্যটি কীভাবে ব্যবহার করবেন সে সম্পর্কে আরও জানতে সম্পূর্ণ টিউটোরিয়ালটি দেখুন।

স্যালিয়েন্স ফলাফলগুলি অ্যাক্সেস করতে, প্রম্পট বা প্রতিক্রিয়াতে যেকোন ইনপুট বা আউটপুটে ক্লিক করুন এবং স্যালিয়েন্স ফলাফলগুলি প্রদর্শিত হবে।

6-c: Manullay সম্পাদনা প্রম্পট এবং লক্ষ্য

LIT আপনাকে বিদ্যমান ডেটাপয়েন্টের জন্য যেকোনো prompt এবং target ম্যানুয়ালি সম্পাদনা করতে দেয়। Add ক্লিক করে, নতুন ইনপুট ডেটাসেটে যোগ করা হবে।

6-d: প্রম্পট সাইড-বাই-সাইড তুলনা করুন

LIT আপনাকে মূল এবং সম্পাদিত উদাহরণগুলির পাশাপাশি প্রম্পট তুলনা করার অনুমতি দেয়। আপনি ম্যানুয়ালি একটি উদাহরণ সম্পাদনা করতে পারেন এবং একই সাথে মূল এবং সম্পাদিত সংস্করণ উভয়ের জন্য ভবিষ্যদ্বাণী ফলাফল এবং সিকোয়েন্স সেলিয়েন্স বিশ্লেষণ দেখতে পারেন। আপনি প্রতিটি ডেটাপয়েন্টের জন্য প্রম্পট পরিবর্তন করতে পারেন এবং LIT মডেলটি জিজ্ঞাসা করে সংশ্লিষ্ট প্রতিক্রিয়া তৈরি করবে।

6-ই: একাধিক মডেল পাশাপাশি তুলনা করুন

LIT পৃথক টেক্সট জেনারেশন এবং স্কোরিং উদাহরণের পাশাপাশি নির্দিষ্ট মেট্রিক্সের জন্য সমষ্টিগত উদাহরণগুলিতে মডেলগুলির পাশাপাশি তুলনা সক্ষম করে। বিভিন্ন লোড করা মডেলের অনুসন্ধান করে, আপনি সহজেই তাদের প্রতিক্রিয়াগুলির পার্থক্যগুলি তুলনা করতে পারেন৷

6-f: স্বয়ংক্রিয় কাউন্টারফ্যাকচুয়াল জেনারেটর

আপনি বিকল্প ইনপুট তৈরি করতে স্বয়ংক্রিয় কাউন্টারফ্যাকচুয়াল জেনারেটর ব্যবহার করতে পারেন এবং দেখতে পারেন কিভাবে আপনার মডেল তাদের সাথে আচরণ করে।

6-জি: মডেলের কর্মক্ষমতা মূল্যায়ন করুন

আপনি সমগ্র ডেটাসেট জুড়ে মেট্রিক্স (বর্তমানে টেক্সট জেনারেশনের জন্য BLEU এবং ROUGE স্কোর সমর্থন করে) বা ফিল্টার করা বা নির্বাচিত উদাহরণগুলির যেকোনো উপসেট ব্যবহার করে মডেলের কার্যকারিতা মূল্যায়ন করতে পারেন।

7. সমস্যা সমাধান

7-ক: সম্ভাব্য অ্যাক্সেস সমস্যা এবং সমাধান

যেহেতু ক্লাউড রানে স্থাপন করার সময় --no-allow-unauthenticated প্রয়োগ করা হয়, আপনি নীচে দেখানো নিষিদ্ধ ত্রুটির সম্মুখীন হতে পারেন৷

LIT অ্যাপ পরিষেবা অ্যাক্সেস করার দুটি পদ্ধতি রয়েছে।

1. স্থানীয় পরিষেবার প্রক্সি

আপনি নীচের কমান্ড ব্যবহার করে স্থানীয় হোস্টে পরিষেবাটি প্রক্সি করতে পারেন।

# Proxy the service to local host.
gcloud run services proxy $LIT_SERVICE_NAME

তারপরে আপনি প্রক্সিড পরিষেবা লিঙ্কে ক্লিক করে LIT সার্ভারে অ্যাক্সেস করতে সক্ষম হবেন।

2. সরাসরি ব্যবহারকারীদের প্রমাণীকরণ করুন

আপনি LIT অ্যাপ পরিষেবাতে সরাসরি অ্যাক্সেসের অনুমতি দিয়ে ব্যবহারকারীদের প্রমাণীকরণ করতে এই লিঙ্কটি অনুসরণ করতে পারেন। এই পদ্ধতিটি ব্যবহারকারীদের একটি গ্রুপকে পরিষেবা অ্যাক্সেস করতে সক্ষম করতে পারে। একাধিক ব্যক্তির সাথে সহযোগিতা জড়িত উন্নয়নের জন্য, এটি একটি আরও কার্যকর বিকল্প।

7-বি: মডেল সার্ভার সফলভাবে চালু হয়েছে তা নিশ্চিত করতে পরীক্ষা করে

মডেল সার্ভার সফলভাবে চালু হয়েছে তা নিশ্চিত করতে, আপনি একটি অনুরোধ পাঠিয়ে মডেল সার্ভারকে সরাসরি জিজ্ঞাসা করতে পারেন। মডেল সার্ভার তিনটি এন্ডপয়েন্ট প্রদান করে, predict , tokenize এবং salience । নিশ্চিত করুন যে আপনি আপনার অনুরোধে prompt ক্ষেত্র এবং target ক্ষেত্র উভয়ই প্রদান করেছেন।

# Query the model server predict endpoint.
curl -X POST  http://YOUR_MODEL_SERVER_URL/predict -H "Content-Type: application/json" -d '{"inputs":[{"prompt":"[YOUR PROMPT]", "target":[YOUR TARGET]}]}'

# Query the model server tokenize endpoint.
curl -X POST  http://YOUR_MODEL_SERVER_URL/tokenize -H "Content-Type: application/json" -d '{"inputs":[{"prompt":"[YOUR PROMPT]", "target":[YOUR TARGET]}]}'

# Query the model server salience endpoint.
curl -X POST  http://YOUR_MODEL_SERVER_URL/salience -H "Content-Type: application/json" -d '{"inputs":[{"prompt":"[YOUR PROMPT]", "target":[YOUR TARGET]}]}'

আপনি যদি একটি অ্যাক্সেস সমস্যার সম্মুখীন হন, উপরের বিভাগ 7-a দেখুন।

8. অভিনন্দন

কোডল্যাব সম্পূর্ণ করার উপর ভাল কাজ! ঠান্ডা করার সময়!

পরিষ্কার করুন

ল্যাব পরিষ্কার করতে, ল্যাবের জন্য তৈরি করা সমস্ত Google ক্লাউড পরিষেবা মুছুন। নিম্নলিখিত কমান্ডগুলি চালানোর জন্য Google ক্লাউড শেল ব্যবহার করুন।

যদি নিষ্ক্রিয়তার কারণে Google ক্লাউড সংযোগ হারিয়ে যায়, তাহলে পূর্ববর্তী পদক্ষেপগুলি অনুসরণ করে ভেরিয়েবলগুলি পুনরায় সেট করুন৷

# Delete the LIT App Service.
gcloud run services delete $LIT_SERVICE_NAME

আপনি যদি মডেল সার্ভার শুরু করেন তবে আপনাকে মডেল সার্ভারও মুছতে হবে।

# Delete the Model Service.
gcloud run services delete $MODEL_SERVICE_NAME

আরও পড়া

নীচের উপকরণগুলির সাথে LIT টুল বৈশিষ্ট্যগুলি শেখা চালিয়ে যান:

• জেমা: লিঙ্ক
• LIT ওপেন সোর্স কোড বেস: গিট রেপো
• LIT কাগজ: ArXiv
• LIT প্রম্পট ডিবাগিং পেপার: ArXiv
• LIT বৈশিষ্ট্য ভিডিও ডেমো: Youtube
• LIT প্রম্পট ডিবাগিং ডেমো: Youtube
• দায়ী GenAI টুলকিট: লিঙ্ক

যোগাযোগ

এই কোডল্যাবের যেকোনো প্রশ্ন বা সমস্যার জন্য, অনুগ্রহ করে গিটহাবে আমাদের সাথে যোগাযোগ করুন।

লাইসেন্স

এই কাজটি ক্রিয়েটিভ কমন্স অ্যাট্রিবিউশন 4.0 জেনেরিক লাইসেন্সের অধীনে লাইসেন্সপ্রাপ্ত।