জিসিপি-তে লার্নিং ইন্টারপ্রিটেবিলিটি টুল (এলআইটি) দিয়ে এলএলএম প্রম্পট ডিবাগিং

1. সংক্ষিপ্ত বিবরণ

এই ল্যাবটি ভার্টেক্স এআই জেমিনি ফাউন্ডেশন মডেল এবং স্ব-হোস্টেড থার্ড-পার্টি লার্জ ল্যাঙ্গুয়েজ মডেল (এলএলএম) এর সাথে ইন্টারঅ্যাক্ট করার জন্য গুগল ক্লাউড প্ল্যাটফর্ম (জিসিপি) এ একটি এলআইটি অ্যাপ্লিকেশন সার্ভার স্থাপনের বিষয়ে বিস্তারিত ওয়াক-থ্রু প্রদান করে। এতে দ্রুত ডিবাগিং এবং মডেল ব্যাখ্যার জন্য এলআইটি ইউআই কীভাবে ব্যবহার করতে হয় সে সম্পর্কেও নির্দেশিকা অন্তর্ভুক্ত রয়েছে।

এই ল্যাবটি অনুসরণ করে, ব্যবহারকারীরা শিখবেন কিভাবে:

  • GCP-তে একটি LIT সার্ভার কনফিগার করুন।
  • LIT সার্ভারটিকে Vertex AI Gemini মডেল বা অন্যান্য স্ব-হোস্টেড LLM-এর সাথে সংযুক্ত করুন।
  • উন্নত মডেল কর্মক্ষমতা এবং অন্তর্দৃষ্টির জন্য প্রম্পট বিশ্লেষণ, ডিবাগ এবং ব্যাখ্যা করতে LIT UI ব্যবহার করুন।

LIT কি?

LIT হল একটি ভিজ্যুয়াল, ইন্টারেক্টিভ মডেল-বোঝার টুল যা টেক্সট, ইমেজ এবং ট্যাবুলার ডেটা সমর্থন করে। এটি একটি স্বতন্ত্র সার্ভার হিসেবে অথবা Google Colab, Jupyter এবং Google Cloud Vertex AI এর মতো নোটবুক পরিবেশের ভিতরে চালানো যেতে পারে। LIT PyPI এবং GitHub থেকে পাওয়া যায়।

মূলত শ্রেণীবিভাগ এবং রিগ্রেশন মডেলগুলি বোঝার জন্য তৈরি, সাম্প্রতিক আপডেটগুলিতে LLM প্রম্পটগুলি ডিবাগ করার জন্য সরঞ্জাম যুক্ত করা হয়েছে যা আপনাকে ব্যবহারকারী, মডেল এবং সিস্টেমের বিষয়বস্তু কীভাবে প্রজন্মের আচরণকে প্রভাবিত করে তা অন্বেষণ করতে দেয়।

ভার্টেক্স এআই এবং মডেল গার্ডেন কী?

ভার্টেক্স এআই হল একটি মেশিন লার্নিং (এমএল) প্ল্যাটফর্ম যা আপনাকে এমএল মডেল এবং এআই অ্যাপ্লিকেশনগুলিকে প্রশিক্ষণ এবং স্থাপন করতে এবং আপনার এআই-চালিত অ্যাপ্লিকেশনগুলিতে ব্যবহারের জন্য এলএলএম কাস্টমাইজ করতে দেয়। ভার্টেক্স এআই ডেটা ইঞ্জিনিয়ারিং, ডেটা সায়েন্স এবং এমএল ইঞ্জিনিয়ারিং ওয়ার্কফ্লোকে একত্রিত করে, যা আপনার দলগুলিকে একটি সাধারণ টুলসেট ব্যবহার করে সহযোগিতা করতে এবং গুগল ক্লাউডের সুবিধাগুলি ব্যবহার করে আপনার অ্যাপ্লিকেশনগুলিকে স্কেল করতে সক্ষম করে।

ভার্টেক্স মডেল গার্ডেন হল একটি এমএল মডেল লাইব্রেরি যা আপনাকে গুগলের মালিকানাধীন এবং তৃতীয় পক্ষের মডেল এবং সম্পদ নির্বাচন করতে, পরীক্ষা করতে, কাস্টমাইজ করতে এবং স্থাপন করতে সহায়তা করে।

তুমি কি করবে

LIT-এর পূর্বনির্মিত চিত্র থেকে একটি ডকার কন্টেইনার স্থাপন করতে আপনি Google Cloud Shell এবং Cloud Run ব্যবহার করবেন।

ক্লাউড রান হল একটি পরিচালিত কম্পিউট প্ল্যাটফর্ম যা আপনাকে GPU সহ Google এর স্কেলেবল অবকাঠামোর উপরে সরাসরি কন্টেইনার চালাতে দেয়।

ডেটাসেট

ডেমোটি ডিফল্টরূপে LIT প্রম্পট ডিবাগিং নমুনা ডেটাসেট ব্যবহার করে, অথবা আপনি UI এর মাধ্যমে আপনার নিজস্ব ডেটাসেট লোড করতে পারেন।

শুরু করার আগে

এই রেফারেন্স গাইডের জন্য, আপনার একটি Google ক্লাউড প্রকল্প প্রয়োজন। আপনি একটি নতুন প্রকল্প তৈরি করতে পারেন, অথবা আপনার ইতিমধ্যে তৈরি করা একটি প্রকল্প নির্বাচন করতে পারেন।

২. গুগল ক্লাউড কনসোল এবং একটি ক্লাউড শেল চালু করুন

এই ধাপে আপনি একটি গুগল ক্লাউড কনসোল চালু করবেন এবং গুগল ক্লাউড শেল ব্যবহার করবেন।

২-ক: একটি গুগল ক্লাউড কনসোল চালু করুন

একটি ব্রাউজার চালু করুন এবং গুগল ক্লাউড কনসোলে যান।

গুগল ক্লাউড কনসোল একটি শক্তিশালী, সুরক্ষিত ওয়েব অ্যাডমিন ইন্টারফেস যা আপনাকে আপনার গুগল ক্লাউড রিসোর্সগুলি দ্রুত পরিচালনা করতে দেয়। এটি একটি DevOps টুল যা চলতে চলতে ব্যবহার করা যায়।

2-b: একটি Google Cloud Shell চালু করুন

ক্লাউড শেল হল একটি অনলাইন ডেভেলপমেন্ট এবং অপারেশন এনভায়রনমেন্ট যা আপনার ব্রাউজারের মাধ্যমে যেকোনো জায়গায় অ্যাক্সেসযোগ্য। আপনি gcloud কমান্ড-লাইন টুল, kubectl এবং আরও অনেক কিছু সহ প্রিলোডেড অনলাইন টার্মিনাল ব্যবহার করে আপনার রিসোর্সগুলি পরিচালনা করতে পারেন। আপনি অনলাইন ক্লাউড শেল এডিটর ব্যবহার করে আপনার ক্লাউড-ভিত্তিক অ্যাপগুলি ডেভেলপ, বিল্ড, ডিবাগ এবং স্থাপন করতে পারেন। ক্লাউড শেল একটি ডেভেলপার-প্রস্তুত, অনলাইন পরিবেশ প্রদান করে যার সাথে একটি প্রি-ইনস্টল করা পছন্দের টুল সেট এবং 5GB স্থায়ী স্টোরেজ স্পেস থাকে। পরবর্তী ধাপগুলিতে আপনি কমান্ড প্রম্পট ব্যবহার করবেন।

মেনু বারের উপরের ডানদিকে আইকনটি ব্যবহার করে একটি গুগল ক্লাউড শেল চালু করুন, যা নিচের স্ক্রিনশটে নীল রঙে বৃত্তাকারে দেখানো হয়েছে।

গুগল ক্লাউড কনসোল লঞ্চ

পৃষ্ঠার নীচে আপনি একটি Bash শেল সহ একটি টার্মিনাল দেখতে পাবেন।

গুগল ক্লাউড কনসোল

2-c: গুগল ক্লাউড প্রজেক্ট সেট করুন

আপনাকে gcloud কমান্ড ব্যবহার করে প্রজেক্ট আইডি এবং প্রজেক্ট অঞ্চল সেট করতে হবে।

# Set your GCP Project ID.
gcloud config set project your-project-id

# Set your GCP Project Region.
gcloud config set run/region your-project-region

৩. ক্লাউড রানের মাধ্যমে LIT অ্যাপ সার্ভার ডকার ইমেজ স্থাপন করুন

৩-ক: ক্লাউড রানে LIT অ্যাপ স্থাপন করুন

আপনাকে প্রথমে LIT-App এর সর্বশেষ সংস্করণটি স্থাপনের জন্য সংস্করণ হিসেবে সেট করতে হবে।

# Set latest version as your LIT_SERVICE_TAG.
export LIT_SERVICE_TAG=latest

# List all the public LIT GCP App server docker images.
gcloud container images  list-tags  us-east4-docker.pkg.dev/lit-demos/lit-app/gcp-lit-app

সংস্করণ ট্যাগ সেট করার পরে, আপনাকে পরিষেবাটির নাম দিতে হবে।

# Set your lit service name. While 'lit-app-service' is provided as a placeholder, you can customize the service name based on your preferences.
export LIT_SERVICE_NAME=lit-app-service

এরপর, আপনি ক্লাউড রানে কন্টেইনারটি স্থাপন করতে নিম্নলিখিত কমান্ডটি চালাতে পারেন।

# Use below cmd to deploy the LIT App to Cloud Run.
gcloud run deploy $LIT_SERVICE_NAME \
--image us-east4-docker.pkg.dev/lit-demos/lit-app/gcp-lit-app:$LIT_SERVICE_TAG \
--port 5432 \
--cpu 8 \
--memory 32Gi \
--no-cpu-throttling \
--no-allow-unauthenticated

LIT আপনাকে সার্ভার শুরু করার সময় ডেটাসেট যোগ করার সুযোগও দেয়। এটি করার জন্য, DATASETS ভেরিয়েবলটি সেট করুন যাতে আপনি যে ডেটা লোড করতে চান তা অন্তর্ভুক্ত থাকে, উদাহরণস্বরূপ, name:path ফর্ম্যাট ব্যবহার করে, data_foo:/bar/data_2024.jsonl । ডেটাসেট ফর্ম্যাটটি .jsonl হওয়া উচিত, যেখানে প্রতিটি রেকর্ডে prompt এবং ঐচ্ছিক target এবং source ফিল্ড থাকে। একাধিক ডেটাসেট লোড করতে, কমা দিয়ে তাদের আলাদা করুন। যদি সেট না করা থাকে, তাহলে LIT প্রম্পট ডিবাগিং নমুনা ডেটাসেট লোড হবে।

# Set the dataset.
export DATASETS=[DATASETS]

MAX_EXAMPLES সেট করে, আপনি প্রতিটি মূল্যায়ন সেট থেকে লোড করার জন্য সর্বাধিক সংখ্যক উদাহরণ সেট করতে পারবেন।

# Set the max examples.
export MAX_EXAMPLES=[MAX_EXAMPLES]

তারপর, deploy commad-এ, আপনি যোগ করতে পারেন

--set-env-vars "DATASETS=$DATASETS" \
--set-env-vars "MAX_EXAMPLES=$MAX_EXAMPLES" \

3-b: LIT অ্যাপ পরিষেবা দেখুন

LIT অ্যাপ সার্ভার তৈরি করার পর, আপনি ক্লাউড কনসোলের ক্লাউড রান বিভাগে পরিষেবাটি খুঁজে পেতে পারেন।

আপনার তৈরি করা LIT অ্যাপ পরিষেবাটি নির্বাচন করুন। নিশ্চিত করুন যে পরিষেবার নাম LIT_SERVICE_NAME এর মতো।

গুগল ক্লাউড কনসোল ক্লাউড রান তালিকা

আপনি যে পরিষেবাটি স্থাপন করেছেন তাতে ক্লিক করে পরিষেবার URLটি খুঁজে পেতে পারেন।

গুগল ক্লাউড ফাইন্ড সার্ভিস ইউআরএল

তারপর আপনি LIT UI দেখতে সক্ষম হবেন। যদি আপনি কোন ত্রুটির সম্মুখীন হন, তাহলে সমস্যা সমাধান বিভাগটি পরীক্ষা করুন।

LIT ডেমো হোম

কার্যকলাপ পর্যবেক্ষণ করতে, ত্রুটির বার্তা দেখতে এবং স্থাপনার অগ্রগতি ট্র্যাক করতে আপনি LOGS বিভাগটি পরীক্ষা করতে পারেন।

গুগল ক্লাউড কনসোল ক্লাউড রান লগ

পরিষেবার মেট্রিক্স দেখতে আপনি METRICS বিভাগটি পরীক্ষা করতে পারেন।

গুগল ক্লাউড কনসোল ক্লাউড রান মেট্রিক্স

3-c: ডেটাসেট লোড করুন

LIT UI-তে Configure অপশনে ক্লিক করুন, Dataset নির্বাচন করুন। একটি নাম উল্লেখ করে এবং ডেটাসেটের URL প্রদান করে ডেটাসেট লোড করুন। ডেটাসেটের ফর্ম্যাটটি .jsonl হওয়া উচিত, যেখানে প্রতিটি রেকর্ডে prompt এবং ঐচ্ছিক target এবং source ক্ষেত্র থাকে।

LIT লোড ডেটাসেট

৪. ভার্টেক্স এআই মডেল গার্ডেনে জেমিনি মডেল তৈরি করুন

গুগলের জেমিনি ফাউন্ডেশন মডেলগুলি Vertex AI API থেকে পাওয়া যায়। LIT এই মডেলগুলিকে প্রজন্মের জন্য ব্যবহার করার জন্য VertexAIModelGarden মডেল র‍্যাপার সরবরাহ করে। মডেল নেম প্যারামিটারের মাধ্যমে কেবল পছন্দসই সংস্করণটি (যেমন, "gemini-1.5-pro-001") নির্দিষ্ট করুন। এই মডেলগুলি ব্যবহারের একটি প্রধান সুবিধা হল যে এগুলি স্থাপনের জন্য কোনও অতিরিক্ত প্রচেষ্টার প্রয়োজন হয় না। ডিফল্টরূপে, আপনি GCP-তে Gemini 1.0 Pro এবং Gemini 1.5 Pro এর মতো মডেলগুলিতে তাৎক্ষণিক অ্যাক্সেস পাবেন, অতিরিক্ত কনফিগারেশন পদক্ষেপের প্রয়োজন বাদ দিয়ে।

৪-ক: ভার্টেক্স এআই অনুমতি প্রদান করুন

GCP-তে Gemini-কে জিজ্ঞাসা করার জন্য, আপনাকে পরিষেবা অ্যাকাউন্টে Vertex AI অনুমতি প্রদান করতে হবে। নিশ্চিত করুন যে পরিষেবা অ্যাকাউন্টের নামটি Default compute service account । অ্যাকাউন্টের পরিষেবা অ্যাকাউন্টের ইমেল ঠিকানাটি অনুলিপি করুন।

জিসিপির পরিষেবা অ্যাকাউন্ট

আপনার IAM allowlist- এ Vertex AI User ভূমিকা সহ প্রিন্সিপাল হিসেবে পরিষেবা অ্যাকাউন্টের ইমেল ঠিকানা যোগ করুন।

পরিষেবা অ্যাকাউন্ট যোগ করুন ইমেল

৪-বি: জেমিনি মডেল লোড করুন

আপনি নীচের ধাপগুলি অনুসরণ করে জেমিনি মডেলগুলি লোড করবেন এবং এর প্যারামিটারগুলি সামঞ্জস্য করবেন।

    1. LIT UI-তে Configure অপশনে ক্লিক করুন।
    1. Select a base model বিকল্পের অধীনে gemini বিকল্পটি নির্বাচন করুন।
    1. আপনাকে মডেলটির নাম new_name লিখতে হবে।
    1. আপনার নির্বাচিত মিথুন মডেলগুলিকে model_name হিসেবে লিখুন।
    1. Load Model ক্লিক করুন।
    1. Submit ক্লিক করুন।

LIT লোড জেমিনি মডেল

৫. GCP-তে স্ব-হোস্টেড LLM মডেল সার্ভার স্থাপন করুন

LIT-এর মডেল সার্ভার ডকার ইমেজ সহ স্ব-হোস্টিং LLM আপনাকে মডেল আচরণ সম্পর্কে আরও গভীর অন্তর্দৃষ্টি পেতে LIT-এর স্যালিয়েন্স এবং টোকেনাইজ ফাংশন ব্যবহার করতে দেয়। মডেল সার্ভার ইমেজ KerasNLP বা Hugging Face Transformers মডেলগুলির সাথে কাজ করে, যার মধ্যে লাইব্রেরি-প্রদত্ত এবং স্ব-হোস্টেড ওজন অন্তর্ভুক্ত, যেমন, Google ক্লাউড স্টোরেজে।

৫-ক: মডেল কনফিগার করুন

প্রতিটি ধারক একটি মডেল লোড করে, পরিবেশ ভেরিয়েবল ব্যবহার করে কনফিগার করা হয়।

MODEL_CONFIG সেট করে লোড করার জন্য মডেলগুলি নির্দিষ্ট করতে হবে। ফর্ম্যাটটি name:path হওয়া উচিত, উদাহরণস্বরূপ model_foo:model_foo_path । পাথটি একটি URL, একটি স্থানীয় ফাইল পাথ, অথবা কনফিগার করা ডিপ লার্নিং ফ্রেমওয়ার্কের জন্য একটি প্রিসেটের নাম হতে পারে (আরও জানতে নিম্নলিখিত টেবিলটি দেখুন)। এই সার্ভারটি সমস্ত সমর্থিত DL_FRAMEWORK মানগুলিতে Gemma, GPT2, Llama এবং Mistral দিয়ে পরীক্ষা করা হয়েছে। অন্যান্য মডেলগুলি কাজ করবে, তবে সমন্বয় প্রয়োজন হতে পারে।

# Set models you want to load. While 'gemma2b is given as a placeholder, you can load your preferred model by following the instructions above.
export MODEL_CONFIG=gemma2b:gemma_2b_en

অতিরিক্তভাবে, LIT মডেল সার্ভার নীচের কমান্ড ব্যবহার করে বিভিন্ন পরিবেশ ভেরিয়েবলের কনফিগারেশনের অনুমতি দেয়। বিস্তারিত জানার জন্য দয়া করে টেবিলটি দেখুন। মনে রাখবেন যে প্রতিটি ভেরিয়েবল পৃথকভাবে সেট করা আবশ্যক। 

# Customize the variable value as needed.
export [VARIABLE]=[VALUE]

পরিবর্তনশীল

মূল্যবোধ

বিবরণ

DL_FRAMEWORK সম্পর্কে

kerasnlp , transformers

নির্দিষ্ট রানটাইমে মডেলের ওজন লোড করার জন্য ব্যবহৃত মডেলিং লাইব্রেরি। ডিফল্টরূপে kerasnlp ।

DL_RUNTIME সম্পর্কে

torch , tensorflow

মডেলটি যে ডিপ লার্নিং ব্যাকএন্ড ফ্রেমওয়ার্কের উপর চলে। এই সার্ভার দ্বারা লোড করা সমস্ত মডেল একই ব্যাকএন্ড ব্যবহার করবে, অসঙ্গতির ফলে ত্রুটি দেখা দেবে। ডিফল্টভাবে torch ব্যবহার করা হয়।

যথার্থতা

bfloat16 , float32

LLM মডেলের জন্য ফ্লোটিং পয়েন্ট প্রিসিশন। ডিফল্ট হিসেবে bfloat16 ব্যবহার করা হয়।

ব্যাচ_সাইজ

ধনাত্মক পূর্ণসংখ্যা

প্রতি ব্যাচে প্রক্রিয়া করার জন্য উদাহরণের সংখ্যা। ডিফল্ট হিসেবে 1 ।

SEQUENCE_LENGTH নম্বর

ধনাত্মক পূর্ণসংখ্যা

ইনপুট প্রম্পটের সর্বাধিক ক্রম দৈর্ঘ্য এবং উৎপন্ন টেক্সট। ডিফল্ট 512 ।

৫-খ: ক্লাউড রানে মডেল সার্ভার স্থাপন করুন

আপনাকে প্রথমে মডেল সার্ভারের সর্বশেষ সংস্করণটি স্থাপনের জন্য সংস্করণ হিসেবে সেট করতে হবে। 

# Set latest as MODEL_VERSION_TAG.
export MODEL_VERSION_TAG=latest

# List all the public LIT GCP model server docker images.
gcloud container images  list-tags  us-east4-docker.pkg.dev/lit-demos/lit-app/gcp-model-server

ভার্সন ট্যাগ সেট করার পর, আপনাকে আপনার মডেল-সার্ভারের নাম দিতে হবে। 

# Set your Service name.
export MODEL_SERVICE_NAME='gemma2b-model-server'

এরপর, আপনি ক্লাউড রানে কন্টেইনারটি স্থাপন করতে নিম্নলিখিত কমান্ডটি চালাতে পারেন। যদি আপনি পরিবেশ ভেরিয়েবল সেট না করেন, তাহলে ডিফল্ট মান প্রয়োগ করা হবে। যেহেতু বেশিরভাগ LLM-এর জন্য ব্যয়বহুল কম্পিউটিং রিসোর্স প্রয়োজন হয়, তাই GPU ব্যবহার করার জন্য এটি অত্যন্ত সুপারিশ করা হয়। আপনি যদি শুধুমাত্র CPU-তে চালাতে চান (যা GPT2 এর মতো ছোট মডেলের জন্য সূক্ষ্মভাবে কাজ করে), তাহলে আপনি সম্পর্কিত আর্গুমেন্টগুলি --gpu 1 --gpu-type nvidia-l4 --max-instances 7 মুছে ফেলতে পারেন।

# Deploy the model service container.
gcloud beta run deploy $MODEL_SERVICE_NAME \
--image us-east4-docker.pkg.dev/lit-demos/lit-app/gcp-model-server:$MODEL_VERSION_TAG \
--port 5432 \
--cpu 8 \
--memory 32Gi \
--no-cpu-throttling \
--gpu 1 \
--gpu-type nvidia-l4  \
--max-instances 7  \
--set-env-vars "MODEL_CONFIG=$MODEL_CONFIG" \
--no-allow-unauthenticated

এছাড়াও, আপনি নিম্নলিখিত কমান্ডগুলি যোগ করে পরিবেশ ভেরিয়েবলগুলি কাস্টমাইজ করতে পারেন। শুধুমাত্র আপনার নির্দিষ্ট প্রয়োজনের জন্য প্রয়োজনীয় পরিবেশ ভেরিয়েবলগুলি অন্তর্ভুক্ত করুন। 

--set-env-vars "DL_FRAMEWORK=$DL_FRAMEWORK" \
--set-env-vars "DL_RUNTIME=$DL_RUNTIME" \
--set-env-vars "PRECISION=$PRECISION" \
--set-env-vars "BATCH_SIZE=$BATCH_SIZE" \
--set-env-vars "SEQUENCE_LENGTH=$SEQUENCE_LENGTH" \

নির্দিষ্ট মডেল অ্যাক্সেস করার জন্য অতিরিক্ত পরিবেশগত পরিবর্তনশীলের প্রয়োজন হতে পারে। যথাযথভাবে Kaggle Hub (KerasNLP মডেলের জন্য ব্যবহৃত) এবং Hugging Face Hub থেকে নির্দেশাবলী দেখুন।

৫-সি: মডেল সার্ভার অ্যাক্সেস করুন

মডেল সার্ভার তৈরি করার পরে, শুরু করা পরিষেবাটি আপনার GCP প্রকল্পের ক্লাউড রান বিভাগে পাওয়া যাবে।

আপনার তৈরি করা মডেল সার্ভারটি নির্বাচন করুন। নিশ্চিত করুন যে পরিষেবার নামটি MODEL_SERVICE_NAME এর মতো।

গুগল ক্লাউড কনসোল ক্লাউড রান তালিকা

আপনি "আপনার সবেমাত্র মোতায়েন করা মডেল পরিষেবা" এ ক্লিক করে পরিষেবা URLটি খুঁজে পেতে পারেন।

গুগল ক্লাউড ফাইন্ড সার্ভিস ইউআরএল

কার্যকলাপ পর্যবেক্ষণ করতে, ত্রুটির বার্তা দেখতে এবং স্থাপনার অগ্রগতি ট্র্যাক করতে আপনি LOGS বিভাগটি পরীক্ষা করতে পারেন।

গুগল ক্লাউড কনসোল ক্লাউড রান লগ

পরিষেবার মেট্রিক্স দেখতে আপনি METRICS বিভাগটি পরীক্ষা করতে পারেন।

গুগল ক্লাউড কনসোল ক্লাউড রান মেট্রিক্স

৫-ডি: স্ব-হোস্টেড মডেল লোড করুন

যদি আপনি ধাপ ৩ (সমস্যা সমাধান বিভাগটি দেখুন) তে আপনার LIT সার্ভার প্রক্সি করেন, তাহলে নিম্নলিখিত কমান্ডটি চালিয়ে আপনার GCP পরিচয় টোকেন পেতে হবে। 

# Find your GCP identity token.
gcloud auth print-identity-token

আপনি নীচের ধাপগুলি অনুসরণ করে স্ব-হোস্টেড মডেলগুলি লোড করবেন এবং এর পরামিতিগুলি সামঞ্জস্য করবেন।

  1. LIT UI-তে Configure অপশনে ক্লিক করুন।
  2. Select a base model " বিকল্পের অধীনে LLM (self hosted) বিকল্পটি নির্বাচন করুন।
  3. আপনাকে মডেলটির নাম new_name লিখতে হবে।
  4. আপনার মডেল সার্ভারের url base_url হিসেবে লিখুন।
  5. যদি আপনি LIT অ্যাপ সার্ভার প্রক্সি করেন, তাহলে প্রাপ্ত পরিচয় টোকেনটি identity_token এ ইনপুট করুন (ধাপ ৩ এবং ধাপ ৭ দেখুন)। অন্যথায়, এটি খালি রাখুন।
  6. Load Model ক্লিক করুন।
  7. Submit ক্লিক করুন।

LIT লোড LLM মডেল

৬. GCP-তে LIT-এর সাথে যোগাযোগ করুন

LIT আপনাকে মডেল আচরণগুলি ডিবাগ করতে এবং বুঝতে সাহায্য করার জন্য প্রচুর বৈশিষ্ট্য সরবরাহ করে। আপনি একটি বাক্সে টেক্সট টাইপ করে এবং মডেল ভবিষ্যদ্বাণী দেখে মডেলটি অনুসন্ধান করার মতো সহজ কিছু করতে পারেন, অথবা LIT-এর শক্তিশালী বৈশিষ্ট্যগুলির স্যুট ব্যবহার করে মডেলগুলি গভীরভাবে পরীক্ষা করতে পারেন, যার মধ্যে রয়েছে:

৬-ক: LIT এর মাধ্যমে মডেলটি অনুসন্ধান করুন

মডেল এবং ডেটাসেট লোড হওয়ার পরে LIT স্বয়ংক্রিয়ভাবে ডেটাসেটটি জিজ্ঞাসা করে। আপনি কলামে প্রতিক্রিয়া নির্বাচন করে প্রতিটি মডেলের প্রতিক্রিয়া দেখতে পারেন।

LIT ভিউ প্রতিক্রিয়া

এলআইটি প্রতিক্রিয়া

৬-খ: সিকোয়েন্স স্যালিয়েন্স টেকনিক ব্যবহার করুন

বর্তমানে LIT-তে সিকোয়েন্স স্যালিয়েন্স কৌশল শুধুমাত্র স্ব-হোস্টেড মডেলগুলিকে সমর্থন করে।

সিকোয়েন্স স্যালিয়েন্স হল একটি ভিজ্যুয়াল টুল যা LLM প্রম্পট ডিবাগ করতে সাহায্য করে, প্রদত্ত আউটপুটের জন্য কোন প্রম্পটের কোন অংশগুলি সবচেয়ে গুরুত্বপূর্ণ তা হাইলাইট করে। সিকোয়েন্স স্যালিয়েন্স সম্পর্কে আরও তথ্যের জন্য, এই বৈশিষ্ট্যটি কীভাবে ব্যবহার করবেন সে সম্পর্কে আরও জানতে সম্পূর্ণ টিউটোরিয়ালটি দেখুন।

স্যালিয়েন্স ফলাফল অ্যাক্সেস করতে, প্রম্পট বা প্রতিক্রিয়ার যেকোনো ইনপুট বা আউটপুটে ক্লিক করুন, এবং স্যালিয়েন্স ফলাফল প্রদর্শিত হবে।

এলআইটি সিকোয়েন্স স্যালিয়েন্স ফলাফল

৬-গ: ম্যানুল্লায় সম্পাদনা প্রম্পট এবং লক্ষ্য

LIT আপনাকে বিদ্যমান ডেটাপয়েন্টের জন্য যেকোনো prompt এবং target ম্যানুয়ালি সম্পাদনা করতে দেয়। Add এ ক্লিক করলে, নতুন ইনপুট ডেটাসেটে যোগ করা হবে।

LIT ম্যানুলি সম্পাদনা

6-d: পাশাপাশি তুলনা করুন প্রম্পট

LIT আপনাকে মূল এবং সম্পাদিত উদাহরণের প্রম্পট পাশাপাশি তুলনা করার সুযোগ দেয়। আপনি ম্যানুয়ালি একটি উদাহরণ সম্পাদনা করতে পারেন এবং একই সাথে মূল এবং সম্পাদিত উভয় সংস্করণের জন্য পূর্বাভাস ফলাফল এবং সিকোয়েন্স স্যালিয়েন্স বিশ্লেষণ দেখতে পারেন। আপনি প্রতিটি ডেটাপয়েন্টের জন্য প্রম্পট পরিবর্তন করতে পারেন এবং LIT মডেলটি জিজ্ঞাসা করে সংশ্লিষ্ট প্রতিক্রিয়া তৈরি করবে।

LIT ডেটাসেট তুলনা করুন

6-e: পাশাপাশি একাধিক মডেলের তুলনা করুন

LIT পৃথক টেক্সট জেনারেশন এবং স্কোরিং উদাহরণের মডেলগুলির পাশাপাশি নির্দিষ্ট মেট্রিক্সের জন্য সমষ্টিগত উদাহরণগুলির তুলনা সক্ষম করে। বিভিন্ন লোড করা মডেলগুলিকে জিজ্ঞাসা করে, আপনি সহজেই তাদের প্রতিক্রিয়াগুলির পার্থক্য তুলনা করতে পারেন।

LIT তুলনা মডেল প্রতিক্রিয়া

6-f: স্বয়ংক্রিয় কাউন্টারফ্যাক্টুয়াল জেনারেটর

বিকল্প ইনপুট তৈরি করতে আপনি স্বয়ংক্রিয় কাউন্টারফ্যাক্টুয়াল জেনারেটর ব্যবহার করতে পারেন, এবং আপনার মডেলটি কীভাবে আচরণ করে তা তাৎক্ষণিকভাবে দেখতে পারেন।

LIT স্বয়ংক্রিয়ভাবে ইনপুট তৈরি করে

6-g: মডেলের কর্মক্ষমতা মূল্যায়ন করুন

আপনি সমগ্র ডেটাসেট, অথবা ফিল্টার করা বা নির্বাচিত উদাহরণের যেকোনো উপসেট জুড়ে মেট্রিক্স (বর্তমানে টেক্সট জেনারেশনের জন্য BLEU এবং ROUGE স্কোর সমর্থন করে) ব্যবহার করে মডেলের কর্মক্ষমতা মূল্যায়ন করতে পারেন।

LIT ভিউ মডেল মেট্রিক্স

৭. সমস্যা সমাধান

৭-ক: সম্ভাব্য অ্যাক্সেস সমস্যা এবং সমাধান

যেহেতু ক্লাউড রানে স্থাপনের সময় --no-allow-unauthenticated প্রয়োগ করা হয়, তাই আপনি নীচে দেখানো নিষিদ্ধ ত্রুটির সম্মুখীন হতে পারেন।

গুগল ক্লাউড নিষিদ্ধ ত্রুটি

LIT অ্যাপ পরিষেবা অ্যাক্সেস করার দুটি পদ্ধতি রয়েছে।

১. স্থানীয় পরিষেবার প্রক্সি

আপনি নীচের কমান্ডটি ব্যবহার করে পরিষেবাটি স্থানীয় হোস্টে প্রক্সি করতে পারেন। 

# Proxy the service to local host.
gcloud run services proxy $LIT_SERVICE_NAME

তারপর আপনি প্রক্সিড সার্ভিস লিঙ্কে ক্লিক করে LIT সার্ভারে অ্যাক্সেস করতে সক্ষম হবেন।

2. ব্যবহারকারীদের সরাসরি প্রমাণীকরণ করুন

ব্যবহারকারীদের প্রমাণীকরণের জন্য আপনি এই লিঙ্কটি অনুসরণ করতে পারেন, যার মাধ্যমে LIT অ্যাপ পরিষেবায় সরাসরি অ্যাক্সেস পাওয়া যাবে। এই পদ্ধতিটি ব্যবহারকারীদের একটি গোষ্ঠীকে পরিষেবাটি অ্যাক্সেস করতে সক্ষম করতে পারে। একাধিক ব্যক্তির সাথে সহযোগিতা জড়িত উন্নয়নের জন্য, এটি আরও কার্যকর বিকল্প।

৭-বি: মডেল সার্ভার সফলভাবে চালু হয়েছে কিনা তা পরীক্ষা করে।

মডেল সার্ভারটি সফলভাবে চালু হয়েছে কিনা তা নিশ্চিত করার জন্য, আপনি সরাসরি একটি অনুরোধ পাঠিয়ে মডেল সার্ভারকে জিজ্ঞাসা করতে পারেন। মডেল সার্ভারটি তিনটি এন্ডপয়েন্ট প্রদান করে, predict , tokenize , এবং salience । আপনার অনুরোধে prompt ক্ষেত্র এবং target ক্ষেত্র উভয়ই প্রদান করেছেন তা নিশ্চিত করুন। 

# Query the model server predict endpoint.
curl -X POST  http://YOUR_MODEL_SERVER_URL/predict -H "Content-Type: application/json" -d '{"inputs":[{"prompt":"[YOUR PROMPT]", "target":[YOUR TARGET]}]}'

# Query the model server tokenize endpoint.
curl -X POST  http://YOUR_MODEL_SERVER_URL/tokenize -H "Content-Type: application/json" -d '{"inputs":[{"prompt":"[YOUR PROMPT]", "target":[YOUR TARGET]}]}'

# Query the model server salience endpoint.
curl -X POST  http://YOUR_MODEL_SERVER_URL/salience -H "Content-Type: application/json" -d '{"inputs":[{"prompt":"[YOUR PROMPT]", "target":[YOUR TARGET]}]}'

যদি আপনার অ্যাক্সেসের কোনও সমস্যা হয়, তাহলে উপরের বিভাগ 7-a দেখুন।

৮. অভিনন্দন

কোডল্যাবটি সম্পন্ন করার জন্য দারুন! শান্ত হওয়ার সময়!

পরিষ্কার করা

ল্যাব পরিষ্কার করতে, ল্যাবের জন্য তৈরি সমস্ত Google ক্লাউড পরিষেবা মুছে ফেলুন। নিম্নলিখিত কমান্ডগুলি চালানোর জন্য Google ক্লাউড শেল ব্যবহার করুন।

যদি নিষ্ক্রিয়তার কারণে গুগল ক্লাউড সংযোগটি হারিয়ে যায়, তাহলে পূর্ববর্তী ধাপগুলি অনুসরণ করে ভেরিয়েবলগুলি পুনরায় সেট করুন। 

# Delete the LIT App Service.
gcloud run services delete $LIT_SERVICE_NAME

যদি আপনি মডেল সার্ভার শুরু করে থাকেন, তাহলে আপনাকে মডেল সার্ভারও মুছে ফেলতে হবে। 

# Delete the Model Service.
gcloud run services delete $MODEL_SERVICE_NAME

আরও পড়া

নিচের উপকরণগুলি ব্যবহার করে LIT টুলের বৈশিষ্ট্যগুলি শেখা চালিয়ে যান:

যোগাযোগ

এই কোডল্যাব সম্পর্কে যেকোনো প্রশ্ন বা সমস্যার জন্য, অনুগ্রহ করে GitHub- এ আমাদের সাথে যোগাযোগ করুন।

লাইসেন্স

এই কাজটি ক্রিয়েটিভ কমন্স অ্যাট্রিবিউশন ৪.০ জেনেরিক লাইসেন্সের অধীনে লাইসেন্সপ্রাপ্ত।