১. ভূমিকা
এই কোডল্যাবে আপনি ভেক্টর সার্চের সাথে ভার্টেক্স এআই এমবেডিংস একত্রিত করে অ্যালয়ডিবি এআই ব্যবহার করতে শিখবেন। এই ল্যাবটি অ্যালয়ডিবি এআই-এর বৈশিষ্ট্যগুলির জন্য নিবেদিত একটি ল্যাব সংগ্রহের অংশ। আপনি ডকুমেন্টেশনের অ্যালয়ডিবি এআই পৃষ্ঠায় আরও পড়তে পারেন।
পূর্বশর্ত
- গুগল ক্লাউড ও কনসোল সম্পর্কে প্রাথমিক ধারণা
- কমান্ড লাইন ইন্টারফেস এবং গুগল শেলে প্রাথমিক দক্ষতা
আপনি যা শিখবেন
- AlloyDB ক্লাস্টার এবং প্রাইমারি ইনস্ট্যান্স কীভাবে স্থাপন করবেন
- গুগল কম্পিউট ইঞ্জিন ভিএম থেকে অ্যালয়ডিবি-তে কীভাবে সংযোগ করবেন
- কীভাবে ডাটাবেস তৈরি করবেন এবং AlloyDB AI সক্রিয় করবেন
- ডাটাবেসে ডেটা লোড করার পদ্ধতি
- AlloyDB Studio কীভাবে ব্যবহার করবেন
- AlloyDB-তে Vertex AI এমবেডিং মডেল কীভাবে ব্যবহার করবেন
- ভার্টেক্স এআই স্টুডিও কীভাবে ব্যবহার করবেন
- ভার্টেক্স এআই জেনারেটিভ মডেল ব্যবহার করে ফলাফলকে কীভাবে আরও সমৃদ্ধ করা যায়
- ভেক্টর ইনডেক্স ব্যবহার করে কীভাবে পারফরম্যান্স উন্নত করা যায়
আপনার যা যা লাগবে
- একটি গুগল ক্লাউড অ্যাকাউন্ট এবং গুগল ক্লাউড প্রজেক্ট
- ক্রোমের মতো একটি ওয়েব ব্রাউজার
২. সেটআপ এবং প্রয়োজনীয়তা
প্রজেক্ট সেটআপ
- Google Cloud Console- এ সাইন-ইন করুন। যদি আপনার আগে থেকে Gmail বা Google Workspace অ্যাকাউন্ট না থাকে, তবে আপনাকে একটি তৈরি করতে হবে।
কর্মক্ষেত্র বা শিক্ষা প্রতিষ্ঠানের অ্যাকাউন্টের পরিবর্তে ব্যক্তিগত অ্যাকাউন্ট ব্যবহার করুন।
- একটি নতুন প্রজেক্ট তৈরি করুন অথবা বিদ্যমান কোনো প্রজেক্ট পুনরায় ব্যবহার করুন। গুগল ক্লাউড কনসোলে একটি নতুন প্রজেক্ট তৈরি করতে, হেডারে থাকা 'Select a project' বোতামটিতে ক্লিক করুন, যা একটি পপ-আপ উইন্ডো খুলবে।
'Select a project' উইন্ডোতে 'New Project' বোতামটি চাপুন, যা নতুন প্রজেক্টের জন্য একটি ডায়ালগ বক্স খুলবে।
ডায়ালগ বক্সে আপনার পছন্দের প্রজেক্টের নাম দিন এবং অবস্থান নির্বাচন করুন।
- প্রজেক্টের নামটি এই প্রকল্পের অংশগ্রহণকারীদের জন্য প্রদর্শিত নাম। প্রজেক্টের নামটি গুগল এপিআই দ্বারা ব্যবহৃত হয় না এবং এটি যেকোনো সময় পরিবর্তন করা যেতে পারে।
- প্রজেক্ট আইডি সমস্ত গুগল ক্লাউড প্রজেক্ট জুড়ে অনন্য এবং অপরিবর্তনীয় (একবার সেট করার পর এটি পরিবর্তন করা যায় না)। গুগল ক্লাউড কনসোল স্বয়ংক্রিয়ভাবে একটি অনন্য আইডি তৈরি করে, কিন্তু আপনি এটি কাস্টমাইজ করতে পারেন। তৈরি করা আইডিটি আপনার পছন্দ না হলে, আপনি এলোমেলোভাবে আরেকটি তৈরি করতে পারেন অথবা সেটির প্রাপ্যতা যাচাই করার জন্য আপনার নিজের আইডি দিতে পারেন। বেশিরভাগ কোডল্যাবে, আপনাকে আপনার প্রজেক্ট আইডি উল্লেখ করতে হবে, যা সাধারণত PROJECT_ID নামক প্লেসহোল্ডার দ্বারা চিহ্নিত করা হয়।
- আপনার অবগতির জন্য জানাচ্ছি যে, তৃতীয় একটি ভ্যালু রয়েছে, যা হলো প্রজেক্ট নম্বর , এবং কিছু এপিআই এটি ব্যবহার করে থাকে। ডকুমেন্টেশনে এই তিনটি ভ্যালু সম্পর্কে আরও বিস্তারিত জানুন।
বিলিং সক্ষম করুন
বিলিং চালু করার জন্য আপনার কাছে দুটি বিকল্প আছে। আপনি হয় আপনার ব্যক্তিগত বিলিং অ্যাকাউন্ট ব্যবহার করতে পারেন অথবা নিম্নলিখিত ধাপগুলো অনুসরণ করে ক্রেডিট রিডিম করতে পারেন।
$5 গুগল ক্লাউড ক্রেডিট রিডিম করুন (ঐচ্ছিক)
এই কর্মশালাটি চালানোর জন্য আপনার একটি বিলিং অ্যাকাউন্ট প্রয়োজন, যাতে কিছু ব্যালেন্স আছে। আপনি যদি আপনার নিজস্ব বিলিং ব্যবহার করার পরিকল্পনা করেন, তবে এই ধাপটি বাদ দিতে পারেন।
- এই লিঙ্কে ক্লিক করুন এবং আপনার ব্যক্তিগত গুগল অ্যাকাউন্ট দিয়ে সাইন ইন করুন।
- আপনি এইরকম কিছু দেখতে পাবেন:
- ‘আপনার ক্রেডিট অ্যাক্সেস করতে এখানে ক্লিক করুন ’ বোতামটিতে ক্লিক করুন। এটি আপনাকে আপনার বিলিং প্রোফাইল সেট আপ করার একটি পৃষ্ঠায় নিয়ে যাবে। যদি আপনার সামনে একটি ফ্রি ট্রায়াল সাইন আপ স্ক্রিন আসে, তাহলে বাতিল করুন এবং বিলিং লিঙ্ক করতে এগিয়ে যান।
- নিশ্চিত করুন-এ ক্লিক করুন। আপনি এখন একটি গুগল ক্লাউড প্ল্যাটফর্ম ট্রায়াল বিলিং অ্যাকাউন্টের সাথে সংযুক্ত হয়েছেন।
একটি ব্যক্তিগত বিলিং অ্যাকাউন্ট তৈরি করুন
আপনি যদি গুগল ক্লাউড ক্রেডিট ব্যবহার করে বিলিং সেট আপ করেন, তাহলে এই ধাপটি এড়িয়ে যেতে পারেন।
একটি ব্যক্তিগত বিলিং অ্যাকাউন্ট তৈরি করতে, ক্লাউড কনসোলে বিলিং চালু করার জন্য এখানে যান ।
কিছু নোট:
- এই ল্যাবটি সম্পন্ন করতে ক্লাউড রিসোর্সে ৩ মার্কিন ডলারের কম খরচ হওয়া উচিত।
- পরবর্তী চার্জ এড়াতে, এই ল্যাবের শেষে দেওয়া ধাপগুলো অনুসরণ করে আপনি রিসোর্সগুলো মুছে ফেলতে পারেন।
- নতুন ব্যবহারকারীরা ৩০০ মার্কিন ডলারের ফ্রি ট্রায়ালের জন্য যোগ্য।
ক্লাউড শেল শুরু করুন
যদিও গুগল ক্লাউড আপনার ল্যাপটপ থেকে দূরবর্তীভাবে পরিচালনা করা যায়, এই কোডল্যাবে আপনি গুগল ক্লাউড শেল ব্যবহার করবেন, যা ক্লাউডে চালিত একটি কমান্ড লাইন পরিবেশ।
গুগল ক্লাউড কনসোল থেকে, উপরের ডানদিকের টুলবারে থাকা ক্লাউড শেল আইকনটিতে ক্লিক করুন:
বিকল্পভাবে আপনি প্রথমে G এবং তারপর S চাপতে পারেন। আপনি যদি গুগল ক্লাউড কনসোলের মধ্যে থাকেন, তাহলে এই ক্রমটি ক্লাউড শেল সক্রিয় করবে অথবা এই লিঙ্কটি ব্যবহার করুন।
পরিবেশটি প্রস্তুত করতে এবং এর সাথে সংযোগ স্থাপন করতে মাত্র কয়েক মুহূর্ত সময় লাগবে। এটি শেষ হলে, আপনি এইরকম কিছু দেখতে পাবেন:
এই ভার্চুয়াল মেশিনটিতে আপনার প্রয়োজনীয় সমস্ত ডেভেলপমেন্ট টুলস লোড করা আছে। এটি একটি স্থায়ী ৫ জিবি হোম ডিরেক্টরি প্রদান করে এবং গুগল ক্লাউডে চলে, যা নেটওয়ার্ক পারফরম্যান্স ও অথেনটিকেশনকে ব্যাপকভাবে উন্নত করে। এই কোডল্যাবে আপনার সমস্ত কাজ একটি ব্রাউজারের মধ্যেই করা যাবে। আপনাকে কিছুই ইনস্টল করতে হবে না।
৩. শুরু করার আগে
এপিআই সক্ষম করুন
আউটপুট:
AlloyDB , Compute Engine , Networking services , এবং Vertex AI ব্যবহার করার জন্য, আপনাকে আপনার Google Cloud প্রজেক্টে এগুলোর নিজ নিজ API সক্রিয় করতে হবে।
এপিআইগুলি সক্রিয় করা
টার্মিনালে ক্লাউড শেল-এর ভিতরে, নিশ্চিত করুন যে আপনার প্রজেক্ট আইডি সেটআপ করা আছে:
gcloud config set project [YOUR-PROJECT-ID]
PROJECT_ID এনভায়রনমেন্ট ভেরিয়েবল সেট করুন:
PROJECT_ID=$(gcloud config get-value project)
সকল প্রয়োজনীয় এপিআই সক্রিয় করুন:
gcloud services enable alloydb.googleapis.com \
compute.googleapis.com \
cloudresourcemanager.googleapis.com \
servicenetworking.googleapis.com \
aiplatform.googleapis.com
প্রত্যাশিত আউটপুট
student@cloudshell:~ (test-project-001-402417)$ gcloud config set project test-project-001-402417
Updated property [core/project].
student@cloudshell:~ (test-project-001-402417)$ PROJECT_ID=$(gcloud config get-value project)
Your active configuration is: [cloudshell-14650]
student@cloudshell:~ (test-project-001-402417)$
student@cloudshell:~ (test-project-001-402417)$ gcloud services enable alloydb.googleapis.com \
compute.googleapis.com \
cloudresourcemanager.googleapis.com \
servicenetworking.googleapis.com \
aiplatform.googleapis.com
Operation "operations/acat.p2-4470404856-1f44ebd8-894e-4356-bea7-b84165a57442" finished successfully.
এপিআইগুলো চালু করা হচ্ছে
- AlloyDB API (
alloydb.googleapis.com) আপনাকে AlloyDB for PostgreSQL ক্লাস্টার তৈরি, পরিচালনা এবং স্কেল করতে দেয়। এটি একটি সম্পূর্ণ পরিচালিত, PostgreSQL-সামঞ্জস্যপূর্ণ ডেটাবেস পরিষেবা প্রদান করে, যা উচ্চ চাহিদাসম্পন্ন এন্টারপ্রাইজ ট্রানজ্যাকশনাল এবং অ্যানালিটিক্যাল ওয়ার্কলোডের জন্য ডিজাইন করা হয়েছে। - কম্পিউট ইঞ্জিন এপিআই (
compute.googleapis.com) আপনাকে ভার্চুয়াল মেশিন (VM), পারসিস্টেন্ট ডিস্ক এবং নেটওয়ার্ক সেটিংস তৈরি ও পরিচালনা করার সুযোগ দেয়। এটি আপনার ওয়ার্কলোড চালানোর জন্য এবং অনেক পরিচালিত পরিষেবার অন্তর্নিহিত পরিকাঠামো হোস্ট করার জন্য প্রয়োজনীয় মূল ইনফ্রাস্ট্রাকচার-অ্যাজ-এ-সার্ভিস (IaaS) ভিত্তি প্রদান করে। - ক্লাউড রিসোর্স ম্যানেজার এপিআই (
cloudresourcemanager.googleapis.com) আপনাকে প্রোগ্রাম্যাটিকভাবে আপনার গুগল ক্লাউড প্রজেক্টের মেটাডেটা এবং কনফিগারেশন পরিচালনা করার সুযোগ দেয়। এটি আপনাকে রিসোর্স সংগঠিত করতে, আইডেন্টিটি অ্যান্ড অ্যাক্সেস ম্যানেজমেন্ট (IAM) পলিসি পরিচালনা করতে এবং প্রজেক্টের স্তরবিন্যাস জুড়ে অনুমতি যাচাই করতে সক্ষম করে। - সার্ভিস নেটওয়ার্কিং এপিআই (
servicenetworking.googleapis.com) আপনাকে আপনার ভার্চুয়াল প্রাইভেট ক্লাউড (VPC) নেটওয়ার্ক এবং গুগলের পরিচালিত পরিষেবাগুলির মধ্যে ব্যক্তিগত সংযোগ স্থাপন স্বয়ংক্রিয় করতে সাহায্য করে। AlloyDB-এর মতো পরিষেবাগুলির জন্য ব্যক্তিগত আইপি অ্যাক্সেস স্থাপন করতে এটি বিশেষভাবে প্রয়োজন, যাতে তারা আপনার অন্যান্য রিসোর্সগুলির সাথে নিরাপদে যোগাযোগ করতে পারে। - ভার্টেক্স এআই এপিআই (
aiplatform.googleapis.com) আপনার অ্যাপ্লিকেশনগুলোকে মেশিন লার্নিং মডেল তৈরি, স্থাপন এবং স্কেল করতে সক্ষম করে। এটি গুগল ক্লাউডের সমস্ত এআই পরিষেবার জন্য একটি সমন্বিত ইন্টারফেস প্রদান করে, যার মধ্যে জেনারেটিভ এআই মডেল (যেমন জেমিনি) এবং কাস্টম মডেল প্রশিক্ষণের সুবিধাও রয়েছে।
ঐচ্ছিকভাবে আপনি ভার্টেক্স এআই এমবেডিং মডেল ব্যবহার করার জন্য আপনার ডিফল্ট অঞ্চল কনফিগার করতে পারেন। ভার্টেক্স এআই-এর জন্য উপলব্ধ অবস্থানগুলো সম্পর্কে আরও পড়ুন। এই উদাহরণে আমরা us-central1 অঞ্চলটি ব্যবহার করছি।
gcloud config set compute/region us-central1
৪. AlloyDB স্থাপন করুন
একটি AlloyDB ক্লাস্টার তৈরি করার আগে, আমাদের VPC-তে একটি উপলব্ধ প্রাইভেট আইপি রেঞ্জ থাকা প্রয়োজন, যা ভবিষ্যতের AlloyDB ইনস্ট্যান্সটি ব্যবহার করবে। যদি আমাদের কাছে এটি না থাকে, তবে আমাদের এটি তৈরি করতে হবে এবং অভ্যন্তরীণ গুগল পরিষেবাগুলির ব্যবহারের জন্য বরাদ্দ করতে হবে। এরপরেই আমরা ক্লাস্টার এবং ইনস্ট্যান্স তৈরি করতে পারব।
ব্যক্তিগত আইপি রেঞ্জ তৈরি করুন
আমাদের AlloyDB-এর জন্য VPC-তে প্রাইভেট সার্ভিস অ্যাক্সেস কনফিগারেশন করতে হবে। এখানে ধরে নেওয়া হচ্ছে যে, প্রজেক্টটিতে 'ডিফল্ট' VPC নেটওয়ার্ক রয়েছে এবং সমস্ত কাজের জন্য এটিই ব্যবহৃত হবে।
ব্যক্তিগত আইপি রেঞ্জ তৈরি করুন:
gcloud compute addresses create psa-range \
--global \
--purpose=VPC_PEERING \
--prefix-length=24 \
--description="VPC private service access" \
--network=default
বরাদ্দকৃত আইপি রেঞ্জ ব্যবহার করে ব্যক্তিগত সংযোগ তৈরি করুন:
gcloud services vpc-peerings connect \
--service=servicenetworking.googleapis.com \
--ranges=psa-range \
--network=default
প্রত্যাশিত কনসোল আউটপুট:
student@cloudshell:~ (test-project-402417)$ gcloud compute addresses create psa-range \
--global \
--purpose=VPC_PEERING \
--prefix-length=24 \
--description="VPC private service access" \
--network=default
Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/global/addresses/psa-range].
student@cloudshell:~ (test-project-402417)$ gcloud services vpc-peerings connect \
--service=servicenetworking.googleapis.com \
--ranges=psa-range \
--network=default
Operation "operations/pssn.p24-4470404856-595e209f-19b7-4669-8a71-cbd45de8ba66" finished successfully.
student@cloudshell:~ (test-project-402417)$
AlloyDB ক্লাস্টার তৈরি করুন
এই অংশে আমরা us-central1 অঞ্চলে একটি AlloyDB ক্লাস্টার তৈরি করছি।
postgres ব্যবহারকারীর জন্য পাসওয়ার্ড নির্ধারণ করুন। আপনি নিজের পাসওয়ার্ড তৈরি করতে পারেন অথবা একটি র্যান্ডম ফাংশন ব্যবহার করে তা তৈরি করতে পারেন।
export PGPASSWORD=`openssl rand -hex 12`
প্রত্যাশিত কনসোল আউটপুট:
student@cloudshell:~ (test-project-402417)$ export PGPASSWORD=`openssl rand -hex 12`
ভবিষ্যতে ব্যবহারের জন্য PostgreSQL পাসওয়ার্ডটি লিখে রাখুন।
echo $PGPASSWORD
ভবিষ্যতে postgres ব্যবহারকারী হিসেবে ইনস্ট্যান্সটিতে সংযোগ করতে আপনার ওই পাসওয়ার্ডটি লাগবে। আমি পরামর্শ দেবো এটি লিখে রাখতে বা কোথাও কপি করে রাখতে, যাতে পরে ব্যবহার করতে পারেন।
প্রত্যাশিত কনসোল আউটপুট:
student@cloudshell:~ (test-project-402417)$ echo $PGPASSWORD bbefbfde7601985b0dee5723
একটি বিনামূল্যে ট্রায়াল ক্লাস্টার তৈরি করুন
আপনি যদি আগে AlloyDB ব্যবহার না করে থাকেন, তাহলে একটি বিনামূল্যের ট্রায়াল ক্লাস্টার তৈরি করতে পারেন:
অঞ্চল এবং AlloyDB ক্লাস্টারের নাম নির্ধারণ করুন। আমরা us-central1 অঞ্চল এবং alloydb-aip-01 ক্লাস্টারের নাম হিসেবে ব্যবহার করতে যাচ্ছি:
export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
ক্লাস্টার তৈরি করতে কমান্ডটি চালান:
gcloud alloydb clusters create $ADBCLUSTER \
--password=$PGPASSWORD \
--network=default \
--region=$REGION \
--subscription-type=TRIAL
প্রত্যাশিত কনসোল আউটপুট:
export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
gcloud alloydb clusters create $ADBCLUSTER \
--password=$PGPASSWORD \
--network=default \
--region=$REGION \
--subscription-type=TRIAL
Operation ID: operation-1697655441138-6080235852277-9e7f04f5-2012fce4
Creating cluster...done.
একই ক্লাউড শেল সেশনে আমাদের ক্লাস্টারের জন্য একটি AlloyDB প্রাইমারি ইনস্ট্যান্স তৈরি করুন। সংযোগ বিচ্ছিন্ন হয়ে গেলে আপনাকে আবার রিজিয়ন এবং ক্লাস্টারের নামের এনভায়রনমেন্ট ভেরিয়েবলগুলো নির্ধারণ করতে হবে।
gcloud alloydb instances create $ADBCLUSTER-pr \
--instance-type=PRIMARY \
--cpu-count=8 \
--region=$REGION \
--cluster=$ADBCLUSTER
প্রত্যাশিত কনসোল আউটপুট:
student@cloudshell:~ (test-project-402417)$ gcloud alloydb instances create $ADBCLUSTER-pr \
--instance-type=PRIMARY \
--cpu-count=8 \
--region=$REGION \
--availability-type ZONAL \
--cluster=$ADBCLUSTER
Operation ID: operation-1697659203545-6080315c6e8ee-391805db-25852721
Creating instance...done.
AlloyDB স্ট্যান্ডার্ড ক্লাস্টার তৈরি করুন
প্রকল্পে এটি যদি আপনার প্রথম AlloyDB ক্লাস্টার না হয়, তবে একটি স্ট্যান্ডার্ড ক্লাস্টার তৈরির প্রক্রিয়া শুরু করুন।
অঞ্চল এবং AlloyDB ক্লাস্টারের নাম নির্ধারণ করুন। আমরা us-central1 অঞ্চল এবং alloydb-aip-01 ক্লাস্টারের নাম হিসেবে ব্যবহার করতে যাচ্ছি:
export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
ক্লাস্টার তৈরি করতে কমান্ডটি চালান:
gcloud alloydb clusters create $ADBCLUSTER \
--password=$PGPASSWORD \
--network=default \
--region=$REGION
প্রত্যাশিত কনসোল আউটপুট:
export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
gcloud alloydb clusters create $ADBCLUSTER \
--password=$PGPASSWORD \
--network=default \
--region=$REGION
Operation ID: operation-1697655441138-6080235852277-9e7f04f5-2012fce4
Creating cluster...done.
একই ক্লাউড শেল সেশনে আমাদের ক্লাস্টারের জন্য একটি AlloyDB প্রাইমারি ইনস্ট্যান্স তৈরি করুন। সংযোগ বিচ্ছিন্ন হয়ে গেলে আপনাকে আবার রিজিয়ন এবং ক্লাস্টারের নামের এনভায়রনমেন্ট ভেরিয়েবলগুলো নির্ধারণ করতে হবে।
gcloud alloydb instances create $ADBCLUSTER-pr \
--instance-type=PRIMARY \
--cpu-count=2 \
--region=$REGION \
--cluster=$ADBCLUSTER
প্রত্যাশিত কনসোল আউটপুট:
student@cloudshell:~ (test-project-402417)$ gcloud alloydb instances create $ADBCLUSTER-pr \
--instance-type=PRIMARY \
--cpu-count=2 \
--region=$REGION \
--availability-type ZONAL \
--cluster=$ADBCLUSTER
Operation ID: operation-1697659203545-6080315c6e8ee-391805db-25852721
Creating instance...done.
৫. AlloyDB-এর সাথে সংযোগ করুন
AlloyDB একটি প্রাইভেট-অনলি কানেকশন ব্যবহার করে ডেপ্লয় করা হয়েছে, তাই ডাটাবেসটির সাথে কাজ করার জন্য আমাদের এমন একটি VM প্রয়োজন যেখানে PostgreSQL ক্লায়েন্ট ইনস্টল করা আছে।
GCE VM স্থাপন করুন
AlloyDB ক্লাস্টারের মতো একই অঞ্চল এবং VPC-তে একটি GCE VM তৈরি করুন।
ক্লাউড শেলে চালান:
export ZONE=us-central1-a
gcloud compute instances create instance-1 \
--zone=$ZONE \
--create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
--scopes=https://www.googleapis.com/auth/cloud-platform
প্রত্যাশিত কনসোল আউটপুট:
student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
gcloud compute instances create instance-1 \
--zone=$ZONE \
--create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
--scopes=https://www.googleapis.com/auth/cloud-platform
Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/zones/us-central1-a/instances/instance-1].
NAME: instance-1
ZONE: us-central1-a
MACHINE_TYPE: n1-standard-1
PREEMPTIBLE:
INTERNAL_IP: 10.128.0.2
EXTERNAL_IP: 34.71.192.233
STATUS: RUNNING
পোস্টগ্রেস ক্লায়েন্ট ইনস্টল করুন
ডেপ্লয় করা ভিএম-এ PostgreSQL ক্লায়েন্ট সফটওয়্যারটি ইনস্টল করুন।
ভিএম-এ সংযোগ করুন:
gcloud compute ssh instance-1 --zone=us-central1-a
প্রত্যাশিত কনসোল আউটপুট:
student@cloudshell:~ (test-project-402417)$ gcloud compute ssh instance-1 --zone=us-central1-a Updating project ssh metadata...working..Updated [https://www.googleapis.com/compute/v1/projects/test-project-402417]. Updating project ssh metadata...done. Waiting for SSH key to propagate. Warning: Permanently added 'compute.5110295539541121102' (ECDSA) to the list of known hosts. Linux instance-1.us-central1-a.c.gleb-test-short-001-418811.internal 6.1.0-18-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.76-1 (2024-02-01) x86_64 The programs included with the Debian GNU/Linux system are free software; the exact distribution terms for each program are described in the individual files in /usr/share/doc/*/copyright. Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law. student@instance-1:~$
ভিএম-এর ভিতরে কমান্ডটি চালিয়ে সফ্টওয়্যারটি ইনস্টল করুন:
sudo apt-get update
sudo apt-get install --yes postgresql-client
প্রত্যাশিত কনসোল আউটপুট:
student@instance-1:~$ sudo apt-get update sudo apt-get install --yes postgresql-client Get:1 https://packages.cloud.google.com/apt google-compute-engine-bullseye-stable InRelease [5146 B] Get:2 https://packages.cloud.google.com/apt cloud-sdk-bullseye InRelease [6406 B] Hit:3 https://deb.debian.org/debian bullseye InRelease Get:4 https://deb.debian.org/debian-security bullseye-security InRelease [48.4 kB] Get:5 https://packages.cloud.google.com/apt google-compute-engine-bullseye-stable/main amd64 Packages [1930 B] Get:6 https://deb.debian.org/debian bullseye-updates InRelease [44.1 kB] Get:7 https://deb.debian.org/debian bullseye-backports InRelease [49.0 kB] ...redacted... update-alternatives: using /usr/share/postgresql/13/man/man1/psql.1.gz to provide /usr/share/man/man1/psql.1.gz (psql.1.gz) in auto mode Setting up postgresql-client (13+225) ... Processing triggers for man-db (2.9.4-2) ... Processing triggers for libc-bin (2.31-13+deb11u7) ...
ইনস্ট্যান্সের সাথে সংযোগ করুন
psql ব্যবহার করে VM থেকে প্রাইমারি ইনস্ট্যান্সে সংযোগ করুন।
আপনার ইনস্ট্যান্স-১ ভিএম-এর জন্য খোলা SSH সেশন সহ একই ক্লাউড শেল ট্যাবে।
GCE VM থেকে AlloyDB-তে সংযোগ করতে উল্লিখিত AlloyDB পাসওয়ার্ড (PGPASSWORD) এবং AlloyDB ক্লাস্টার আইডি ব্যবহার করুন:
export PGPASSWORD=<Noted password>
export PROJECT_ID=$(gcloud config get-value project)
export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
export INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)")
psql "host=$INSTANCE_IP user=postgres sslmode=require"
প্রত্যাশিত কনসোল আউটপুট:
student@instance-1:~$ export PGPASSWORD=CQhOi5OygD4ps6ty student@instance-1:~$ ADBCLUSTER=alloydb-aip-01 student@instance-1:~$ REGION=us-central1 student@instance-1:~$ INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)") gleb@instance-1:~$ psql "host=$INSTANCE_IP user=postgres sslmode=require" psql (15.6 (Debian 15.6-0+deb12u1), server 15.5) SSL connection (protocol: TLSv1.3, cipher: TLS_AES_256_GCM_SHA384, compression: off) Type "help" for help. postgres=>
psql সেশনটি বন্ধ করুন:
exit
৬. ডাটাবেস প্রস্তুত করুন
আমাদের একটি ডাটাবেস তৈরি করতে হবে, ভার্টেক্স এআই ইন্টিগ্রেশন সক্রিয় করতে হবে, ডাটাবেস অবজেক্ট তৈরি করতে হবে এবং ডেটা ইম্পোর্ট করতে হবে।
AlloyDB-কে প্রয়োজনীয় অনুমতি প্রদান করুন
AlloyDB সার্ভিস এজেন্টে Vertex AI-এর অনুমতি যোগ করুন।
উপরে থাকা "+" চিহ্নটি ব্যবহার করে আরেকটি ক্লাউড শেল ট্যাব খুলুন।
নতুন ক্লাউড শেল ট্যাবে নিম্নলিখিতটি চালান:
PROJECT_ID=$(gcloud config get-value project)
gcloud projects add-iam-policy-binding $PROJECT_ID \
--member="serviceAccount:service-$(gcloud projects describe $PROJECT_ID --format="value(projectNumber)")@gcp-sa-alloydb.iam.gserviceaccount.com" \
--role="roles/aiplatform.user"
প্রত্যাশিত কনসোল আউটপুট:
student@cloudshell:~ (test-project-001-402417)$ PROJECT_ID=$(gcloud config get-value project) Your active configuration is: [cloudshell-11039] student@cloudshell:~ (test-project-001-402417)$ gcloud projects add-iam-policy-binding $PROJECT_ID \ --member="serviceAccount:service-$(gcloud projects describe $PROJECT_ID --format="value(projectNumber)")@gcp-sa-alloydb.iam.gserviceaccount.com" \ --role="roles/aiplatform.user" Updated IAM policy for project [test-project-001-402417]. bindings: - members: - serviceAccount:service-4470404856@gcp-sa-alloydb.iam.gserviceaccount.com role: roles/aiplatform.user - members: ... etag: BwYIEbe_Z3U= version: 1
ট্যাবের মধ্যে থাকা 'exit' কমান্ডটি চালিয়ে ট্যাবটি বন্ধ করুন:
exit
ডাটাবেস তৈরি করুন
ডাটাবেস কুইকস্টার্ট তৈরি করুন।
GCE VM সেশনে নিম্নলিখিতটি সম্পাদন করুন:
ডাটাবেস তৈরি করুন:
psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE quickstart_db"
প্রত্যাশিত কনসোল আউটপুট:
student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE quickstart_db" CREATE DATABASE student@instance-1:~$
ভার্টেক্স এআই ইন্টিগ্রেশন সক্ষম করুন
ডাটাবেসে Vertex AI ইন্টিগ্রেশন এবং pgvector এক্সটেনশনগুলো সক্রিয় করুন।
GCE VM-এ নিম্নলিখিতটি চালান:
psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "CREATE EXTENSION IF NOT EXISTS google_ml_integration CASCADE"
psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "CREATE EXTENSION IF NOT EXISTS vector"
প্রত্যাশিত কনসোল আউটপুট:
student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "CREATE EXTENSION IF NOT EXISTS google_ml_integration CASCADE" psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "CREATE EXTENSION IF NOT EXISTS vector" CREATE EXTENSION CREATE EXTENSION student@instance-1:~$
ডেটা আমদানি করুন
প্রস্তুতকৃত ডেটা ডাউনলোড করে নতুন ডেটাবেসে ইম্পোর্ট করুন।
GCE VM-এ নিম্নলিখিতটি চালান:
gcloud storage cat gs://cloud-training/gcc/gcc-tech-004/cymbal_demo_schema.sql |psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db"
gcloud storage cat gs://cloud-training/gcc/gcc-tech-004/cymbal_products.csv |psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "\copy cymbal_products from stdin csv header"
gcloud storage cat gs://cloud-training/gcc/gcc-tech-004/cymbal_inventory.csv |psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "\copy cymbal_inventory from stdin csv header"
gcloud storage cat gs://cloud-training/gcc/gcc-tech-004/cymbal_stores.csv |psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "\copy cymbal_stores from stdin csv header"
প্রত্যাশিত কনসোল আউটপুট:
student@instance-1:~$ gsutil cat gs://cloud-training/gcc/gcc-tech-004/cymbal_demo_schema.sql |psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" SET SET SET SET SET set_config ------------ (1 row) SET SET SET SET SET SET CREATE TABLE ALTER TABLE CREATE TABLE ALTER TABLE CREATE TABLE ALTER TABLE CREATE TABLE ALTER TABLE CREATE SEQUENCE ALTER TABLE ALTER SEQUENCE ALTER TABLE ALTER TABLE ALTER TABLE student@instance-1:~$ gsutil cat gs://cloud-training/gcc/gcc-tech-004/cymbal_products.csv |psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "\copy cymbal_products from stdin csv header" COPY 941 student@instance-1:~$ gsutil cat gs://cloud-training/gcc/gcc-tech-004/cymbal_inventory.csv |psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "\copy cymbal_inventory from stdin csv header" COPY 263861 student@instance-1:~$ gsutil cat gs://cloud-training/gcc/gcc-tech-004/cymbal_stores.csv |psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "\copy cymbal_stores from stdin csv header" COPY 4654 student@instance-1:~$
৭. এমবেডিং গণনা করুন
ডেটা ইম্পোর্ট করার পর আমরা cymbal_products টেবিলে আমাদের পণ্যের ডেটা, cymbal_inventory টেবিলে প্রতিটি দোকানে উপলব্ধ পণ্যের সংখ্যাসহ ইনভেন্টরি এবং cymbal_stores টেবিলে দোকানগুলোর তালিকা পেয়েছি। আমাদের পণ্যের বিবরণের উপর ভিত্তি করে ভেক্টর ডেটা গণনা করতে হবে এবং এর জন্য আমরা ফাংশন এমবেডিং ব্যবহার করব। এই ফাংশনটি ব্যবহার করে আমরা আমাদের পণ্যের বিবরণের উপর ভিত্তি করে ভেক্টর ডেটা গণনা করতে এবং তা টেবিলে যুক্ত করতে Vertex AI ইন্টিগ্রেশন ব্যবহার করব। ব্যবহৃত প্রযুক্তি সম্পর্কে আপনি ডকুমেন্টেশনে আরও পড়তে পারেন।
কয়েকটি সারির জন্য এটি তৈরি করা সহজ, কিন্তু হাজার হাজার সারি থাকলে কীভাবে এটিকে কার্যকর করা যায়? এখানে আমি দেখাবো কীভাবে বড় টেবিলের জন্য এমবেডিং তৈরি এবং পরিচালনা করতে হয়। এছাড়াও, আপনি গাইডটিতে বিভিন্ন বিকল্প এবং কৌশল সম্পর্কে আরও পড়তে পারেন।
দ্রুত এমবেডিং জেনারেশন সক্ষম করুন
আপনার ভিএম থেকে AlloyDB ইনস্ট্যান্সের আইপি এবং postgres পাসওয়ার্ড ব্যবহার করে psql-এর মাধ্যমে ডাটাবেসে সংযোগ করুন:
psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db"
google_ml_integration এক্সটেনশনটির সংস্করণ যাচাই করুন।
SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
সংস্করণটি ১.৫.২ বা তার চেয়ে উচ্চতর হতে হবে। আউটপুটের একটি উদাহরণ নিচে দেওয়া হলো:
quickstart_db=> SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration'; extversion ------------ 1.5.2 (1 row)
ডিফল্ট সংস্করণটি ১.৫.২ বা তার বেশি হওয়া উচিত, কিন্তু আপনার ইনস্ট্যান্সে যদি পুরোনো সংস্করণ দেখা যায়, তবে সম্ভবত এটি আপডেট করা প্রয়োজন। ইনস্ট্যান্সটির জন্য রক্ষণাবেক্ষণ নিষ্ক্রিয় করা হয়েছে কিনা তা পরীক্ষা করুন।
এরপর আমাদের ডাটাবেস ফ্ল্যাগটি যাচাই করতে হবে। google_ml_integration.enable_faster_embedding_generation ফ্ল্যাগটি চালু থাকা প্রয়োজন। একই psql সেশনে ফ্ল্যাগটির মান পরীক্ষা করুন।
show google_ml_integration.enable_faster_embedding_generation;
ফ্ল্যাগটি সঠিক অবস্থানে থাকলে প্রত্যাশিত আউটপুটটি দেখতে এইরকম হবে:
quickstart_db=> show google_ml_integration.enable_faster_embedding_generation; google_ml_integration.enable_faster_embedding_generation ---------------------------------------------------------- on (1 row)
কিন্তু যদি এটি "off" দেখায়, তাহলে আমাদের ইনস্ট্যান্সটি আপডেট করতে হবে। ডকুমেন্টেশনে যেমন বর্ণনা করা আছে, সে অনুযায়ী আপনি ওয়েব কনসোল অথবা gcloud কমান্ড ব্যবহার করে এটি করতে পারেন। এখানে আমি দেখাচ্ছি কিভাবে gcloud কমান্ড ব্যবহার করে এটি করতে হয়:
export PROJECT_ID=$(gcloud config get-value project)
export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
gcloud beta alloydb instances update $ADBCLUSTER-pr \
--database-flags google_ml_integration.enable_faster_embedding_generation=on \
--region=$REGION \
--cluster=$ADBCLUSTER \
--project=$PROJECT_ID \
--update-mode=FORCE_APPLY
এতে কয়েক মিনিট সময় লাগতে পারে, কিন্তু অবশেষে ফ্ল্যাগের মান 'অন' হয়ে যাবে। এরপর আপনি পরবর্তী ধাপগুলো অনুসরণ করতে পারেন।
এমবেডিং কলাম তৈরি করুন
psql ব্যবহার করে ডাটাবেসে সংযোগ করুন এবং cymbal_products টেবিলে embedding ফাংশন ব্যবহার করে ভেক্টর ডেটা সহ একটি ভার্চুয়াল কলাম তৈরি করুন। embedding ফাংশনটি product_description কলাম থেকে সরবরাহ করা ডেটার উপর ভিত্তি করে Vertex AI থেকে ভেক্টর ডেটা ফেরত দেয়।
psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db"
ডাটাবেসে সংযোগ করার পর psql সেশনে নিম্নলিখিতটি চালান:
ALTER TABLE cymbal_products ADD COLUMN embedding vector(768);
এই কমান্ডটি ভার্চুয়াল কলামটি তৈরি করবে এবং ভেক্টর ডেটা দিয়ে তা পূরণ করবে।
প্রত্যাশিত কনসোল আউটপুট:
quickstart_db=> ALTER TABLE cymbal_products ADD COLUMN embedding vector(768); ALTER TABLE quickstart_db=>
এখন আমরা ৫০টি সারি সহ ব্যাচ ব্যবহার করে এমবেডিং তৈরি করতে পারি। আপনি বিভিন্ন ব্যাচ সাইজ নিয়ে পরীক্ষা করে দেখতে পারেন যে এটি এক্সিকিউশনের সময় পরিবর্তন করে কিনা। একই psql সেশনে এক্সিকিউট করুন:
কত সময় লাগবে তা পরিমাপ করতে টাইমিং সক্ষম করুন:
\timing
কমান্ডটি চালান:
CALL ai.initialize_embeddings(
model_id => 'text-embedding-005',
table_name => 'cymbal_products',
content_column => 'product_description',
embedding_column => 'embedding',
batch_size => 50
);
এবং কনসোল আউটপুটে দেখা যায় যে এমবেডিং তৈরি হতে ২ সেকেন্ডেরও কম সময় লেগেছে:
quickstart_db=> CALL ai.initialize_embeddings(
model_id => 'text-embedding-005',
table_name => 'cymbal_products',
content_column => 'product_description',
embedding_column => 'embedding',
batch_size => 50
);
NOTICE: Initialize embedding completed successfully for table cymbal_products
CALL
Time: 1458.704 ms (00:01.459)
quickstart_db=>
ডিফল্টরূপে, সংশ্লিষ্ট 'product_description' কলামটি আপডেট করা হলে বা সম্পূর্ণ নতুন একটি সারি যোগ করা হলে এমবেডিংগুলো রিফ্রেশ হবে না। কিন্তু আপনি 'incremental_refresh_mode ' প্যারামিটারটি নির্ধারণ করে এটি করতে পারেন। চলুন, ' product_embeddings ' নামে একটি কলাম তৈরি করে সেটিকে স্বয়ংক্রিয়ভাবে আপডেটযোগ্য করে তুলি।
ALTER TABLE cymbal_products ADD COLUMN product_embedding vector(768);
CALL ai.initialize_embeddings(
model_id => 'text-embedding-005',
table_name => 'cymbal_products',
content_column => 'product_description',
embedding_column => 'product_embedding',
batch_size => 50,
incremental_refresh_mode => 'transactional'
);
এবং এখন যদি আমরা টেবিলে একটি নতুন সারি যোগ করি
INSERT INTO "cymbal_products" ("uniq_id", "crawl_timestamp", "product_url", "product_name", "product_description", "list_price", "sale_price", "brand", "item_number", "gtin", "package_size", "category", "postal_code", "available", "product_embedding", "embedding") VALUES ('fd604542e04b470f9e6348e640cff794', NOW(), 'https://example.com/new_product', 'New Cymbal Product', 'This is a new cymbal product description.', 199.99, 149.99, 'Example Brand', 'EB123', '1234567890', 'Single', 'Cymbals', '12345', TRUE, NULL, NULL);
আমরা এই কোয়েরিটি ব্যবহার করে কলামগুলোর মধ্যে পার্থক্য তুলনা করতে পারি:
SELECT uniq_id,embedding, (product_embedding::real[])[1:5] as product_embedding FROM cymbal_products WHERE uniq_id='fd604542e04b470f9e6348e640cff794';
এবং আউটপুটে আমরা দেখতে পাচ্ছি যে, embedding কলামটি খালি থাকলেও product_embedding কলামটি স্বয়ংক্রিয়ভাবে আপডেট হয়ে যায়।
quickstart_db=> SELECT uniq_id,embedding, (product_embedding::real[])[1:5] as product_embedding FROM cymbal_products WHERE uniq_id='fd604542e04b470f9e6348e640cff794';
uniq_id | embedding | product_embedding
----------------------------------+-----------+---------------------------------------------------------------
fd604542e04b470f9e6348e640cff794 | | {0.015003494,-0.005349732,-0.059790313,-0.0087091,-0.0271452}
(1 row)
Time: 3.295 ms
৮. সাদৃশ্য অনুসন্ধান চালান
এখন আমরা বিবরণগুলোর জন্য গণনা করা ভেক্টর মান এবং আমাদের অনুরোধের জন্য প্রাপ্ত ভেক্টর মানের উপর ভিত্তি করে সাদৃশ্য অনুসন্ধান ব্যবহার করে আমাদের অনুসন্ধানটি চালাতে পারি।
SQL কোয়েরিটি একই psql কমান্ড লাইন ইন্টারফেস থেকে অথবা বিকল্প হিসেবে AlloyDB Studio থেকে চালানো যেতে পারে। যেকোনো একাধিক সারি এবং জটিল আউটপুট AlloyDB Studio-তে আরও ভালোভাবে দেখা যেতে পারে।
AlloyDB Studio-এর সাথে সংযোগ করুন
পরবর্তী অধ্যায়গুলিতে, ডাটাবেসের সাথে সংযোগের প্রয়োজন হয় এমন সমস্ত SQL কমান্ড বিকল্পভাবে AlloyDB Studio-তে চালানো যেতে পারে। কমান্ডটি চালানোর জন্য, আপনাকে প্রাইমারি ইনস্ট্যান্সটিতে ক্লিক করে আপনার AlloyDB ক্লাস্টারের ওয়েব কনসোল ইন্টারফেসটি খুলতে হবে।
তারপর বাম দিকে AlloyDB Studio-তে ক্লিক করুন:
`quickstart_db` ডাটাবেস, `postgres` ইউজার নির্বাচন করুন এবং ক্লাস্টার তৈরির সময় লিখে রাখা পাসওয়ার্ডটি দিন। তারপর "Authenticate" বাটনে ক্লিক করুন।
এটি AlloyDB Studio ইন্টারফেসটি খুলবে। ডাটাবেসে কমান্ডগুলো চালানোর জন্য ডানদিকের "Editor 1" ট্যাবে ক্লিক করুন।
এটি এমন একটি ইন্টারফেস খোলে যেখানে আপনি SQL কমান্ড চালাতে পারেন।
যদি আপনি কমান্ড লাইন psql ব্যবহার করতে পছন্দ করেন, তাহলে পূর্ববর্তী অধ্যায়গুলিতে বর্ণিত বিকল্প পদ্ধতি অনুসরণ করুন এবং আপনার VM SSH সেশন থেকে ডাটাবেসে সংযোগ করুন।
psql থেকে সাদৃশ্য অনুসন্ধান চালান
যদি আপনার ডাটাবেস সেশনটি বিচ্ছিন্ন হয়ে যায়, তাহলে psql অথবা AlloyDB Studio ব্যবহার করে ডাটাবেসে পুনরায় সংযোগ করুন।
ডাটাবেসে সংযোগ করুন:
psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db"
ক্লায়েন্টের অনুরোধের সাথে সবচেয়ে ঘনিষ্ঠভাবে সম্পর্কিত উপলব্ধ পণ্যগুলির একটি তালিকা পেতে একটি কোয়েরি চালান। ভেক্টর মানটি পাওয়ার জন্য আমরা ভার্টেক্স এআই-কে যে অনুরোধটি পাঠাবো তা শুনতে এইরকম: "এখানে কোন ধরণের ফলের গাছ ভালো জন্মায়?"
আমাদের অনুরোধের জন্য সবচেয়ে উপযুক্ত প্রথম ১০টি আইটেম বেছে নিতে আপনি এই কোয়েরিটি চালাতে পারেন:
SELECT
cp.product_name,
left(cp.product_description,80) as description,
cp.sale_price,
cs.zip_code,
(cp.embedding <=> embedding('text-embedding-005','What kind of fruit trees grow well here?')::vector) as distance
FROM
cymbal_products cp
JOIN cymbal_inventory ci on
ci.uniq_id=cp.uniq_id
JOIN cymbal_stores cs on
cs.store_id=ci.store_id
AND ci.inventory>0
AND cs.store_id = 1583
ORDER BY
distance ASC
LIMIT 10;
এবং এখানে প্রত্যাশিত আউটপুটটি দেওয়া হলো:
quickstart_db=> SELECT
cp.product_name,
left(cp.product_description,80) as description,
cp.sale_price,
cs.zip_code,
(cp.embedding <=> embedding('text-embedding-005','What kind of fruit trees grow well here?')::vector) as distance
FROM
cymbal_products cp
JOIN cymbal_inventory ci on
ci.uniq_id=cp.uniq_id
JOIN cymbal_stores cs on
cs.store_id=ci.store_id
AND ci.inventory>0
AND cs.store_id = 1583
ORDER BY
distance ASC
LIMIT 10;
product_name | description | sale_price | zip_code | distance
-------------------------+----------------------------------------------------------------------------------+------------+----------+---------------------
Cherry Tree | This is a beautiful cherry tree that will produce delicious cherries. It is an d | 75.00 | 93230 | 0.43922018972266397
Meyer Lemon Tree | Meyer Lemon trees are California's favorite lemon tree! Grow your own lemons by | 34 | 93230 | 0.4685112926118228
Toyon | This is a beautiful toyon tree that can grow to be over 20 feet tall. It is an e | 10.00 | 93230 | 0.4835677149651668
California Lilac | This is a beautiful lilac tree that can grow to be over 10 feet tall. It is an d | 5.00 | 93230 | 0.4947204525907498
California Peppertree | This is a beautiful peppertree that can grow to be over 30 feet tall. It is an e | 25.00 | 93230 | 0.5054166905547247
California Black Walnut | This is a beautiful walnut tree that can grow to be over 80 feet tall. It is a d | 100.00 | 93230 | 0.5084219510932597
California Sycamore | This is a beautiful sycamore tree that can grow to be over 100 feet tall. It is | 300.00 | 93230 | 0.5140519790508755
Coast Live Oak | This is a beautiful oak tree that can grow to be over 100 feet tall. It is an ev | 500.00 | 93230 | 0.5143126438081371
Fremont Cottonwood | This is a beautiful cottonwood tree that can grow to be over 100 feet tall. It i | 200.00 | 93230 | 0.5174774727252058
Madrone | This is a beautiful madrona tree that can grow to be over 80 feet tall. It is an | 50.00 | 93230 | 0.5227400803389093
৯. প্রতিক্রিয়া উন্নত করুন
আপনি কোয়েরির ফলাফল ব্যবহার করে একটি ক্লায়েন্ট অ্যাপ্লিকেশনের প্রতিক্রিয়া উন্নত করতে পারেন এবং ভার্টেক্স এআই জেনারেটিভ ফাউন্ডেশন ল্যাঙ্গুয়েজ মডেলের প্রম্পটের অংশ হিসেবে সরবরাহকৃত কোয়েরির ফলাফল ব্যবহার করে একটি অর্থপূর্ণ আউটপুট প্রস্তুত করতে পারেন।
তা অর্জন করার জন্য, আমরা ভেক্টর সার্চ থেকে প্রাপ্ত ফলাফল দিয়ে একটি JSON তৈরি করার পরিকল্পনা করছি। এরপর, একটি অর্থপূর্ণ আউটপুট তৈরির জন্য Vertex AI-তে একটি টেক্সট LLM মডেলের প্রম্পটের সাথে সেই তৈরি করা JSON-টি ব্যবহার করব। প্রথম ধাপে আমরা JSON-টি তৈরি করব, তারপর Vertex AI Studio-তে এটি পরীক্ষা করব এবং শেষ ধাপে এটিকে একটি SQL স্টেটমেন্টে অন্তর্ভুক্ত করব যা কোনো অ্যাপ্লিকেশনে ব্যবহার করা যাবে।
আউটপুট JSON ফরম্যাটে তৈরি করুন
আউটপুট JSON ফরম্যাটে তৈরি করতে এবং Vertex AI-তে পাঠানোর জন্য শুধুমাত্র একটি সারি ফেরত দিতে কোয়েরিটি পরিবর্তন করুন।
কোয়েরিটির উদাহরণ নিচে দেওয়া হলো:
WITH trees as (
SELECT
cp.product_name,
left(cp.product_description,80) as description,
cp.sale_price,
cs.zip_code,
cp.uniq_id as product_id
FROM
cymbal_products cp
JOIN cymbal_inventory ci on
ci.uniq_id=cp.uniq_id
JOIN cymbal_stores cs on
cs.store_id=ci.store_id
AND ci.inventory>0
AND cs.store_id = 1583
ORDER BY
(cp.embedding <=> embedding('text-embedding-005','What kind of fruit trees grow well here?')::vector) ASC
LIMIT 1)
SELECT json_agg(trees) FROM trees;
এবং আউটপুটে প্রত্যাশিত JSON নিচে দেওয়া হলো:
[{"product_name":"Cherry Tree","description":"This is a beautiful cherry tree that will produce delicious cherries. It is an d","sale_price":75.00,"zip_code":93230,"product_id":"d536e9e823296a2eba198e52dd23e712"}]
Vertex AI Studio-তে প্রম্পটটি চালান।
আমরা তৈরি করা JSON-টি Vertex AI Studio-তে থাকা জেনারেটিভ AI টেক্সট মডেলের প্রম্পটের অংশ হিসেবে সরবরাহ করতে পারি।
ক্লাউড কনসোলে Vertex AI Studio খুলুন।
আপনি যদি আগে এটি ব্যবহার না করে থাকেন, তবে এটি ব্যবহারের শর্তাবলীতে সম্মতি চাইতে পারে। "সম্মত হন এবং চালিয়ে যান" বোতামটি চাপুন।
ইন্টারফেসে আপনার প্রম্পটটি লিখুন।
এটি আপনাকে অতিরিক্ত এপিআই (API) সক্রিয় করতে বলতে পারে, কিন্তু আপনি অনুরোধটি উপেক্ষা করতে পারেন। আমাদের ল্যাবটি শেষ করার জন্য কোনো অতিরিক্ত এপিআই-এর প্রয়োজন নেই।
ট্রিগুলো সম্পর্কিত আগের কোয়েরির JSON আউটপুটের সাথে আমরা এই প্রম্পটটি ব্যবহার করতে যাচ্ছি:
আপনি একজন বন্ধুত্বপূর্ণ পরামর্শদাতা, যিনি গ্রাহকের প্রয়োজন অনুযায়ী পণ্য খুঁজে পেতে সাহায্য করেন।
ক্লায়েন্টের অনুরোধের ভিত্তিতে আমরা অনুসন্ধানের সাথে ঘনিষ্ঠভাবে সম্পর্কিত পণ্যগুলির একটি তালিকা আপলোড করেছি।
JSON ফরম্যাটের তালিকাটিতে মানগুলো হলো: {"product_name":"name","description":"some description","sale_price":10,"zip_code": 10234, "produt_id": "02056727942aeb714dc9a2313654e1b0"}
এখানে পণ্যগুলোর তালিকা দেওয়া হলো:
{"product_name":"চেরি গাছ","description":"এটি একটি সুন্দর চেরি গাছ যা সুস্বাদু চেরি ফল দেবে। এটি একটি","sale_price":75.00,"zip_code":93230,"product_id":"d536e9e823296a2eba198e52dd23e712"}
গ্রাহক জিজ্ঞাসা করলেন, "এখানে কোন গাছটি সবচেয়ে ভালো বাড়ছে?"
আপনার পণ্য, মূল্য এবং কিছু সম্পূরক তথ্য দেওয়া উচিত।
এবং আমাদের JSON মানগুলো ও gemini-2.5-flash-light মডেলটি ব্যবহার করে প্রম্পটটি চালানোর পর এই ফলাফলটি পাওয়া যায়:
এই উদাহরণে মডেল থেকে আমরা যে উত্তরটি পেয়েছি তা নিচে দেওয়া হলো। উল্লেখ্য যে, সময়ের সাথে সাথে মডেল এবং প্যারামিটারের পরিবর্তনের কারণে আপনার উত্তর ভিন্ন হতে পারে:
উপলব্ধ পণ্যগুলোর উপর ভিত্তি করে, ‘চেরি ট্রি’ সম্পর্কে আমি আপনাকে যা বলতে পারি তা হলো:
পণ্য: চেরি গাছ
মূল্য: $৭৫.০০
বিবরণ: এটি একটি সুন্দর চেরি গাছ যা সুস্বাদু চেরি ফল দেবে।
এখানকার কোন গাছটি সবচেয়ে ভালোভাবে বেড়ে উঠছে তা নির্ধারণ করতে আমার আরও তথ্যের প্রয়োজন হবে। আপনার কাছে কি তুলনা করার মতো অন্য কোনো গাছের তালিকা আছে, নাকি সবচেয়ে ভালোভাবে বেড়ে ওঠার কোনো নির্দিষ্ট দিক সম্পর্কে আপনি জানতে আগ্রহী (যেমন, দ্রুততম বৃদ্ধি, সর্বাধিক ফল উৎপাদন, আপনার নির্দিষ্ট জলবায়ুতে টিকে থাকার ক্ষমতা)?
PSQL-এ প্রম্পটটি চালান
আমরা ভার্টেক্স এআই (Vertex AI)-এর সাথে অ্যালয়ডিবি এআই (AlloyDB AI) ইন্টিগ্রেশন ব্যবহার করে সরাসরি ডাটাবেসে এসকিউএল (SQL) দিয়ে একটি জেনারেটিভ মডেল থেকে একই প্রতিক্রিয়া পেতে পারি। কিন্তু gemini-1.5-flash মডেলটি ব্যবহার করার জন্য আমাদের প্রথমে এটি রেজিস্টার করতে হবে।
google_ml_integration এক্সটেনশনটি যাচাই করুন। এটির সংস্করণ ১.৪.২ বা তার নতুন হতে হবে।
পূর্বে দেখানো পদ্ধতি অনুযায়ী psql থেকে quickstart_db ডাটাবেসে সংযোগ করুন (অথবা AlloyDB Studio ব্যবহার করুন) এবং নিম্নলিখিত কমান্ডটি চালান:
SELECT extversion from pg_extension where extname='google_ml_integration';
google_ml_integration.enable_model_support ডাটাবেস ফ্ল্যাগটি পরীক্ষা করুন।
show google_ml_integration.enable_model_support;
psql সেশন থেকে প্রত্যাশিত আউটপুট হল "on":
postgres=> show google_ml_integration.enable_model_support; google_ml_integration.enable_model_support -------------------------------------------- on (1 row)
যদি এটি 'off' দেখায়, তাহলে আমাদের google_ml_integration.enable_model_support ডাটাবেস ফ্ল্যাগটি 'on'-এ সেট করতে হবে। এটি করার জন্য আপনি AlloyDB ওয়েব কনসোল ইন্টারফেস ব্যবহার করতে পারেন অথবা নিম্নলিখিত gcloud কমান্ডটি চালাতে পারেন।
PROJECT_ID=$(gcloud config get-value project)
REGION=us-central1
ADBCLUSTER=alloydb-aip-01
gcloud beta alloydb instances update $ADBCLUSTER-pr \
--database-flags google_ml_integration.enable_faster_embedding_generation=on,google_ml_integration.enable_model_support=on \
--region=$REGION \
--cluster=$ADBCLUSTER \
--project=$PROJECT_ID \
--update-mode=FORCE_APPLY
কমান্ডটি ব্যাকগ্রাউন্ডে কার্যকর হতে প্রায় ১-৩ মিনিট সময় নেয়। এরপর আপনি ফ্ল্যাগটি আবার যাচাই করতে পারবেন।
আমাদের কোয়েরির জন্য দুটি মডেল প্রয়োজন। প্রথমটি হলো পূর্ব ব্যবহৃত text-embedding-005 মডেল এবং দ্বিতীয়টি হলো গুগলের জেনেরিক জেমিনি মডেলগুলোর মধ্যে একটি।
আমরা টেক্সট এমবেডিং মডেল থেকে শুরু করি। মডেলটি রেজিস্টার করতে psql বা AlloyDB Studio-তে নিম্নলিখিত কোডটি চালান:
CALL
google_ml.create_model(
model_id => 'text-embedding-005',
model_provider => 'google',
model_qualified_name => 'text-embedding-005',
model_type => 'text_embedding',
model_auth_type => 'alloydb_service_agent_iam',
model_in_transform_fn => 'google_ml.vertexai_text_embedding_input_transform',
model_out_transform_fn => 'google_ml.vertexai_text_embedding_output_transform');
এবং এর পরের যে মডেলটি আমাদের নিবন্ধন করতে হবে তা হলো gemini-2.0-flash-001 , যা ব্যবহারকারী-বান্ধব আউটপুট তৈরি করতে ব্যবহৃত হবে।
CALL
google_ml.create_model(
model_id => 'gemini-2.5-flash',
model_request_url => 'publishers/google/models/gemini-2.5-flash:streamGenerateContent',
model_provider => 'google',
model_auth_type => 'alloydb_service_agent_iam');
আপনি google_ml.model_info_view থেকে তথ্য নির্বাচন করে নিবন্ধিত মডেলগুলির তালিকা সর্বদা যাচাই করতে পারেন।
select model_id,model_type from google_ml.model_info_view;
এখানে নমুনা আউটপুট দেওয়া হল
quickstart_db=> select model_id,model_type from google_ml.model_info_view;
model_id | model_type
-------------------------+----------------
textembedding-gecko | text_embedding
textembedding-gecko@001 | text_embedding
text-embedding-005 | text_embedding
gemini-2.5-flash | generic
(4 rows)
এখন আমরা SQL ব্যবহার করে জেনারেটেড JSON-কে একটি সাবকোয়েরিতে রেখে জেনারেটিভ এআই টেক্সট মডেলের প্রম্পটের অংশ হিসেবে সরবরাহ করতে পারি।
psql বা AlloyDB Studio সেশনে ডাটাবেসে কোয়েরিটি চালান।
WITH trees AS (
SELECT
cp.product_name,
cp.product_description AS description,
cp.sale_price,
cs.zip_code,
cp.uniq_id AS product_id
FROM
cymbal_products cp
JOIN cymbal_inventory ci ON
ci.uniq_id = cp.uniq_id
JOIN cymbal_stores cs ON
cs.store_id = ci.store_id
AND ci.inventory>0
AND cs.store_id = 1583
ORDER BY
(cp.embedding <=> embedding('text-embedding-005',
'What kind of fruit trees grow well here?')::vector) ASC
LIMIT 1),
prompt AS (
SELECT
'You are a friendly advisor helping to find a product based on the customer''s needs.
Based on the client request we have loaded a list of products closely related to search.
The list in JSON format with list of values like {"product_name":"name","product_description":"some description","sale_price":10}
Here is the list of products:' || json_agg(trees) || 'The customer asked "What kind of fruit trees grow well here?"
You should give information about the product, price and some supplemental information' AS prompt_text
FROM
trees),
response AS (
SELECT
json_array_elements(google_ml.predict_row( model_id =>'gemini-2.5-flash',
request_body => json_build_object('contents',
json_build_object('role',
'user',
'parts',
json_build_object('text',
prompt_text)))))->'candidates'->0->'content'->'parts'->0->'text' AS resp
FROM
prompt)
SELECT
string_agg(resp::text,
' ')
FROM
response;
এবং এই হলো প্রত্যাশিত আউটপুট। মডেল সংস্করণ এবং প্যারামিটারের উপর নির্ভর করে আপনার আউটপুট ভিন্ন হতে পারে।
"Hello there! I can certainly help you with finding a great fruit tree for your area.\n\nBased on what grows well, we have a wonderful **Cherry Tree** that could be a perfect fit!\n\nThis beautiful cherry tree is an excellent choice for producing delicious cherries right in your garden. It's an deciduous tree that typically" " grows to about 15 feet tall. Beyond its fruit, it offers lovely aesthetics with dark green leaves in the summer that transition to a beautiful red in the fall, making it great for shade and privacy too.\n\nCherry trees generally prefer a cool, moist climate and sandy soil, and they are best suited for USDA Zones" " 4-9. Given the zip code you're inquiring about (93230), which is typically in USDA Zone 9, this Cherry Tree should thrive wonderfully!\n\nYou can get this magnificent tree for just **$75.00**.\n\nLet me know if you have any other questions!" "
১০. ভেক্টর সূচক তৈরি করুন
আমাদের ডেটাসেট বেশ ছোট এবং রেসপন্স টাইম মূলত এআই মডেলের সাথে ইন্টারঅ্যাকশনের উপর নির্ভর করে। কিন্তু যখন লক্ষ লক্ষ ভেক্টর থাকে, তখন ভেক্টর সার্চ অংশটি আমাদের রেসপন্স টাইমের একটি উল্লেখযোগ্য অংশ নিয়ে নিতে পারে এবং সিস্টেমের উপর প্রচণ্ড চাপ সৃষ্টি করতে পারে। এর উন্নতি করতে আমরা আমাদের ভেক্টরগুলোর উপর একটি ইনডেক্স তৈরি করতে পারি।
স্ক্যান সূচক তৈরি করুন
SCANN ইনডেক্স তৈরি করার জন্য আমাদের আরও একটি এক্সটেনশন সক্রিয় করতে হবে। alloydb_scann এক্সটেনশনটি Google ScaNN অ্যালগরিদম ব্যবহার করে ANN টাইপের ভেক্টর ইনডেক্সের সাথে কাজ করার জন্য একটি ইন্টারফেস প্রদান করে।
CREATE EXTENSION IF NOT EXISTS alloydb_scann;
প্রত্যাশিত আউটপুট:
quickstart_db=> CREATE EXTENSION IF NOT EXISTS alloydb_scann; CREATE EXTENSION Time: 27.468 ms quickstart_db=>
ইনডেক্সটি ম্যানুয়াল (MANUAL) অথবা অটো (AUTO) মোডে তৈরি করা যায়। ম্যানুয়াল মোড ডিফল্টভাবে সক্রিয় থাকে এবং আপনি অন্য যেকোনো ইনডেক্সের মতোই এটি তৈরি ও রক্ষণাবেক্ষণ করতে পারেন। কিন্তু আপনি যদি অটো মোড সক্রিয় করেন, তবে আপনি এমন একটি ইনডেক্স তৈরি করতে পারবেন যার জন্য আপনার পক্ষ থেকে কোনো রক্ষণাবেক্ষণের প্রয়োজন হবে না। আপনি ডকুমেন্টেশনে সমস্ত অপশন সম্পর্কে বিস্তারিত পড়তে পারেন এবং এখানে আমি আপনাদের দেখাবো কিভাবে অটো মোড সক্রিয় করে ইনডেক্স তৈরি করতে হয়। আমাদের ক্ষেত্রে, অটো মোডে ইনডেক্স তৈরি করার জন্য যথেষ্ট সংখ্যক রো (row) নেই - তাই আমরা এটি ম্যানুয়াল মোডে তৈরি করব।
নিম্নলিখিত উদাহরণে আমি বেশিরভাগ প্যারামিটার ডিফল্ট রাখছি এবং ইনডেক্সের জন্য শুধুমাত্র পার্টিশনের সংখ্যা (num_leaves) প্রদান করছি:
CREATE INDEX cymbal_products_embeddings_scann ON cymbal_products
USING scann (embedding cosine)
WITH (num_leaves=31, max_num_levels = 2);
আপনি ডকুমেন্টেশনে ইনডেক্স প্যারামিটার টিউনিং সম্পর্কে পড়তে পারেন।
প্রত্যাশিত আউটপুট:
quickstart_db=> CREATE INDEX cymbal_products_embeddings_scann ON cymbal_products USING scann (embedding cosine) WITH (num_leaves=31, max_num_levels = 2); CREATE INDEX quickstart_db=>
প্রতিক্রিয়ার তুলনা করুন
এখন আমরা EXPLAIN মোডে ভেক্টর সার্চ কোয়েরিটি চালিয়ে ইনডেক্সটি ব্যবহৃত হয়েছে কিনা তা যাচাই করতে পারি।
EXPLAIN (analyze)
WITH trees as (
SELECT
cp.product_name,
left(cp.product_description,80) as description,
cp.sale_price,
cs.zip_code,
cp.uniq_id as product_id
FROM
cymbal_products cp
JOIN cymbal_inventory ci on
ci.uniq_id=cp.uniq_id
JOIN cymbal_stores cs on
cs.store_id=ci.store_id
AND ci.inventory>0
AND cs.store_id = 1583
ORDER BY
(cp.embedding <=> embedding('text-embedding-005','What kind of fruit trees grow well here?')::vector) ASC
LIMIT 1)
SELECT json_agg(trees) FROM trees;
প্রত্যাশিত আউটপুট (স্পষ্টতার জন্য সম্পাদিত):
... Aggregate (cost=16.59..16.60 rows=1 width=32) (actual time=2.875..2.877 rows=1 loops=1) -> Subquery Scan on trees (cost=8.42..16.59 rows=1 width=142) (actual time=2.860..2.862 rows=1 loops=1) -> Limit (cost=8.42..16.58 rows=1 width=158) (actual time=2.855..2.856 rows=1 loops=1) -> Nested Loop (cost=8.42..6489.19 rows=794 width=158) (actual time=2.854..2.855 rows=1 loops=1) -> Nested Loop (cost=8.13..6466.99 rows=794 width=938) (actual time=2.742..2.743 rows=1 loops=1) -> Index Scan using cymbal_products_embeddings_scann on cymbal_products cp (cost=7.71..111.99 rows=876 width=934) (actual time=2.724..2.724 rows=1 loops=1) Order By: (embedding <=> '[0.008864171,0.03693164,-0.024245683,-0.00355923,0.0055611245,0.015985578,...<redacted>...5685,-0.03914233,-0.018452475,0.00826032,-0.07372604]'::vector) -> Index Scan using walmart_inventory_pkey on cymbal_inventory ci (cost=0.42..7.26 rows=1 width=37) (actual time=0.015..0.015 rows=1 loops=1) Index Cond: ((store_id = 1583) AND (uniq_id = (cp.uniq_id)::text)) ...
আউটপুট থেকে আমরা পরিষ্কারভাবে দেখতে পাচ্ছি যে কোয়েরিটি "Index Scan using cymbal_products_embeddings_scann on cymbal_products" ব্যবহার করছিল।
এবং যদি আমরা এক্সপ্লেইন ছাড়া কোয়েরিটি চালাই:
WITH trees as (
SELECT
cp.product_name,
left(cp.product_description,80) as description,
cp.sale_price,
cs.zip_code,
cp.uniq_id as product_id
FROM
cymbal_products cp
JOIN cymbal_inventory ci on
ci.uniq_id=cp.uniq_id
JOIN cymbal_stores cs on
cs.store_id=ci.store_id
AND ci.inventory>0
AND cs.store_id = 1583
ORDER BY
(cp.embedding <=> embedding('text-embedding-005','What kind of fruit trees grow well here?')::vector) ASC
LIMIT 1)
SELECT json_agg(trees) FROM trees;
প্রত্যাশিত আউটপুট:
[{"product_name":"Cherry Tree","description":"This is a beautiful cherry tree that will produce delicious cherries. It is an d","sale_price":75.00,"zip_code":93230,"product_id":"d536e9e823296a2eba198e52dd23e712"}]
আমরা দেখতে পাচ্ছি যে, ফলাফলটি সেই একই চেরি গাছ যা ইনডেক্স ছাড়া আমাদের অনুসন্ধানের শীর্ষে ছিল। কখনও কখনও এমনটা নাও হতে পারে এবং ফলাফলে একই গাছটি না এসে শীর্ষস্থানের অন্য কোনো গাছও আসতে পারে। সুতরাং, ইনডেক্স আমাদের পারফরম্যান্স বাড়ালেও, ভালো ফলাফল দেওয়ার জন্য এটি যথেষ্ট নির্ভুলও বটে।
আপনি ভেক্টরগুলোর জন্য উপলব্ধ বিভিন্ন ইনডেক্স এবং ডকুমেন্টেশন পেজে ল্যাংচেইন ইন্টিগ্রেশন সহ আরও ল্যাব ও উদাহরণ চেষ্টা করে দেখতে পারেন।
১১. পরিবেশ পরিষ্কার করা
ল্যাবের কাজ শেষ হলে AlloyDB ইনস্ট্যান্স এবং ক্লাস্টারটি ধ্বংস করে দিন।
AlloyDB ক্লাস্টার এবং এর সমস্ত ইনস্ট্যান্স মুছে ফেলুন
আপনি যদি AlloyDB-এর ট্রায়াল সংস্করণ ব্যবহার করে থাকেন এবং সেই ট্রায়াল ক্লাস্টার ব্যবহার করে অন্যান্য ল্যাব ও রিসোর্স পরীক্ষা করার পরিকল্পনা থাকে, তাহলে সেটি ডিলিট করবেন না। আপনি একই প্রজেক্টে আরেকটি ট্রায়াল ক্লাস্টার তৈরি করতে পারবেন না।
`force` অপশনটির মাধ্যমে ক্লাস্টারটি ধ্বংস করা হয়, যা ক্লাস্টারের অন্তর্গত সমস্ত ইনস্ট্যান্সকেও মুছে দেয়।
যদি আপনার সংযোগ বিচ্ছিন্ন হয়ে যায় এবং পূর্বের সমস্ত সেটিংস হারিয়ে যায়, তাহলে ক্লাউড শেলে প্রজেক্ট এবং এনভায়রনমেন্ট ভেরিয়েবলগুলো নির্ধারণ করুন:
gcloud config set project <your project id>
export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
export PROJECT_ID=$(gcloud config get-value project)
ক্লাস্টারটি মুছে ফেলুন:
gcloud alloydb clusters delete $ADBCLUSTER --region=$REGION --force
প্রত্যাশিত কনসোল আউটপুট:
student@cloudshell:~ (test-project-001-402417)$ gcloud alloydb clusters delete $ADBCLUSTER --region=$REGION --force All of the cluster data will be lost when the cluster is deleted. Do you want to continue (Y/n)? Y Operation ID: operation-1697820178429-6082890a0b570-4a72f7e4-4c5df36f Deleting cluster...done.
AlloyDB ব্যাকআপগুলি মুছুন
ক্লাস্টারের সমস্ত AlloyDB ব্যাকআপ মুছে ফেলুন:
for i in $(gcloud alloydb backups list --filter="CLUSTER_NAME: projects/$PROJECT_ID/locations/$REGION/clusters/$ADBCLUSTER" --format="value(name)" --sort-by=~createTime) ; do gcloud alloydb backups delete $(basename $i) --region $REGION --quiet; done
প্রত্যাশিত কনসোল আউটপুট:
student@cloudshell:~ (test-project-001-402417)$ for i in $(gcloud alloydb backups list --filter="CLUSTER_NAME: projects/$PROJECT_ID/locations/$REGION/clusters/$ADBCLUSTER" --format="value(name)" --sort-by=~createTime) ; do gcloud alloydb backups delete $(basename $i) --region $REGION --quiet; done Operation ID: operation-1697826266108-60829fb7b5258-7f99dc0b-99f3c35f Deleting backup...done.
এখন আমরা আমাদের ভিএম ধ্বংস করতে পারি
GCE VM মুছে ফেলুন
ক্লাউড শেলে চালান:
export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
--zone=$ZONE \
--quiet
প্রত্যাশিত কনসোল আউটপুট:
student@cloudshell:~ (test-project-001-402417)$ export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
--zone=$ZONE \
--quiet
Deleted
১২. অভিনন্দন
কোডল্যাবটি সম্পন্ন করার জন্য অভিনন্দন।
এই ল্যাবটি ‘প্রোডাকশন-রেডি এআই উইথ গুগল ক্লাউড’ লার্নিং পাথের একটি অংশ।
- প্রোটোটাইপ থেকে উৎপাদনে উত্তরণের ব্যবধান পূরণ করতে সম্পূর্ণ পাঠ্যক্রমটি অন্বেষণ করুন ।
-
#ProductionReadyAIহ্যাশট্যাগটি ব্যবহার করে আপনার অগ্রগতি শেয়ার করুন।
আমরা যা আলোচনা করেছি
- AlloyDB ক্লাস্টার এবং প্রাইমারি ইনস্ট্যান্স কীভাবে স্থাপন করবেন
- গুগল কম্পিউট ইঞ্জিন ভিএম থেকে অ্যালয়ডিবি-তে কীভাবে সংযোগ করবেন
- কীভাবে ডাটাবেস তৈরি করবেন এবং AlloyDB AI সক্রিয় করবেন
- ডাটাবেসে ডেটা লোড করার পদ্ধতি
- AlloyDB Studio কীভাবে ব্যবহার করবেন
- AlloyDB-তে Vertex AI এমবেডিং মডেল কীভাবে ব্যবহার করবেন
- ভার্টেক্স এআই স্টুডিও কীভাবে ব্যবহার করবেন
- ভার্টেক্স এআই জেনারেটিভ মডেল ব্যবহার করে ফলাফলকে কীভাবে আরও সমৃদ্ধ করা যায়
- ভেক্টর ইনডেক্স ব্যবহার করে কীভাবে পারফরম্যান্স উন্নত করা যায়
১৩. জরিপ
আউটপুট: