1. परिचय
इस कोडलैब में, वेक्टर सर्च को Vertex AI एम्बेड करने से जोड़कर, AlloyDB AI को इस्तेमाल करने का तरीका बताया गया है.
ज़रूरी शर्तें
- Google Cloud, Console की बुनियादी जानकारी
- कमांड-लाइन इंटरफ़ेस और Google शेल में इस्तेमाल होने वाले बुनियादी हुनर
आपको इनके बारे में जानकारी मिलेगी
- AlloyDB क्लस्टर और प्राथमिक इंस्टेंस को कैसे डिप्लॉय करें
- Google Compute Engine वीएम से AlloyDB से कनेक्ट करने का तरीका
- डेटाबेस बनाने और AlloyDB AI को चालू करने का तरीका
- डेटाबेस में डेटा लोड करने का तरीका
- AlloyDB में Vertex AI एम्बेड करने वाले मॉडल को इस्तेमाल करने का तरीका
- Vertex AI जनरेटिव मॉडल का इस्तेमाल करके, बेहतर नतीजे पाने का तरीका
आपको इन चीज़ों की ज़रूरत होगी
- Google Cloud खाता और Google Cloud प्रोजेक्ट
- Chrome जैसा कोई वेब ब्राउज़र
2. सेटअप और ज़रूरी शर्तें
अपने हिसाब से एनवायरमेंट सेटअप करना
- Google Cloud Console में साइन इन करें और नया प्रोजेक्ट बनाएं या किसी मौजूदा प्रोजेक्ट का फिर से इस्तेमाल करें. अगर आपके पास पहले से Gmail या Google Workspace खाता नहीं है, तो आपको नया खाता बनाना होगा.
- प्रोजेक्ट का नाम, इस प्रोजेक्ट में हिस्सा लेने वाले लोगों का डिसप्ले नेम होता है. यह एक वर्ण स्ट्रिंग है, जिसका इस्तेमाल Google API नहीं करता. इसे कभी भी अपडेट किया जा सकता है.
- प्रोजेक्ट आईडी, Google Cloud के सभी प्रोजेक्ट के लिए यूनीक होता है. साथ ही, इसे बदला नहीं जा सकता. इसे सेट करने के बाद बदला नहीं जा सकता. Cloud Console, एक यूनीक स्ट्रिंग अपने-आप जनरेट करता है; आम तौर पर, आपको उसके होने की कोई परवाह नहीं होती. ज़्यादातर कोडलैब में, आपको अपना प्रोजेक्ट आईडी बताना होगा. आम तौर पर, इसकी पहचान
PROJECT_ID
के रूप में की जाती है. अगर आपको जनरेट किया गया आईडी पसंद नहीं है, तो किसी भी क्रम में एक और आईडी जनरेट किया जा सकता है. दूसरा तरीका यह है कि आप खुद भी आज़माकर देखें कि वह उपलब्ध है या नहीं. इस चरण के बाद, इसे बदला नहीं जा सकता. साथ ही, यह प्रोजेक्ट के खत्म होने तक बना रहता है. - आपकी जानकारी के लिए, प्रोजेक्ट नंबर नाम की एक तीसरी वैल्यू दी गई है. इसका इस्तेमाल कुछ एपीआई करते हैं. दस्तावेज़ में इन तीनों वैल्यू के बारे में ज़्यादा जानें.
- इसके बाद, आपको क्लाउड संसाधनों/एपीआई का इस्तेमाल करने के लिए, Cloud Console में बिलिंग चालू करनी होगी. इस कोडलैब का इस्तेमाल करने पर, आपको ज़्यादा पैसे नहीं चुकाने होंगे. इस ट्यूटोरियल के अलावा, बिलिंग से बचने के लिए संसाधनों को बंद करें. इसके लिए, अपने बनाए गए संसाधनों को मिटाएं या प्रोजेक्ट को मिटाएं. Google Cloud के नए उपयोगकर्ता, 300 डॉलर के मुफ़्त ट्रायल वाले प्रोग्राम में हिस्सा ले सकते हैं.
Cloud Shell शुरू करना
Google Cloud को आपके लैपटॉप से, कहीं से भी ऑपरेट किया जा सकता है. हालांकि, इस कोडलैब में Google Cloud Shell का इस्तेमाल किया जा रहा है. यह क्लाउड में चलने वाला कमांड लाइन एनवायरमेंट है.
Google Cloud Console में जाकर, सबसे ऊपर दाईं ओर मौजूद टूलबार पर क्लाउड शेल आइकॉन पर क्लिक करें:
प्रावधान करने और एनवायरमेंट से कनेक्ट होने में कुछ ही समय लगेगा. उसके पूरा हो जाने पर, आपको कुछ ऐसा दिखाई देगा:
इस वर्चुअल मशीन में ऐसे सभी डेवलपमेंट टूल मौजूद हैं जिनकी आपको ज़रूरत पड़ेगी. यह पांच जीबी की स्थायी होम डायरेक्ट्री उपलब्ध कराता है और Google Cloud पर चलता है. यह नेटवर्क की परफ़ॉर्मेंस और पुष्टि करने की प्रक्रिया को बेहतर बनाता है. इस कोडलैब (कोड बनाना सीखना) में आपका सारा काम ब्राउज़र में किया जा सकता है. आपको कुछ भी इंस्टॉल करने की ज़रूरत नहीं है.
3. शुरू करने से पहले
एपीआई चालू करें
आउटपुट:
Cloud Shell में, पक्का करें कि आपका प्रोजेक्ट आईडी सेट अप हो:
gcloud config set project [YOUR-PROJECT-ID]
एनवायरमेंट वैरिएबल PROJECT_ID सेट करें:
PROJECT_ID=$(gcloud config get-value project)
सभी ज़रूरी सेवाएं चालू करना:
gcloud services enable alloydb.googleapis.com \
compute.googleapis.com \
cloudresourcemanager.googleapis.com \
servicenetworking.googleapis.com \
aiplatform.googleapis.com
अनुमानित आउटपुट
student@cloudshell:~ (test-project-001-402417)$ gcloud config set project test-project-001-402417 Updated property [core/project]. student@cloudshell:~ (test-project-001-402417)$ PROJECT_ID=$(gcloud config get-value project) Your active configuration is: [cloudshell-14650] student@cloudshell:~ (test-project-001-402417)$ student@cloudshell:~ (test-project-001-402417)$ gcloud services enable alloydb.googleapis.com \ compute.googleapis.com \ cloudresourcemanager.googleapis.com \ servicenetworking.googleapis.com \ aiplatform.googleapis.com Operation "operations/acat.p2-4470404856-1f44ebd8-894e-4356-bea7-b84165a57442" finished successfully.
Vertex AI में एम्बेड करने वाले मॉडल का इस्तेमाल करने के लिए, अपने डिफ़ॉल्ट क्षेत्र को कॉन्फ़िगर करें. Vertex AI की सुविधा के लिए उपलब्ध जगहों के बारे में ज़्यादा जानें. उदाहरण के लिए, हम us-central1 क्षेत्र का इस्तेमाल कर रहे हैं.
gcloud config set compute/region us-central1
4. AlloyDB को डिप्लॉय करें
AlloyDB क्लस्टर बनाने से पहले, हमें अपने VPC में एक उपलब्ध निजी आईपी रेंज की ज़रूरत होगी, ताकि आने वाले समय में AlloyDB के इंस्टेंस में इसका इस्तेमाल किया जा सके. अगर हमारे पास वह नहीं है, तो हमें उसे बनाना होगा और उसे Google की इंटरनल सेवाओं के लिए असाइन करना होगा. इसके बाद, हम क्लस्टर और इंस्टेंस बना पाएंगे.
निजी आईपी रेंज बनाना
हमें AlloyDB के लिए अपने VPC में, निजी सेवा ऐक्सेस का कॉन्फ़िगरेशन कॉन्फ़िगर करना होगा. यहां यह माना जा रहा है कि हमारे पास "डिफ़ॉल्ट" प्रोजेक्ट में VPC नेटवर्क और इसका इस्तेमाल सभी कार्रवाइयों के लिए किया जाएगा.
निजी आईपी रेंज बनाएं:
gcloud compute addresses create psa-range \
--global \
--purpose=VPC_PEERING \
--prefix-length=24 \
--description="VPC private service access" \
--network=default
तय की गई आईपी रेंज का इस्तेमाल करके निजी कनेक्शन बनाएं:
gcloud services vpc-peerings connect \
--service=servicenetworking.googleapis.com \
--ranges=psa-range \
--network=default
कंसोल का अनुमानित आउटपुट:
student@cloudshell:~ (test-project-402417)$ gcloud compute addresses create psa-range \ --global \ --purpose=VPC_PEERING \ --prefix-length=24 \ --description="VPC private service access" \ --network=default Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/global/addresses/psa-range]. student@cloudshell:~ (test-project-402417)$ gcloud services vpc-peerings connect \ --service=servicenetworking.googleapis.com \ --ranges=psa-range \ --network=default Operation "operations/pssn.p24-4470404856-595e209f-19b7-4669-8a71-cbd45de8ba66" finished successfully. student@cloudshell:~ (test-project-402417)$
AllyDB क्लस्टर बनाएं
us-central1 क्षेत्र में AlloyDB क्लस्टर बनाएं.
पोस्टग्रेज़ उपयोगकर्ता के लिए पासवर्ड तय करें. अपना पासवर्ड खुद तय किया जा सकता है या किसी रैंडम फ़ंक्शन का इस्तेमाल करके, पासवर्ड जनरेट किया जा सकता है
export PGPASSWORD=`openssl rand -hex 12`
कंसोल का अनुमानित आउटपुट:
student@cloudshell:~ (test-project-402417)$ export PGPASSWORD=`openssl rand -hex 12`
आने वाले समय में इस्तेमाल करने के लिए, PostgreSQL पासवर्ड को नोट करें:
echo $PGPASSWORD
कंसोल का अनुमानित आउटपुट:
student@cloudshell:~ (test-project-402417)$ echo $PGPASSWORD bbefbfde7601985b0dee5723
क्षेत्र और AlloyDB क्लस्टर का नाम तय करें. हम क्लस्टर के नाम के तौर पर us-central1 क्षेत्र और alloydb-aip-01 का इस्तेमाल करेंगे:
export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
क्लस्टर बनाने के लिए निर्देश चलाएं:
gcloud alloydb clusters create $ADBCLUSTER \
--password=$PGPASSWORD \
--network=default \
--region=$REGION
कंसोल का अनुमानित आउटपुट:
export REGION=us-central1 export ADBCLUSTER=alloydb-aip-01 gcloud alloydb clusters create $ADBCLUSTER \ --password=$PGPASSWORD \ --network=default \ --region=$REGION Operation ID: operation-1697655441138-6080235852277-9e7f04f5-2012fce4 Creating cluster...done.
AlloyDB प्राइमरी इंस्टेंस बनाना
एक ही क्लाउड शेल सेशन में हमारे क्लस्टर के लिए, AlloyDB का प्राइमरी इंस्टेंस बनाएं. अगर आपका खाता डिसकनेक्ट कर दिया गया है, तो आपको क्षेत्र और क्लस्टर के नाम के एनवायरमेंट वैरिएबल फिर से तय करने होंगे.
gcloud alloydb instances create $ADBCLUSTER-pr \
--instance-type=PRIMARY \
--cpu-count=2 \
--region=$REGION \
--cluster=$ADBCLUSTER
कंसोल का अनुमानित आउटपुट:
student@cloudshell:~ (test-project-402417)$ gcloud alloydb instances create $ADBCLUSTER-pr \ --instance-type=PRIMARY \ --cpu-count=2 \ --region=$REGION \ --availability-type ZONAL \ --cluster=$ADBCLUSTER Operation ID: operation-1697659203545-6080315c6e8ee-391805db-25852721 Creating instance...done.
5. AlloyDB से कनेक्ट करें
AlloyDB को सिर्फ़ निजी कनेक्शन का इस्तेमाल करके डिप्लॉय किया जाता है. इसलिए, हमें डेटाबेस के साथ काम करने के लिए ऐसी वीएम इंस्टॉल करनी होगी जिसमें PostgreSQL क्लाइंट हो.
GCE वीएम डिप्लॉय करना
उसी क्षेत्र में GCE वीएम बनाएं और VPC को AlloyDB क्लस्टर की तरह बनाएं.
Cloud Shell में ये काम करें:
export ZONE=us-central1-a
gcloud compute instances create instance-1 \
--zone=$ZONE \
--create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
--scopes=https://www.googleapis.com/auth/cloud-platform
कंसोल का अनुमानित आउटपुट:
student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a gcloud compute instances create instance-1 \ --zone=$ZONE \ --create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \ --scopes=https://www.googleapis.com/auth/cloud-platform Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/zones/us-central1-a/instances/instance-1]. NAME: instance-1 ZONE: us-central1-a MACHINE_TYPE: n1-standard-1 PREEMPTIBLE: INTERNAL_IP: 10.128.0.2 EXTERNAL_IP: 34.71.192.233 STATUS: RUNNING
Postgres इंस्टॉल करें क्लाइंट
डिप्लॉय की गई वीएम पर PostgreSQL क्लाइंट सॉफ़्टवेयर इंस्टॉल करें
वर्चुअल मशीन (वीएम) से कनेक्ट करें:
gcloud compute ssh instance-1 --zone=us-central1-a
कंसोल का अनुमानित आउटपुट:
student@cloudshell:~ (test-project-402417)$ gcloud compute ssh instance-1 --zone=us-central1-a Updating project ssh metadata...working..Updated [https://www.googleapis.com/compute/v1/projects/test-project-402417]. Updating project ssh metadata...done. Waiting for SSH key to propagate. Warning: Permanently added 'compute.5110295539541121102' (ECDSA) to the list of known hosts. Linux instance-1.us-central1-a.c.gleb-test-short-001-418811.internal 6.1.0-18-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.76-1 (2024-02-01) x86_64 The programs included with the Debian GNU/Linux system are free software; the exact distribution terms for each program are described in the individual files in /usr/share/doc/*/copyright. Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law. student@instance-1:~$
वर्चुअल मशीन (वीएम) के अंदर चल रहे सॉफ़्टवेयर का कमांड इंस्टॉल करें:
sudo apt-get update
sudo apt-get install --yes postgresql-client
कंसोल का अनुमानित आउटपुट:
student@instance-1:~$ sudo apt-get update sudo apt-get install --yes postgresql-client Get:1 https://packages.cloud.google.com/apt google-compute-engine-bullseye-stable InRelease [5146 B] Get:2 https://packages.cloud.google.com/apt cloud-sdk-bullseye InRelease [6406 B] Hit:3 https://deb.debian.org/debian bullseye InRelease Get:4 https://deb.debian.org/debian-security bullseye-security InRelease [48.4 kB] Get:5 https://packages.cloud.google.com/apt google-compute-engine-bullseye-stable/main amd64 Packages [1930 B] Get:6 https://deb.debian.org/debian bullseye-updates InRelease [44.1 kB] Get:7 https://deb.debian.org/debian bullseye-backports InRelease [49.0 kB] ...redacted... update-alternatives: using /usr/share/postgresql/13/man/man1/psql.1.gz to provide /usr/share/man/man1/psql.1.gz (psql.1.gz) in auto mode Setting up postgresql-client (13+225) ... Processing triggers for man-db (2.9.4-2) ... Processing triggers for libc-bin (2.31-13+deb11u7) ...
इंस्टेंस से कनेक्ट करना
psql का इस्तेमाल करके, वीएम से मुख्य इंस्टेंस से कनेक्ट करें.
आपके इंस्टेंस-1 वीएम के लिए, उसी Cloud Shell टैब में खुले एसएसएच सेशन के साथ.
GCE (जीसीई) वीएम से AlloyDB से कनेक्ट करने के लिए, बताए गए AlloyDB पासवर्ड (PGपासवर्ड) की वैल्यू और AlloyDB क्लस्टर आईडी का इस्तेमाल करें:
export PGPASSWORD=<Noted password>
export PROJECT_ID=$(gcloud config get-value project)
export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
export INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)")
psql "host=$INSTANCE_IP user=postgres sslmode=require"
कंसोल का अनुमानित आउटपुट:
student@instance-1:~$ export PGPASSWORD=CQhOi5OygD4ps6ty student@instance-1:~$ ADBCLUSTER=alloydb-aip-01 student@instance-1:~$ REGION=us-central1 student@instance-1:~$ INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)") gleb@instance-1:~$ psql "host=$INSTANCE_IP user=postgres sslmode=require" psql (15.6 (Debian 15.6-0+deb12u1), server 15.5) SSL connection (protocol: TLSv1.3, cipher: TLS_AES_256_GCM_SHA384, compression: off) Type "help" for help. postgres=>
psql सेशन बंद करें:
exit
6. डेटाबेस तैयार करें
हमें एक डेटाबेस बनाना होगा, Vertex AI इंटिग्रेशन चालू करना होगा, डेटाबेस ऑब्जेक्ट बनाना होगा, और डेटा इंपोर्ट करना होगा.
AlloyDB को ज़रूरी अनुमतियां देना
AlloyDB के सर्विस एजेंट में Vertex AI की अनुमतियां जोड़ें.
"+" चिह्न का इस्तेमाल करके कोई दूसरा Cloud Shell टैब खोलें क्लिक करें.
नए Cloud Shell टैब में, ये काम करें:
PROJECT_ID=$(gcloud config get-value project)
gcloud projects add-iam-policy-binding $PROJECT_ID \
--member="serviceAccount:service-$(gcloud projects describe $PROJECT_ID --format="value(projectNumber)")@gcp-sa-alloydb.iam.gserviceaccount.com" \
--role="roles/aiplatform.user"
कंसोल का अनुमानित आउटपुट:
student@cloudshell:~ (test-project-001-402417)$ PROJECT_ID=$(gcloud config get-value project) Your active configuration is: [cloudshell-11039] student@cloudshell:~ (test-project-001-402417)$ gcloud projects add-iam-policy-binding $PROJECT_ID \ --member="serviceAccount:service-$(gcloud projects describe $PROJECT_ID --format="value(projectNumber)")@gcp-sa-alloydb.iam.gserviceaccount.com" \ --role="roles/aiplatform.user" Updated IAM policy for project [test-project-001-402417]. bindings: - members: - serviceAccount:service-4470404856@gcp-sa-alloydb.iam.gserviceaccount.com role: roles/aiplatform.user - members: ... etag: BwYIEbe_Z3U= version: 1
एक्ज़ीक्यूशन कमांड "बाहर निकलें" का इस्तेमाल करके टैब को बंद करें टैब में:
exit
डेटाबेस बनाएं
डेटाबेस क्विकस्टार्ट बनाएं.
GCE (जीसीई) वीएम सेशन में ये काम करें:
डेटाबेस बनाएं:
psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE quickstart_db"
कंसोल का अनुमानित आउटपुट:
student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE quickstart_db" CREATE DATABASE student@instance-1:~$
Vertex AI इंटिग्रेशन चालू करना
Vertex AI इंटिग्रेशन और डेटाबेस में मौजूद pgवेक्टर एक्सटेंशन को चालू करें.
GCE (जीसीई) VM में ये काम करें:
psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "CREATE EXTENSION IF NOT EXISTS google_ml_integration CASCADE"
psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "CREATE EXTENSION IF NOT EXISTS vector"
कंसोल का अनुमानित आउटपुट:
student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "CREATE EXTENSION IF NOT EXISTS google_ml_integration CASCADE" psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "CREATE EXTENSION IF NOT EXISTS vector" CREATE EXTENSION CREATE EXTENSION student@instance-1:~$
डेटा इंपोर्ट करें
तैयार डेटा डाउनलोड करके उसे नए डेटाबेस में इंपोर्ट करें.
GCE (जीसीई) VM में ये काम करें:
gsutil cat gs://cloud-training/gcc/gcc-tech-004/cymbal_demo_schema.sql |psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db"
gsutil cat gs://cloud-training/gcc/gcc-tech-004/cymbal_products.csv |psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "\copy cymbal_products from stdin csv header"
gsutil cat gs://cloud-training/gcc/gcc-tech-004/cymbal_inventory.csv |psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "\copy cymbal_inventory from stdin csv header"
gsutil cat gs://cloud-training/gcc/gcc-tech-004/cymbal_stores.csv |psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "\copy cymbal_stores from stdin csv header"
कंसोल का अनुमानित आउटपुट:
student@instance-1:~$ gsutil cat gs://cloud-training/gcc/gcc-tech-004/cymbal_demo_schema.sql |psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" SET SET SET SET SET set_config ------------ (1 row) SET SET SET SET SET SET CREATE TABLE ALTER TABLE CREATE TABLE ALTER TABLE CREATE TABLE ALTER TABLE CREATE TABLE ALTER TABLE CREATE SEQUENCE ALTER TABLE ALTER SEQUENCE ALTER TABLE ALTER TABLE ALTER TABLE student@instance-1:~$ gsutil cat gs://cloud-training/gcc/gcc-tech-004/cymbal_products.csv |psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "\copy cymbal_products from stdin csv header" COPY 941 student@instance-1:~$ gsutil cat gs://cloud-training/gcc/gcc-tech-004/cymbal_inventory.csv |psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "\copy cymbal_inventory from stdin csv header" COPY 263861 student@instance-1:~$ gsutil cat gs://cloud-training/gcc/gcc-tech-004/cymbal_stores.csv |psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" -c "\copy cymbal_stores from stdin csv header" COPY 4654 student@instance-1:~$
7. एम्बेडिंग की गणना करें
डेटा इंपोर्ट करने के बाद, हमें cymbal_products टेबल में अपना प्रॉडक्ट डेटा मिला. हमारे प्रॉडक्ट की इन्वेंट्री, cymbal_inventory टेबल में हर स्टोर में उपलब्ध प्रॉडक्ट की संख्या, और cymbal_stores टेबल में स्टोर की लिस्ट दिखा रही है. हमें अपने प्रॉडक्ट के ब्यौरे के आधार पर वेक्टर डेटा का हिसाब लगाना है और इसके लिए हम एम्बेड करने का फ़ंक्शन इस्तेमाल करेंगे. हम अपने प्रॉडक्ट के ब्यौरे के आधार पर वेक्टर डेटा का हिसाब लगाने और उसे टेबल में जोड़ने के लिए, Vertex AI इंटिग्रेशन का इस्तेमाल करेंगे. इस्तेमाल की गई टेक्नोलॉजी के बारे में ज़्यादा जानने के लिए, दस्तावेज़ पढ़ें.
एम्बेड करने वाला कॉलम बनाना
psql का इस्तेमाल करके डेटाबेस से कनेक्ट करें और cymbal_products टेबल में एम्बेड करने वाले फ़ंक्शन का इस्तेमाल करके, वेक्टर डेटा के साथ एक वर्चुअल कॉलम बनाएं. एम्बेड करने वाला फ़ंक्शन, product_description कॉलम से दिए गए डेटा के आधार पर Vertex AI से वेक्टर डेटा दिखाता है.
psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db"
डेटाबेस से कनेक्ट करने के बाद, psql सेशन में इसे एक्ज़ीक्यूट करें:
ALTER TABLE cymbal_products ADD COLUMN embedding vector GENERATED ALWAYS AS (embedding('text-embedding-004',product_description)) STORED;
निर्देश, वर्चुअल कॉलम बनाएगा और उसे वेक्टर डेटा से पॉप्युलेट करेगा.
कंसोल का अनुमानित आउटपुट:
student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db" psql (13.11 (Debian 13.11-0+deb11u1), server 14.7) WARNING: psql major version 13, server major version 14. Some psql features might not work. SSL connection (protocol: TLSv1.3, cipher: TLS_AES_256_GCM_SHA384, bits: 256, compression: off) Type "help" for help. quickstart_db=> ALTER TABLE cymbal_products ADD COLUMN embedding vector GENERATED ALWAYS AS (embedding('text-embedding-004',product_description)) STORED; ALTER TABLE quickstart_db=>
8. समानता खोजने की सुविधा चलाएं
अब हम ब्यौरे के लिए कैलकुलेट किए गए वेक्टर वैल्यू और अपने अनुरोध पर मिलने वाले वेक्टर वैल्यू के आधार पर, 'मिलते-जुलते नतीजे' खोज का इस्तेमाल करके खोज कर सकते हैं.
एसक्यूएल क्वेरी को उसी psql कमांड लाइन इंटरफ़ेस से या विकल्प के तौर पर, AlloyDB Studio से चलाया जा सकता है. AlloyDB Studio में कोई भी पंक्ति और मुश्किल आउटपुट बेहतर दिख सकता है.
AlloyDB Studio से कनेक्ट करना
नीचे दिए गए चैप्टर में, डेटाबेस से कनेक्शन की ज़रूरत वाले सभी एसक्यूएल कमांड को AlloyDB Studio में वैकल्पिक रूप से चलाया जा सकता है. निर्देश चलाने के लिए, आपको मुख्य इंस्टेंस पर क्लिक करके अपने AlloyDB क्लस्टर के लिए वेब कंसोल इंटरफ़ेस खोलना होगा.
फिर बाईं ओर AlloyDB Studio पर क्लिक करें:
Quickstart_db डेटाबेस, उपयोगकर्ता पोस्टग्रेट चुनें और क्लस्टर बनाते समय नोट किया गया पासवर्ड उपलब्ध कराएं. इसके बाद, "पुष्टि करें" पर क्लिक करें बटन.
इससे AlloyDB Studio का इंटरफ़ेस खुल जाएगा. डेटाबेस में कमांड चलाने के लिए, "Editor 1" पर क्लिक करें टैब पर क्लिक करें.
इससे ऐसा इंटरफ़ेस खुलता है जहां एसक्यूएल कमांड इस्तेमाल किए जा सकते हैं
अगर आपको कमांड लाइन psql का इस्तेमाल करना है, तो दूसरे रूट का इस्तेमाल करें और अपने वीएम एसएसएच सेशन के डेटाबेस से कनेक्ट करें. इसके बारे में पिछले चैप्टर में बताया गया है.
psql से समानता खोज चलाएं
अगर आपका डेटाबेस सेशन डिसकनेक्ट हो गया था, तो psql या AlloyDB Studio का इस्तेमाल करके फिर से डेटाबेस से कनेक्ट करें.
डेटाबेस से कनेक्ट करें:
psql "host=$INSTANCE_IP user=postgres dbname=quickstart_db"
किसी क्लाइंट के अनुरोध से सबसे करीब से संबंधित उपलब्ध प्रॉडक्ट की सूची पाने के लिए क्वेरी चलाएं. हम Vertex AI से यह अनुरोध करने का अनुरोध करते हैं, ताकि वेक्टर की वैल्यू पता की जा सके. जैसे, "यहां किस तरह के फलदार पेड़ अच्छे से उगते हैं?"
यहां वह क्वेरी दी गई है जिसे हमारे अनुरोध के हिसाब से, पहले 10 आइटम चुनने के लिए चलाया जा सकता है:
SELECT
cp.product_name,
left(cp.product_description,80) as description,
cp.sale_price,
cs.zip_code,
(cp.embedding <=> embedding('text-embedding-004','What kind of fruit trees grow well here?')::vector) as distance
FROM
cymbal_products cp
JOIN cymbal_inventory ci on
ci.uniq_id=cp.uniq_id
JOIN cymbal_stores cs on
cs.store_id=ci.store_id
AND ci.inventory>0
AND cs.store_id = 1583
ORDER BY
distance ASC
LIMIT 10;
अनुमानित आउटपुट यहां दिया गया है:
quickstart_db=> SELECT cp.product_name, left(cp.product_description,80) as description, cp.sale_price, cs.zip_code, (cp.embedding <=> embedding('text-embedding-004','What kind of fruit trees grow well here?')::vector) as distance FROM cymbal_products cp JOIN cymbal_inventory ci on ci.uniq_id=cp.uniq_id JOIN cymbal_stores cs on cs.store_id=ci.store_id AND ci.inventory>0 AND cs.store_id = 1583 ORDER BY distance ASC LIMIT 10; product_name | description | sale_price | zip_code | distance ---------------------+----------------------------------------------------------------------------------+------------+----------+--------------------- Cherry Tree | This is a beautiful cherry tree that will produce delicious cherries. It is an d | 75.00 | 93230 | 0.287184013172779 Toyon | This is a beautiful toyon tree that can grow to be over 20 feet tall. It is an e | 10.00 | 93230 | 0.30574073611569963 Secateurs | These secateurs are perfect for pruning small branches and vines. | 15.00 | 93230 | 0.3264385326189635 Trimming Shears | These trimming shears are perfect for trimming hedges and bushes. | 20.00 | 93230 | 0.33293036535756393 Cypress Tree | This is a beautiful cypress tree that will provide shade and privacy. It is an e | 75.00 | 93230 | 0.33485770716129326 Madrone | This is a beautiful madrona tree that can grow to be over 80 feet tall. It is an | 50.00 | 93230 | 0.3354408801293012 California Redwood | This is a beautiful redwood tree that can grow to be over 300 feet tall. It is a | 1000.00 | 93230 | 0.3427243109636263 California Lilac | This is a beautiful lilac tree that can grow to be over 10 feet tall. It is an d | 5.00 | 93230 | 0.3427628377929176 California Sycamore | This is a beautiful sycamore tree that can grow to be over 100 feet tall. It is | 300.00 | 93230 | 0.3430208475356905 Maple Tree | This is a beautiful maple tree that will produce colorful leaves in the fall. It | 100.00 | 93230 | 0.3432609589330091 (10 rows) quickstart_db=>
9. बेहतर जवाब पाएं
क्वेरी के नतीजे का इस्तेमाल करके, क्लाइंट ऐप्लिकेशन पर रिस्पॉन्स को बेहतर बनाया जा सकता है. साथ ही, Vertex AI के जनरेटिव फ़ाउंडेशन लैंग्वेज मॉडल के प्रॉम्प्ट के हिस्से के तौर पर, क्वेरी के दिए गए नतीजों का इस्तेमाल करके एक काम का आउटपुट तैयार किया जा सकता है.
इसके लिए, हम वेक्टर सर्च की मदद से JSON जनरेट करना चाहते हैं. इसके बाद, बेहतर आउटपुट बनाने के लिए, जनरेट किए गए JSON का इस्तेमाल Vertex AI में टेक्स्ट एलएलएम मॉडल के प्रॉम्प्ट के तौर पर करते हैं. पहले चरण में, हम JSON को जनरेट करते हैं. इसके बाद, हम इसे Vertex AI Studio में टेस्ट करते हैं. आखिरी चरण में, हमने इसे एसक्यूएल स्टेटमेंट में शामिल कर लिया है, जिसका इस्तेमाल किसी ऐप्लिकेशन में किया जा सकता है.
JSON फ़ॉर्मैट में आउटपुट जनरेट करें
आउटपुट को JSON फ़ॉर्मैट में जनरेट करने के लिए, क्वेरी में बदलाव करें. साथ ही, Vertex AI को पास करने के लिए सिर्फ़ एक पंक्ति दिखाएं
यहां क्वेरी का उदाहरण दिया गया है:
WITH trees as (
SELECT
cp.product_name,
left(cp.product_description,80) as description,
cp.sale_price,
cs.zip_code,
cp.uniq_id as product_id
FROM
cymbal_products cp
JOIN cymbal_inventory ci on
ci.uniq_id=cp.uniq_id
JOIN cymbal_stores cs on
cs.store_id=ci.store_id
AND ci.inventory>0
AND cs.store_id = 1583
ORDER BY
(cp.embedding <=> embedding('text-embedding-004','What kind of fruit trees grow well here?')::vector) ASC
LIMIT 1)
SELECT json_agg(trees) FROM trees;
आउटपुट में आपको इस तरह की JSON फ़ाइल मिल सकती है:
[{"product_name":"Cherry Tree","description":"This is a beautiful cherry tree that will produce delicious cherries. It is an d","sale_price":75.00,"zip_code":93230,"product_id":"d536e9e823296a2eba198e52dd23e712"}]
Vertex AI Studio में प्रॉम्प्ट चलाना
हम जनरेट किए गए JSON का इस्तेमाल, Vertex AI Studio में जनरेटिव एआई टेक्स्ट मॉडल के प्रॉम्प्ट के तौर पर करने के लिए कर सकते हैं
क्लाउड कंसोल में Vertex AI Studio खोलें.
आपसे अन्य एपीआई चालू करने के लिए कहा जा सकता है, लेकिन आपके पास अनुरोध को अनदेखा करने का विकल्प है. हमें अपना लैब पूरा करने के लिए, किसी अतिरिक्त एपीआई की ज़रूरत नहीं है.
हम यहां दिए गए प्रॉम्प्ट का इस्तेमाल करेंगे:
ग्राहक की ज़रूरतों के हिसाब से प्रॉडक्ट ढूंढने में, आपकी मदद करने वाले अच्छे सलाहकार हैं.
क्लाइंट के अनुरोध के आधार पर, हमने खोज से जुड़े प्रॉडक्ट की एक सूची लोड की है.
JSON फ़ॉर्मैट में दी गई सूची, जिसमें {"product_namename","descriptionsome description","sale_price":10,"zip_code": 10234, "produt_id": "02056727942aeb714dc9a2313654e1b0"} जैसी वैल्यू दी गई हैं
यहां प्रॉडक्ट की सूची दी गई है:
[हमारे JSON का इस्तेमाल कहां किया जा सकता है]
ग्राहक ने पूछा, "यहां कौनसा पेड़ सबसे ज़्यादा उगाया जा रहा है?"
आपको प्रॉडक्ट, कीमत, और कुछ अतिरिक्त जानकारी के बारे में जानकारी देनी चाहिए' प्रॉम्प्ट के तौर पर
जब हम अपने JSON वैल्यू के साथ प्रॉम्प्ट को रन करते हैं और Gemini-1.5-फ़्लैश मॉडल का इस्तेमाल करते हैं, तो यह नतीजा मिलता है:
इस उदाहरण में दिए गए मॉडल से हमें जो जवाब मिला है वह यहां दिया गया है. ध्यान दें कि समय के साथ मॉडल और पैरामीटर में होने वाले बदलावों की वजह से, आपका जवाब अलग-अलग हो सकता है:
"मैं देख रहा हूं कि आप ऐसे पेड़ को खोज रहे हैं जो आपके इलाके में फलता-फूलता है. आपके पिन कोड 93230 के आधार पर, चेरी का पेड़ एक बेहतरीन विकल्प है!
इसे एक खूबसूरत पेड़ के तौर पर दिखाया गया है, जहां चैरी के स्वादिष्ट फल मिलते हैं. फ़िलहाल, यह $75.00 में सेल पर है.
मेरे पास आपके इलाके में इसकी बढ़ोतरी की दर के बारे में कोई खास जानकारी नहीं है. हालांकि, मैं आपको बता सकती हूं कि चेरी के पेड़ों को आम तौर पर, भरपूर रोशनी वाली मिट्टी और धूप पसंद होती है.
बेहतर नतीजे पाने के लिए, मेरा सुझाव है कि आप किसी स्थानीय नर्सरी या बागबानी विशेषज्ञ से सलाह लें. वह विशेषज्ञ, आपकी जगह और मिट्टी की स्थिति के हिसाब से बेहतर सलाह दे सकता है. इनसे आपको अपनी ज़रूरतों के हिसाब से, सबसे सही पौधा चुनने में मदद मिलती है. साथ ही, वह पौधे लगाने और उसकी देखभाल से जुड़ी सलाह भी देता है."
PSQL में प्रॉम्प्ट चलाएं
हम Vertex AI के साथ AlloyDB के एआई इंटिग्रेशन का इस्तेमाल करके, सीधे डेटाबेस में एसक्यूएल का इस्तेमाल करके जनरेटिव मॉडल से वही रिस्पॉन्स पा सकते हैं. हालांकि, Gemini-1.5-फ़्लैश मॉडल का इस्तेमाल करने के लिए, हमें पहले इसे रजिस्टर करना होगा.
एक्सटेंशन को 1.3 वर्शन पर अपग्रेड करें. Quickstart_db डेटाबेस को pSQL से कनेक्ट करें, क्योंकि यह पहले दिखाया गया है (या AlloyDB Studio का इस्तेमाल करें) और इसे एक्ज़ीक्यूट करें:
ALTER EXTENSION google_ml_integration UPDATE TO '1.3'
इसके बाद, हमें google_ml_integration.enable_model_support डेटाबेस फ़्लैग को "चालू" पर सेट करना होगा. यह कार्रवाई करने के लिए, AlloyDB वेब कंसोल इंटरफ़ेस का इस्तेमाल किया जा सकता है या नीचे दिया गया gcloud निर्देश चलाया जा सकता है.
PROJECT_ID=$(gcloud config get-value project)
REGION=us-central1
ADBCLUSTER=alloydb-aip-01
gcloud beta alloydb instances update $ADBCLUSTER-pr \
--database-flags google_ml_integration.enable_model_support=on \
--region=$REGION \
--cluster=$ADBCLUSTER \
--project=$PROJECT_ID \
--update-mode=FORCE_APPLY
बैकग्राउंड में काम करने में करीब तीन से पांच मिनट लगते हैं. इसके बाद, psql सेशन में नए फ़्लैग की पुष्टि की जा सकती है या Quickstart_db डेटाबेस से कनेक्ट करके AlloyDB Studio का इस्तेमाल किया जा सकता है.
show google_ml_integration.enable_model_support;
psql सेशन से अनुमानित आउटपुट "चालू" होता है:
postgres=> show google_ml_integration.enable_model_support; google_ml_integration.enable_model_support -------------------------------------------- on (1 row)
इसके बाद, हमें दो मॉडल रजिस्टर करने होंगे. पहला विकल्प, पहले से इस्तेमाल किया जा रहा text-embedding-004 मॉडल है. इसका रजिस्टर होना ज़रूरी है, क्योंकि हमने मॉडल रजिस्ट्रेशन की सुविधाएं चालू की हैं.
psql या AlloyDB Studio में चलने वाले मॉडल को रजिस्टर करने के लिए, नीचे दिया गया कोड डालें:
CALL
google_ml.create_model(
model_id => 'text-embedding-004',
model_provider => 'google',
model_qualified_name => 'text-embedding-004',
model_type => 'text_embedding',
model_auth_type => 'alloydb_service_agent_iam',
model_in_transform_fn => 'google_ml.vertexai_text_embedding_input_transform',
model_out_transform_fn => 'google_ml.vertexai_text_embedding_output_transform');
इसके अलावा, हमें gemini-1.5-flash-001 के लिए भी रजिस्टर करना होगा. इसका इस्तेमाल, उपयोगकर्ता को बेहतर जवाब जनरेट करने के लिए किया जाएगा.
CALL
google_ml.create_model(
model_id => 'gemini-1.5-flash-001',
model_request_url => 'https://$REGION-aiplatform.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/publishers/google/models/gemini-1.5-flash-001:streamGenerateContent',
model_provider => 'google',
model_auth_type => 'alloydb_service_agent_iam');
google_ml.model_info_view से जानकारी चुनकर, रजिस्टर किए गए मॉडल की सूची की पुष्टि कभी भी की जा सकती है.
select model_id,model_type from google_ml.model_info_view;
आउटपुट का सैंपल यहां दिया गया है
quickstart_db=> select model_id,model_type from google_ml.model_info_view; model_id | model_type -------------------------+---------------- textembedding-gecko | text_embedding textembedding-gecko@001 | text_embedding text-embedding-004 | text_embedding gemini-1.5-flash-001 | generic (4 rows)
अब हम एसक्यूएल का इस्तेमाल करके, जनरेटिव एआई टेक्स्ट मॉडल के प्रॉम्प्ट के हिस्से के तौर पर, एक सबक्वेरी JSON में जनरेट किए गए JSON का इस्तेमाल कर सकते हैं.
psql या AlloyDB Studio सेशन में डेटाबेस से क्वेरी चलाना
WITH trees AS (
SELECT
cp.product_name,
cp.product_description AS description,
cp.sale_price,
cs.zip_code,
cp.uniq_id AS product_id
FROM
cymbal_products cp
JOIN cymbal_inventory ci ON
ci.uniq_id = cp.uniq_id
JOIN cymbal_stores cs ON
cs.store_id = ci.store_id
AND ci.inventory>0
AND cs.store_id = 1583
ORDER BY
(cp.embedding <=> embedding('text-embedding-004',
'What kind of fruit trees grow well here?')::vector) ASC
LIMIT 1),
prompt AS (
SELECT
'You are a friendly advisor helping to find a product based on the customer''s needs.
Based on the client request we have loaded a list of products closely related to search.
The list in JSON format with list of values like {"product_name":"name","product_description":"some description","sale_price":10}
Here is the list of products:' || json_agg(trees) || 'The customer asked "What kind of fruit trees grow well here?"
You should give information about the product, price and some supplemental information' AS prompt_text
FROM
trees),
response AS (
SELECT
json_array_elements(google_ml.predict_row( model_id =>'gemini-1.5-flash-001',
request_body => json_build_object('contents',
json_build_object('role',
'user',
'parts',
json_build_object('text',
prompt_text)))))->'candidates'->0->'content'->'parts'->0->'text' AS resp
FROM
prompt)
SELECT
string_agg(resp::text,
' ')
FROM
response;
और यह रहा अपेक्षित आउटपुट. मॉडल वर्शन और पैरामीटर के हिसाब से, आपका आउटपुट अलग-अलग हो सकता है.:
-------------------------------------------------------------------------------------------------------- "I" " see you're interested in fruit trees! Based on your location, I found" " one great option:\n\n**Cherry Tree:** \n\nThis beautiful cherry tree will" " produce delicious cherries. It's a deciduous tree, meaning it loses its leaves in the fall, and can grow up to 15 feet tall. The" " leaves are a vibrant dark green in the summer, turning a beautiful red in the fall. \n\nCherry trees are known for their beauty and ability to provide shade" " and privacy. They prefer a cool, moist climate and sandy soil, making them a good fit for your area. \n\nThe Cherry Tree is currently on sale for $75.00.\n\nWould you like to know more about" " the Cherry Tree, or are you interested in exploring other fruit tree options? \n" "" (1 row)
10. पर्यावरण साफ़ करें
लैब में काम पूरा करने के बाद, AlloyDB के इंस्टेंस और क्लस्टर खत्म करें
AlloyDB क्लस्टर और सभी इंस्टेंस मिटाना
क्लस्टर को विकल्प बल के साथ नष्ट कर दिया जाता है. इससे क्लस्टर से जुड़े सभी इंस्टेंस भी मिट जाते हैं.
अगर आपके डिसकनेक्ट हो गए हैं और पिछली सभी सेटिंग खो गई हैं, तो क्लाउड शेल में प्रोजेक्ट और एनवायरमेंट वैरिएबल तय करें:
gcloud config set project <your project id>
export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
export PROJECT_ID=$(gcloud config get-value project)
क्लस्टर मिटाएं:
gcloud alloydb clusters delete $ADBCLUSTER --region=$REGION --force
कंसोल का अनुमानित आउटपुट:
student@cloudshell:~ (test-project-001-402417)$ gcloud alloydb clusters delete $ADBCLUSTER --region=$REGION --force All of the cluster data will be lost when the cluster is deleted. Do you want to continue (Y/n)? Y Operation ID: operation-1697820178429-6082890a0b570-4a72f7e4-4c5df36f Deleting cluster...done.
AlloyDB के बैकअप मिटाना
क्लस्टर के लिए सभी AlloyDB के बैकअप मिटाएं:
for i in $(gcloud alloydb backups list --filter="CLUSTER_NAME: projects/$PROJECT_ID/locations/$REGION/clusters/$ADBCLUSTER" --format="value(name)" --sort-by=~createTime) ; do gcloud alloydb backups delete $(basename $i) --region $REGION --quiet; done
कंसोल का अनुमानित आउटपुट:
student@cloudshell:~ (test-project-001-402417)$ for i in $(gcloud alloydb backups list --filter="CLUSTER_NAME: projects/$PROJECT_ID/locations/$REGION/clusters/$ADBCLUSTER" --format="value(name)" --sort-by=~createTime) ; do gcloud alloydb backups delete $(basename $i) --region $REGION --quiet; done Operation ID: operation-1697826266108-60829fb7b5258-7f99dc0b-99f3c35f Deleting backup...done.
अब हम अपनी वर्चुअल मशीन (वीएम) को बंद कर सकते हैं
GCE (जीसीई) वीएम मिटाना
Cloud Shell में ये काम करें:
export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
--zone=$ZONE \
--quiet
कंसोल का अनुमानित आउटपुट:
student@cloudshell:~ (test-project-001-402417)$ export GCEVM=instance-1 export ZONE=us-central1-a gcloud compute instances delete $GCEVM \ --zone=$ZONE \ --quiet Deleted
11. बधाई हो
कोडलैब पूरा करने के लिए बधाई.
इसमें हमने इन विषयों के बारे में बताया
- AlloyDB क्लस्टर और प्राथमिक इंस्टेंस को कैसे डिप्लॉय करें
- Google Compute Engine वीएम से AlloyDB से कनेक्ट करने का तरीका
- डेटाबेस बनाने और AlloyDB AI को चालू करने का तरीका
- डेटाबेस में डेटा लोड करने का तरीका
- AlloyDB में Vertex AI एम्बेड करने वाले मॉडल को इस्तेमाल करने का तरीका
- Vertex AI जनरेटिव मॉडल का इस्तेमाल करके, बेहतर नतीजे पाने का तरीका
12. सर्वे
आउटपुट: