1. परिचय
Vertex AI Model Garden से डिप्लॉय किए गए मॉडल को निजी तौर पर ऐक्सेस करने के लिए, Private Service Connect (PSC) का इस्तेमाल करें. इससे मॉडल को सुरक्षित तरीके से ऐक्सेस किया जा सकता है. सार्वजनिक एंडपॉइंट के बजाय, इस तरीके से अपने मॉडल को Vertex AI के निजी एंडपॉइंट पर डिप्लॉय किया जा सकता है. इसे सिर्फ़ आपके वर्चुअल प्राइवेट क्लाउड (VPC) में ऐक्सेस किया जा सकता है.
Private Service Connect, आपके VPC में एक एंडपॉइंट बनाता है. इसके लिए, वह एक अंदरूनी आईपी पते का इस्तेमाल करता है. यह एंडपॉइंट, आपके मॉडल को होस्ट करने वाली Google की मैनेज की गई Vertex AI सेवा से सीधे कनेक्ट होता है. इससे आपके VPC और ऑन-प्रिमाइसेस एनवायरमेंट (Cloud VPN या Interconnect के ज़रिए) में मौजूद ऐप्लिकेशन, निजी आईपी का इस्तेमाल करके अनुमान के लिए अनुरोध भेज सकते हैं.
सबसे अहम बात यह है कि आपके VPC और Vertex AI के निजी एंडपॉइंट के बीच का सारा नेटवर्क ट्रैफ़िक, Google के खास नेटवर्क पर रहता है. इससे यह ट्रैफ़िक, सार्वजनिक इंटरनेट से पूरी तरह से अलग रहता है. इसके अलावा, TLS एन्क्रिप्शन का इस्तेमाल करके, इस निजी कनेक्शन को ट्रांज़िट में सुरक्षित किया जाता है. शुरू से आखिर तक एन्क्रिप्शन की इस सुविधा से, अनुमान के लिए भेजे गए आपके अनुरोध और मॉडल के जवाब सुरक्षित रहते हैं. इससे डेटा की गोपनीयता और इंटिग्रिटी बढ़ती है. PSC और TLS एन्क्रिप्शन की मदद से, नेटवर्क को अलग रखने की सुविधा, ऑनलाइन अनुमानों के लिए सुरक्षित एनवायरमेंट उपलब्ध कराती है. इससे इंतज़ार का समय कम होता है और सुरक्षा की स्थिति बेहतर होती है.
आपको क्या बनाना है
इस ट्यूटोरियल में, आपको Model Garden से Gemma 3 डाउनलोड करना होगा. इसे Vertex AI Online Inference में, Private Service Connect के ज़रिए ऐक्सेस किए जा सकने वाले निजी एंडपॉइंट के तौर पर होस्ट किया गया है. शुरू से आखिर तक के सेटअप में ये चीज़ें शामिल होंगी:
- Model Garden का मॉडल: आपको Vertex AI Model Garden से Gemma 3 चुनना होगा और इसे Private Service Connect एंडपॉइंट पर डिप्लॉय करना होगा.
- Private Service Connect: आपको अपने वर्चुअल प्राइवेट क्लाउड (VPC) में, उपभोक्ता एंडपॉइंट कॉन्फ़िगर करना होगा. इसमें आपके नेटवर्क के अंदरूनी आईपी पते का इस्तेमाल किया जाएगा.
- Vertex AI से सुरक्षित कनेक्शन: पीएससी एंडपॉइंट, आपके निजी मॉडल को डिप्लॉय करने के लिए, Vertex AI की ओर से अपने-आप जनरेट किए गए सर्विस अटैचमेंट को टारगेट करेगा. इससे एक निजी कनेक्शन बनता है. इससे यह पक्का होता है कि आपके VPC और मॉडल को सेवा देने वाले एंडपॉइंट के बीच का ट्रैफ़िक, सार्वजनिक इंटरनेट से नहीं गुज़रेगा.
- आपके VPC में क्लाइंट का कॉन्फ़िगरेशन: आपको अपने VPC में एक क्लाइंट (जैसे, Compute Engine वीएम) सेट अप करना होगा. यह क्लाइंट, पीएससी एंडपॉइंट के अंदरूनी आईपी पते का इस्तेमाल करके, डिप्लॉय किए गए मॉडल को अनुमान के लिए अनुरोध भेजेगा.
- TLS एन्क्रिप्शन की पुष्टि करना: आपको अपने VPC में मौजूद क्लाइंट वीएम से, पीएससी एंडपॉइंट के अंदरूनी आईपी पते से कनेक्ट करने के लिए, स्टैंडर्ड टूल ( openssl s_client) का इस्तेमाल करना होगा. इस चरण से, आपको यह पुष्टि करने में मदद मिलेगी कि Vertex AI सेवा के साथ कम्यूनिकेशन चैनल को TLS का इस्तेमाल करके एन्क्रिप्ट (सुरक्षित) किया गया है या नहीं. इसके लिए, आपको हैंडशेक की जानकारी और दिखाए गए सर्वर सर्टिफ़िकेट की जांच करनी होगी.
इस ट्यूटोरियल को पूरा करने के बाद, आपके पास Model Garden के मॉडल को निजी तौर पर सेवा देने का एक काम करने वाला उदाहरण होगा. इसे सिर्फ़ आपके तय किए गए VPC नेटवर्क से ऐक्सेस किया जा सकेगा.
आपको क्या सीखने को मिलेगा
इस ट्यूटोरियल में, आपको Vertex AI Model Garden से मॉडल डिप्लॉय करने और Private Service Connect (PSC) का इस्तेमाल करके, इसे अपने वर्चुअल प्राइवेट क्लाउड (VPC) से सुरक्षित तरीके से ऐक्सेस करने का तरीका सीखने को मिलेगा. इस तरीके से, आपके VPC (उपभोक्ता) में मौजूद ऐप्लिकेशन, सार्वजनिक इंटरनेट से गुज़रे बिना, Vertex AI मॉडल एंडपॉइंट (प्रड्यूसर सेवा) से निजी तौर पर कनेक्ट हो सकते हैं.
खास तौर पर, आपको ये चीज़ें सीखने को मिलेंगी:
- Vertex AI के लिए पीएससी को समझना: पीएससी, उपभोक्ता से प्रड्यूसर के बीच निजी और सुरक्षित कनेक्शन कैसे बनाता है. आपका VPC, डिप्लॉय किए गए Model Garden मॉडल को अंदरूनी आईपी पतों का इस्तेमाल करके ऐक्सेस कर सकता है.
- निजी ऐक्सेस के साथ मॉडल डिप्लॉय करना: PSC का इस्तेमाल करने के लिए, अपने Model Garden मॉडल के लिए Vertex AI एंडपॉइंट को कॉन्फ़िगर करने का तरीका. इससे यह एक निजी एंडपॉइंट बन जाता है.
- सर्विस अटैचमेंट की भूमिका: जब किसी मॉडल को Vertex AI के निजी एंडपॉइंट पर डिप्लॉय किया जाता है, तो Google Cloud, Google की मैनेज की गई किरायेदार प्रोजेक्ट में अपने-आप एक सर्विस अटैचमेंट बना देता है. यह सर्विस अटैचमेंट, मॉडल को सेवा देने वाली सेवा को उपभोक्ता नेटवर्क के लिए उपलब्ध कराता है.
- अपने VPC में पीएससी एंडपॉइंट बनाना:
- डिप्लॉय किए गए Vertex AI एंडपॉइंट की जानकारी से, यूनीक सर्विस अटैचमेंट यूआरआई पाने का तरीका.
- अपने VPC में, चुने गए सबनेट में अंदरूनी आईपी पता रिज़र्व करने का तरीका.
- अपने VPC में फ़ॉरवर्डिंग नियम बनाने का तरीका. यह नियम, पीएससी एंडपॉइंट के तौर पर काम करता है और Vertex AI सर्विस अटैचमेंट को टारगेट करता है. यह एंडपॉइंट, रिज़र्व किए गए अंदरूनी आईपी के ज़रिए मॉडल को ऐक्सेस करने की अनुमति देता है.
- निजी कनेक्टिविटी सेट अप करना: आपके VPC में मौजूद पीएससी एंडपॉइंट, सर्विस अटैचमेंट से कैसे कनेक्ट होता है. इससे आपका नेटवर्क, Vertex AI सेवा से सुरक्षित तरीके से जुड़ जाता है.
- अनुमान के लिए अनुरोध निजी तौर पर भेजना: अपने VPC में मौजूद संसाधनों (जैसे, Compute Engine वीएम) से, पीएससी एंडपॉइंट के अंदरूनी आईपी पते पर अनुमान के लिए अनुरोध भेजने का तरीका.
- पुष्टि करना: निजी कनेक्शन के ज़रिए, अपने VPC से डिप्लॉय किए गए Model Garden मॉडल को अनुमान के लिए अनुरोध भेजने की पुष्टि करने और उसे टेस्ट करने के तरीके.
- TLS एन्क्रिप्शन की पुष्टि करना: पीएससी एंडपॉइंट के अंदरूनी आईपी पते से TLS के ज़रिए कनेक्ट करने के लिए, अपने VPC क्लाइंट (जैसे, Compute Engine वीएम) में मौजूद टूल इस्तेमाल करने का तरीका.
इसे पूरा करने के बाद, Model Garden के उन मॉडल को होस्ट किया जा सकेगा जिन्हें सिर्फ़ आपके निजी नेटवर्क इन्फ़्रास्ट्रक्चर से ऐक्सेस किया जा सकता है.
आपको किन चीज़ों की ज़रूरत होगी
Google Cloud प्रोजेक्ट
IAM की अनुमतियां
- AI Platform का एडमिन (roles/ml.Admin)
- कंप्यूट नेटवर्क का एडमिन (roles/compute.networkAdmin)
- कंप्यूट इंस्टेंस का एडमिन (roles/compute.instanceAdmin)
- कंप्यूट सुरक्षा का एडमिन (roles/compute.securityAdmin)
- डीएनएस का एडमिन (roles/dns.admin)
- आईएपी से सुरक्षित टनल का उपयोगकर्ता (roles/iap.tunnelResourceAccessor)
- लॉगिंग का एडमिन (roles/logging.admin)
- Notebooks का एडमिन (roles/notebooks.admin)
- प्रोजेक्ट IAM का एडमिन (roles/resourcemanager.projectIamAdmin)
- सेवा खाते का एडमिन (roles/iam.serviceAccountAdmin)
- सेवा के इस्तेमाल का एडमिन (roles/serviceusage.serviceUsageAdmin)
2. शुरू करने से पहले
ट्यूटोरियल के लिए प्रोजेक्ट अपडेट करना
इस ट्यूटोरियल में, Cloud Shell में gcloud कॉन्फ़िगरेशन लागू करने में मदद करने के लिए, $variables का इस्तेमाल किया गया है.
Cloud Shell में, यह कार्रवाई करें:
gcloud config list project
gcloud config set project [YOUR-PROJECT-ID]
projectid=[YOUR-PROJECT-ID]
echo $projectid
एपीआई चालू करना
Cloud Shell में, यह कार्रवाई करें:
gcloud services enable "compute.googleapis.com"
gcloud services enable "aiplatform.googleapis.com"
gcloud services enable "serviceusage.googleapis.com"
gcloud services enable dns.googleapis.com
3. मॉडल डिप्लॉय करना
Model Garden से मॉडल डिप्लॉय करने के लिए, यहां दिया गया तरीका अपनाएं
Google Cloud Console में, Model Garden पर जाएं और Gemma 3 खोजकर उसे चुनें
मॉडल डिप्लॉय करें पर क्लिक करें और Vertex AI चुनें
डिप्लॉयमेंट सेटिंग सेक्शन में सबसे नीचे, सेटिंग में बदलाव करें को चुनें
Vertex AI पर डिप्लॉय करें पैनल में, पक्का करें कि एंडपॉइंट ऐक्सेस को Private Service Connect के तौर पर कॉन्फ़िगर किया गया हो. इसके बाद, अपना प्रोजेक्ट चुनें.
अन्य विकल्पों के लिए सभी डिफ़ॉल्ट सेटिंग छोड़ दें. इसके बाद, सबसे नीचे मौजूद डिप्लॉय करें को चुनें. डिप्लॉयमेंट की स्थिति जानने के लिए, अपनी सूचनाएं देखें.
Model Garden में, वह इलाका चुनें जहां Gemma 3 मॉडल और एंडपॉइंट उपलब्ध है. जैसे, us-central1. मॉडल को डिप्लॉय होने में करीब पांच मिनट लगते हैं.
डिप्लॉयमेंट पूरा होने के 30 मिनट बाद, एंडपॉइंट की स्थिति "चालू" हो जाएगी
एंडपॉइंट चुनकर, उसका आईडी नोट करें.
एंडपॉइंट का आईडी पाने और वैरिएबल अपडेट करने के लिए, एंडपॉइंट चुनें. दिखाए गए उदाहरण में, आईडी 1934769929467199488 है.
Cloud Shell में, यह कार्रवाई करें:
endpointID=<Enter_Your_Endpoint_ID>
region=us-central1
Private Service Connect के सर्विस अटैचमेंट का यूआरआई पाने के लिए, यह कार्रवाई करें. उपभोक्ता एंडपॉइंट डिप्लॉय करते समय, उपभोक्ता इस यूआरआई स्ट्रिंग का इस्तेमाल करता है.
Cloud Shell में, एंडपॉइंट आईडी/इलाके के वैरिएबल का इस्तेमाल करें. इसके बाद, यह निर्देश जारी करें:
gcloud ai endpoints describe $endpointID --region=$region | grep -i serviceAttachment:
यहां एक उदाहरण दिया गया है:
user@cloudshell:$ gcloud ai endpoints describe 1934769929467199488 --region=us-central1 | grep -i serviceAttachment:
Using endpoint [https://us-central1-aiplatform.googleapis.com/]
serviceAttachment: projects/o9457b320a852208e-tp/regions/us-central1/serviceAttachments/gkedpm-52065579567eaf39bfe24f25f7981d
serviceAttachment के बाद मौजूद कॉन्टेंट को "Service_attachment" नाम के वैरिएबल में कॉपी करें. पीएससी कनेक्शन बनाते समय, आपको इसकी ज़रूरत पड़ेगी.
user@cloudshell:$ Service_attachment=<Enter_Your_ServiceAttachment>
4. उपभोक्ता का सेटअप
उपभोक्ता का VPC बनाना
Cloud Shell में, यह कार्रवाई करें:
gcloud compute networks create consumer-vpc --project=$projectid --subnet-mode=custom
उपभोक्ता के वीएम का सबनेट बनाना
Cloud Shell में, यह कार्रवाई करें:
gcloud compute networks subnets create consumer-vm-subnet --project=$projectid --range=192.168.1.0/24 --network=consumer-vpc --region=$region --enable-private-ip-google-access
पीएससी एंडपॉइंट का सबनेट बनाना. इसके लिए, Cloud Shell में यह कार्रवाई करें**:**
gcloud compute networks subnets create pscendpoint-subnet --project=$projectid --range=10.10.10.0/28 --network=consumer-vpc --region=$region
5. आईएपी चालू करना
आईएपी को अपने वीएम इंस्टेंस से कनेक्ट करने की अनुमति देने के लिए, एक फ़ायरवॉल नियम बनाएं. इस नियम में ये शर्तें होनी चाहिए:
- यह नियम, उन सभी वीएम इंस्टेंस पर लागू होना चाहिए जिन्हें आईएपी का इस्तेमाल करके ऐक्सेस किया जा सकता है.
- यह नियम, 35.235.240.0/20 वाली आईपी रेंज से आने वाले इन्ग्रेस ट्रैफ़िक को अनुमति देता हो. इस रेंज में वे सभी आईपी पते शामिल होते हैं जिनका इस्तेमाल आईएपी, टीसीपी फ़ॉरवर्डिंग के लिए करता है.
Cloud Shell में, आईएपी का फ़ायरवॉल नियम बनाएं.
gcloud compute firewall-rules create ssh-iap-consumer \
--network consumer-vpc \
--allow tcp:22 \
--source-ranges=35.235.240.0/20
6. उपभोक्ता के वीएम इंस्टेंस बनाना
Cloud Shell में, उपभोक्ता का वीएम इंस्टेंस, consumer-vm बनाएं.
gcloud compute instances create consumer-vm \
--project=$projectid \
--machine-type=e2-micro \
--image-family debian-11 \
--no-address \
--shielded-secure-boot \
--image-project debian-cloud \
--zone us-central1-a \
--subnet=consumer-vm-subnet
7. Private Service Connect के एंडपॉइंट
उपभोक्ता, अपने VPC में अंदरूनी आईपी पते के साथ एक उपभोक्ता एंडपॉइंट (फ़ॉरवर्डिंग नियम) बनाता है. यह पीएससी एंडपॉइंट, प्रड्यूसर के सर्विस अटैचमेंट को टारगेट करता है. उपभोक्ता के VPC या हाइब्रिड नेटवर्क में मौजूद क्लाइंट, प्रड्यूसर की सेवा तक पहुंचने के लिए, इस अंदरूनी आईपी पते पर ट्रैफ़िक भेज सकते हैं.
उपभोक्ता एंडपॉइंट के लिए एक आईपी पता रिज़र्व करें.
Cloud Shell में, फ़ॉरवर्डिंग नियम बनाएं.
gcloud compute addresses create psc-address \
--project=$projectid \
--region=$region \
--subnet=pscendpoint-subnet \
--addresses=10.10.10.6
पुष्टि करें कि आईपी पता रिज़र्व किया गया है.
Cloud Shell में, रिज़र्व किए गए आईपी पते की सूची देखें.
gcloud compute addresses list
आपको 10.10.10.6 आईपी पता रिज़र्व किया हुआ दिखेगा.
सर्विस अटैचमेंट यूआरआई, target-service-attachment की जानकारी देकर, उपभोक्ता एंडपॉइंट बनाएं. यह जानकारी, आपने पिछले चरण, मॉडल डिप्लॉय करें सेक्शन में कैप्चर की थी.
Cloud Shell में, नेटवर्क अटैचमेंट की जानकारी देखें.
gcloud compute forwarding-rules create psc-consumer-ep \
--network=consumer-vpc \
--address=psc-address \
--region=$region \
--target-service-attachment=$Service_attachment \
--project=$projectid
पुष्टि करें कि सर्विस अटैचमेंट, एंडपॉइंट को स्वीकार करता है.
Cloud Shell में, यह कार्रवाई करें:
gcloud compute forwarding-rules describe psc-consumer-ep \
--project=$projectid \
--region=$region
जवाब में, पुष्टि करें कि pscConnectionStatus फ़ील्ड में "ACCEPTED" स्टेटस दिखता है
8. TLS के ज़रिए, Vertex के एचटीटीपीएस एंडपॉइंट से कनेक्ट करने के लिए सेटअप करना
डीएनएस का निजी ज़ोन बनाएं, ताकि आपको आईपी पता तय किए बिना, ऑनलाइन इन्फ़रेंस मिल सके.
Cloud Shell में, यह कार्रवाई करें:
DNS_NAME_SUFFIX="prediction.p.vertexai.goog."
gcloud dns managed-zones create vertex \
--project=$projectid \
--dns-name=$DNS_NAME_SUFFIX \
--networks=consumer-vpc \
--visibility=private \
--description="A DNS zone for Vertex AI endpoints using Private Service Connect."
डोमेन को पीएससी के आईपी पते से मैप करने के लिए, A रिकॉर्ड बनाएं.
Cloud Shell में, यह कार्रवाई करें:
gcloud dns record-sets create "*.prediction.p.vertexai.goog." \
--zone=vertex \
--type=A \
--ttl=300 \
--rrdatas="10.10.10.6"
एनएटी इंस्टेंस के लिए, Cloud Router इंस्टेंस को पहले से सेट अप करना ज़रूरी है.
Cloud Shell में, यह कार्रवाई करें:
gcloud compute routers create consumer-cr \
--region=$region --network=consumer-vpc \
--asn=65001
openssl और dnsutils पैकेज डाउनलोड करने के लिए, Cloud NAT इंस्टेंस बनाएं.
Cloud Shell में, यह कार्रवाई करें:
gcloud compute routers nats create consumer-nat-gw \
--router=consumer-cr \
--region=$region \
--nat-all-subnet-ip-ranges \
--auto-allocate-nat-external-ips
एसएसएच (कंसोल) के ज़रिए, उपभोक्ता के वीएम से कनेक्ट करें. Cloud Shell में, यह कार्रवाई करें:
gcloud compute ssh --zone "us-central1-a" "consumer-vm" --tunnel-through-iap --project "$projectid"
नीचे दिए गए पैकेज अपडेट करें, open-ssl इंस्टॉल करें, और डीएनएस यूटिलिटी इंस्टॉल करें
Cloud Shell में, यह कार्रवाई करें:
sudo apt update
sudo apt install openssl
sudo apt-get install -y dnsutils
अगले चरण में, आपको प्रोजेक्ट नंबर की ज़रूरत पड़ेगी. अपना प्रोजेक्ट नंबर पाने के लिए, Cloud Shell से यह निर्देश चलाएं और इसे किसी वैरिएबल में डालें:
Cloud Shell में, यह कार्रवाई करें:
gcloud projects describe $projectid --format="value(projectNumber)"
Example Output: 549538389202
projectNumber=549538389202
आपको अगले कुछ चरणों में तय किए गए कुछ अन्य वैरिएबल की ज़रूरत पड़ेगी. इन वैरिएबल(ENDPOINT_ID, REGION, VERTEX_AI_PROJECT_ID) को पहले Cloud Shell से कैप्चर करें. इसके बाद, वीएम में वही वैरिएबल बनाएं.
Cloud Shell में, यह कार्रवाई करें:
echo $projectNumber
echo $projectid
echo $region
echo $endpointID
यहां आउटपुट का उदाहरण दिया गया है:
549538389202
test4-473419
Us-central1
1934769929467199s
अपने उपभोक्ता वीएम में ये वैरिएबल जोड़ें. यहां एक उदाहरण दिया गया है:
projectNumber=1934769929467199488
projectid=test4-473419
region=us-central1
endpointID=1934769929467199488
अपने वीएम में, होम डायरेक्ट्री से यह निर्देश चलाकर, Vertex AI का सर्टिफ़िकेट डाउनलोड करें. इस निर्देश से, vertex_certificate.crt नाम की एक फ़ाइल बनती है.
sudo openssl s_client -showcerts -connect $endpointID-$region-$projectNumber.prediction.p.vertexai.goog:443 </dev/null | openssl x509 -outform pem -out vertex_certificate.crt
Output should look like below, error is expected.
सर्टिफ़िकेट को सिस्टम ट्रस्ट स्टोर में ले जाएं.
sudo mv vertex_certificate.crt /usr/local/share/ca-certificates
सर्टिफ़िकेट मैनेजर अपडेट करें.
sudo update-ca-certificates
अपडेट होने के बाद, यह ऐसा दिखेगा.
user@linux-vm:~$ sudo update-ca-certificates
Updating certificates in /etc/ssl/certs...
1 added, 0 removed; done.
Running hooks in /etc/ca-certificates/update.d...
Done.
9. उपभोक्ता के वीएम से फ़ाइनल टेस्ट
उपभोक्ता के वीएम पर, ऐप्लिकेशन के डिफ़ॉल्ट क्रेडेंशियल से फिर से पुष्टि करें और Vertex AI के स्कोप तय करें:
gcloud auth application-default login
--scopes=https://www.googleapis.com/auth/cloud-platform
उपभोक्ता के वीएम में, अपने Gemini मॉडल के लिए अनुमान की सुविधा को टेस्ट करने के लिए, यह कर्ल निर्देश चलाएं. इसमें प्रॉम्प्ट के तौर पर, "एक पाउंड पंख या एक पाउंड पत्थर में से किसका वज़न ज़्यादा है?" सवाल का इस्तेमाल करें
curl -v -X POST -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" -H "Content-Type: application/json" https://$endpointID-$region-$projectNumber.prediction.p.vertexai.goog/v1/projects/$projectid/locations/$region/endpoints/$endpointID/chat/completions -d '{"model": "google/gemma-3-12b-it", "messages": [{"role": "user","content": "What weighs more 1 pound of feathers or rocks?"}] }'
फ़ाइनल नतीजा - काम हो गया!!!
आपको आउटपुट में सबसे नीचे, Gemma 3 से मिले अनुमान का नतीजा दिखेगा. इससे पता चलता है कि आपने पीएससी एंडपॉइंट के ज़रिए, एपीआई एंडपॉइंट को निजी तौर पर ऐक्सेस किया है
Connection #0 to host 10.10.10.6 left intact
{"id":"chatcmpl-9e941821-65b3-44e4-876c-37d81baf62e0","object":"chat.completion","created":1759009221,"model":"google/gemma-3-12b-it","choices":[{"index":0,"message":{"role":"assistant","reasoning_content":null,"content":"This is a classic trick question! They weigh the same. One pound is one pound, regardless of the material. 😊\n\n\n\n","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":106}],"usage":{"prompt_tokens":20,"total_tokens":46,"completion_tokens":26,"prompt_tokens_details":null},"prompt_logprobs":null
10. व्यवस्थित करें
Cloud Shell से, ट्यूटोरियल के कॉम्पोनेंट मिटाएं.
Get Deployed Model ID first with this command, you will need it to delete the Endpoint ID:
gcloud ai endpoints describe $endpointID \
--region=$region \
--project=$projectid \
--format="table[no-heading](deployedModels.id)"
Example Output: 7389140900875599872
Put it in a Variable:
deployedModelID=7389140900875599872
Run following Commands:
gcloud ai endpoints undeploy-model $endpointID --deployed-model-id=$deployedModelID --region=$region --quiet
gcloud ai endpoints delete $endpointID --project=$projectid --region=$region --quiet
Run Following command to get $MODEL_ID to delete Model:
gcloud ai models list --project=$projectid --region=$region
Example Output:
Using endpoint [https://us-central1-aiplatform.googleapis.com/]
MODEL_ID: gemma-3-12b-it-1768409471942
DISPLAY_NAME: gemma-3-12b-it-1768409471942
Put MODEL_ID value in a variable:
MODEL_ID=gemma-3-12b-it-1768409471942
Run the follow command to delete Model:
gcloud ai models delete $MODEL_ID --project=$projectid --region=$region --quiet
Clean up rest of the lab:
gcloud compute instances delete consumer-vm --zone=us-central1-a --quiet
gcloud compute forwarding-rules delete psc-consumer-ep --region=$region --project=$projectid --quiet
gcloud compute addresses delete psc-address --region=$region --project=$projectid --quiet
gcloud compute networks subnets delete pscendpoint-subnet consumer-vm-subnet --region=$region --quiet
gcloud compute firewall-rules delete ssh-iap-consumer --project=$projectid
gcloud compute routers delete consumer-cr --region=$region
gcloud compute networks delete consumer-vpc --project=$projectid --quiet
11. बधाई हो
बधाई हो. आपने Vertex AI पर होस्ट किए गए Gemma 3 एपीआई को, Private Service Connect एंडपॉइंट का इस्तेमाल करके निजी तौर पर ऐक्सेस करने की सुविधा को कॉन्फ़िगर और पुष्टि कर ली है. इसके लिए, Vertex AI से मिला सेल्फ़-साइन किया गया सर्टिफ़िकेट इस्तेमाल किया गया है. इसे वीएम के ट्रस्ट स्टोर में डिप्लॉय किया गया है.
आपने उपभोक्ता का इन्फ़्रास्ट्रक्चर बनाया है. इसमें, अंदरूनी आईपी पता रिज़र्व करना, अपने VPC में Private Service Connect एंडपॉइंट (फ़ॉरवर्डिंग नियम) कॉन्फ़िगर करना, और सेल्फ़-साइन किए गए सर्टिफ़िकेट *prediction.p.vertexai.goog के लिए निजी डीएनएस कॉन्फ़िगर करना शामिल है. यह एंडपॉइंट, डिप्लॉय किए गए Gemma 3 मॉडल से जुड़े सर्विस अटैचमेंट को टारगेट करके, Vertex AI सेवा से सुरक्षित तरीके से कनेक्ट होता है.
इस सेटअप से, VPC या कनेक्ट किए गए नेटवर्क में मौजूद आपके ऐप्लिकेशन, सर्टिफ़िकेट का इस्तेमाल करके, Gemma 3 एपीआई से अंदरूनी आईपी पते का इस्तेमाल करके निजी तौर पर इंटरैक्ट कर सकते हैं. सारा ट्रैफ़िक, Google के नेटवर्क में रहता है और सार्वजनिक इंटरनेट से नहीं गुज़रता.