1. परिचय
Vertex AI Model Garden से डिप्लॉय किए गए मॉडल के लिए, सुरक्षित और निजी ऐक्सेस सेट अप करने के लिए Private Service Connect का इस्तेमाल करें. इस तरीके से, सार्वजनिक एंडपॉइंट को दिखाने के बजाय, अपने मॉडल को एक निजी Vertex AI एंडपॉइंट पर डिप्लॉय किया जा सकता है. इसे सिर्फ़ आपके वर्चुअल प्राइवेट क्लाउड (VPC) में ऐक्सेस किया जा सकता है.
Private Service Connect, आपके वीपीसी में एक एंडपॉइंट बनाता है. इसमें इंटरनल आईपी पता होता है. यह सीधे तौर पर, Google की मैनेज की गई Vertex AI सेवा से कनेक्ट होता है. यह सेवा आपके मॉडल को होस्ट करती है. इससे आपके वीपीसी और ऑन-प्रिमाइसेस एनवायरमेंट में मौजूद ऐप्लिकेशन, निजी आईपी पतों का इस्तेमाल करके अनुमान लगाने के अनुरोध भेज पाते हैं. ऐसा Cloud वीपीएन या इंटरकनेक्ट के ज़रिए किया जाता है. नेटवर्क का पूरा ट्रैफ़िक, Google के नेटवर्क पर रहता है. इससे सुरक्षा बेहतर होती है, लेटेन्सी कम होती है, और आपके मॉडल के एंडपॉइंट को सार्वजनिक इंटरनेट से पूरी तरह से अलग रखा जाता है.
आपको क्या बनाना है
इस ट्यूटोरियल में, आपको Model Garden से Gemma 3 डाउनलोड करना होगा. इसे Vertex AI Online Inference में, Private Service Connect के ज़रिए ऐक्सेस किए जा सकने वाले प्राइवेट एंडपॉइंट के तौर पर होस्ट किया जाता है. एंड-टू-एंड सेटअप में ये शामिल होंगे:
- Model Garden मॉडल: आपको Vertex AI Model Garden से Gemma 3 को चुनना होगा. इसके बाद, इसे Private Service Connect एंडपॉइंट पर डिप्लॉय करना होगा.
- Private Service Connect: आपको अपने वर्चुअल प्राइवेट क्लाउड (वीपीसी) में एक उपभोक्ता एंडपॉइंट कॉन्फ़िगर करना होगा. इसमें आपके नेटवर्क के अंदर का एक इंटरनल आईपी पता होगा.
- Vertex AI से सुरक्षित कनेक्शन: पीएससी एंडपॉइंट, आपके प्राइवेट मॉडल डिप्लॉयमेंट के लिए Vertex AI की ओर से अपने-आप जनरेट होने वाले सर्विस अटैचमेंट को टारगेट करेगा. इससे एक निजी कनेक्शन बनता है. इससे यह पक्का होता है कि आपके वीपीसी और मॉडल सर्विंग एंडपॉइंट के बीच का ट्रैफ़िक, सार्वजनिक इंटरनेट से नहीं गुज़रता.
- आपके वीपीसी में क्लाइंट कॉन्फ़िगरेशन: आपको एक क्लाइंट सेट अप करना होगा. जैसे, Compute Engine वीएम) का इस्तेमाल किया जा सकता है. इससे पीएससी एंडपॉइंट के इंटरनल आईपी पते का इस्तेमाल करके, डिप्लॉय किए गए मॉडल को अनुमान के अनुरोध भेजे जा सकते हैं.
इस प्रोसेस के आखिर तक, आपके पास Model Garden के मॉडल का एक ऐसा उदाहरण होगा जिसे निजी तौर पर उपलब्ध कराया जा रहा है. इसे सिर्फ़ आपके तय किए गए वीपीसी नेटवर्क से ऐक्सेस किया जा सकेगा.
आपको क्या सीखने को मिलेगा
इस ट्यूटोरियल में, आपको Vertex AI Model Garden से मॉडल डिप्लॉय करने का तरीका बताया जाएगा. साथ ही, Private Service Connect (PSC) का इस्तेमाल करके, इसे अपने वर्चुअल प्राइवेट क्लाउड (वीपीसी) से सुरक्षित तरीके से ऐक्सेस करने का तरीका बताया जाएगा. इस तरीके से, आपके वीपीसी (उपयोगकर्ता) में मौजूद ऐप्लिकेशन, सार्वजनिक इंटरनेट का इस्तेमाल किए बिना, Vertex AI मॉडल एंडपॉइंट (प्रोड्यूसर सेवा) से निजी तौर पर कनेक्ट हो सकते हैं.
खास तौर पर, आपको इनके बारे में जानकारी मिलेगी:
- Vertex AI के लिए पीएससी के बारे में जानकारी: पीएससी, उपभोक्ता और सेवा देने वाली कंपनी के बीच निजी और सुरक्षित कनेक्शन कैसे बनाता है. आपका वीपीसी, डिप्लॉय किए गए Model Garden मॉडल को इंटरनल आईपी पतों का इस्तेमाल करके ऐक्सेस कर सकता है.
- निजी ऐक्सेस के साथ मॉडल डिप्लॉय करना: PSC का इस्तेमाल करने के लिए, अपने Model Garden मॉडल के लिए Vertex AI एंडपॉइंट को कैसे कॉन्फ़िगर करें, ताकि यह एक निजी एंडपॉइंट बन जाए.
- सेवा अटैचमेंट की भूमिका: किसी मॉडल को प्राइवेट Vertex AI एंडपॉइंट पर डिप्लॉय करने पर, Google Cloud, Google की ओर से मैनेज किए जाने वाले किरायेदार प्रोजेक्ट में अपने-आप एक सेवा अटैचमेंट बना देता है. यह सेवा अटैचमेंट, मॉडल सर्विंग सेवा को उपभोक्ता नेटवर्क के लिए उपलब्ध कराता है.
- अपने वीपीसी में पीएससी एंडपॉइंट बनाने का तरीका:
- डिप्लॉय किए गए Vertex AI एंडपॉइंट की जानकारी से, यूनीक सर्विस अटैचमेंट यूआरआई पाने का तरीका.
- अपने वीपीसी में चुने गए सबनेट में, इंटरनल आईपी पते को रिज़र्व करने का तरीका.
- अपने वीपीसी में फ़ॉरवर्डिंग का ऐसा नियम कैसे बनाएं जो पीएससी एंडपॉइंट के तौर पर काम करे और Vertex AI सर्विस अटैचमेंट को टारगेट करे. यह एंडपॉइंट, मॉडल को रिज़र्व किए गए इंटरनल आईपी के ज़रिए ऐक्सेस करने की सुविधा देता है.
- निजी कनेक्टिविटी सेट अप करना: आपके वीपीसी में मौजूद पीएससी एंडपॉइंट, सर्विस अटैचमेंट से कैसे कनेक्ट होता है. इससे आपका नेटवर्क, Vertex AI सेवा से सुरक्षित तरीके से कनेक्ट हो जाता है.
- निजी तौर पर अनुमान लगाने के अनुरोध भेजना: अपने वीपीसी में मौजूद संसाधनों (जैसे कि Compute Engine वीएम) से, पीएससी एंडपॉइंट के इंटरनल आईपी पते पर अनुमान लगाने के अनुरोध कैसे भेजें.
- पुष्टि करना: यह जांचने और पुष्टि करने के लिए कि निजी कनेक्शन के ज़रिए, अपने वीपीसी से डिप्लॉय किए गए Model Garden मॉडल को अनुमान लगाने के अनुरोध भेजे जा सकते हैं, यह तरीका अपनाएं.
यह प्रोसेस पूरी करने के बाद, Model Garden से ऐसे मॉडल होस्ट किए जा सकेंगे जिन्हें सिर्फ़ आपके निजी नेटवर्क इंफ़्रास्ट्रक्चर से ऐक्सेस किया जा सकता है.
आपको किन चीज़ों की ज़रूरत होगी
Google Cloud प्रोजेक्ट
IAM अनुमतियां
- AI Platform एडमिन (roles/ml.Admin)
- Compute Network Admin (roles/compute.networkAdmin)
- Compute Instance Admin (roles/compute.instanceAdmin)
- कंप्यूट सिक्योरिटी एडमिन (roles/compute.securityAdmin)
- डीएनएस एडमिन (roles/dns.admin)
- IAP-secured Tunnel User (roles/iap.tunnelResourceAccessor)
- लॉगिंग एडमिन (roles/logging.admin)
- Notebooks एडमिन (roles/notebooks.admin)
- प्रोजेक्ट के लिए आईएएम एडमिन (roles/resourcemanager.projectIamAdmin)
- सेवा खाते का एडमिन (roles/iam.serviceAccountAdmin)
- Service Usage Admin (roles/serviceusage.serviceUsageAdmin)
2. शुरू करने से पहले
ट्यूटोरियल के साथ काम करने के लिए प्रोजेक्ट को अपडेट करना
इस ट्यूटोरियल में, Cloud Shell में gcloud कॉन्फ़िगरेशन लागू करने में मदद के लिए, $variables का इस्तेमाल किया गया है.
Cloud Shell में, यह तरीका अपनाएं:
gcloud config list project
gcloud config set project [YOUR-PROJECT-ID]
projectid=[YOUR-PROJECT-ID]
echo $projectid
एपीआई चालू करना
Cloud Shell में, यह तरीका अपनाएं:
gcloud services enable "compute.googleapis.com"
gcloud services enable "aiplatform.googleapis.com"
gcloud services enable "serviceusage.googleapis.com"
3. मॉडल डिप्लॉय करना
Model Garden से मॉडल डिप्लॉय करने के लिए, यहां दिया गया तरीका अपनाएं
Google Cloud Console में, Model Garden पर जाएं. इसके बाद, Gemma 3 को खोजें और चुनें
'डिप्लॉय करने के विकल्प' पर क्लिक करें और Vertex AI चुनें
'Vertex AI पर डिप्लॉय करें' पैनल में, 'ऐडवांस' को चुनें. पहले से भरी गई जगह और मशीन की खास जानकारी, उपलब्ध क्षमता के आधार पर चुनी जाती है. इन वैल्यू को बदला जा सकता है. हालांकि, यह कोड लैब us-central1 के लिए बनाया गया है.
'Vertex AI पर डिप्लॉय करें' पैनल में, पक्का करें कि एंडपॉइंट ऐक्सेस को Private Service Connect के तौर पर कॉन्फ़िगर किया गया हो. इसके बाद, अपना प्रोजेक्ट चुनें.
अन्य विकल्पों के लिए, सभी डिफ़ॉल्ट सेटिंग को वैसे ही रहने दें. इसके बाद, सबसे नीचे मौजूद 'लागू करें' को चुनें. साथ ही, लागू करने की स्थिति जानने के लिए सूचनाएं देखें.
Model Garden में, us-central1 क्षेत्र चुनें. यह Gemma 3 मॉडल और एंडपॉइंट उपलब्ध कराता है. मॉडल को डिप्लॉय करने में करीब 5 मिनट लगते हैं.
यह प्रोसेस पूरी होने के बाद, 30 मिनट में एंडपॉइंट का स्टेटस "चालू है" में बदल जाएगा
एंडपॉइंट चुनकर, एंडपॉइंट आईडी पाएं और उसे नोट करें.
Private Service Connect सर्विस अटैचमेंट यूआरआई पाने के लिए, Cloud Shell खोलें और यह तरीका अपनाएं. इस यूआरआई स्ट्रिंग का इस्तेमाल उपभोक्ता तब करता है, जब वह पीएससी उपभोक्ता एंडपॉइंट को डिप्लॉय करता है.
Cloud Shell में, एंडपॉइंट आईडी अपडेट करें. इसके बाद, यह निर्देश जारी करें.
gcloud ai endpoints describe [Endpoint ID] --region=us-central1 | grep -i serviceAttachment:
यहां एक उदाहरण दिया गया है:
user@cloudshell:$ gcloud ai endpoints describe 2124795225560842240 --region=us-central1 | grep -i serviceAttachment:
Using endpoint [https://us-central1-aiplatform.googleapis.com/]
serviceAttachment: projects/o9457b320a852208e-tp/regions/us-central1/serviceAttachments/gkedpm-52065579567eaf39bfe24f25f7981d
serviceAttachment के बाद के कॉन्टेंट को "Service_attachment" नाम के वैरिएबल में कॉपी करें. पीएससी कनेक्शन बनाते समय, आपको इसकी ज़रूरत पड़ेगी.
user@cloudshell:$ Service_attachment=projects/o9457b320a852208e-tp/regions/us-central1/serviceAttachments/gkedpm-52065579567eaf39bfe24f25f7981d
4. उपयोगकर्ता का सेटअप
उपभोक्ता वीपीसी बनाएं
Cloud Shell में, यह तरीका अपनाएं:
gcloud compute networks create consumer-vpc --project=$projectid --subnet-mode=custom
उपयोगकर्ता वीएम सबनेट बनाएं
Cloud Shell में, यह तरीका अपनाएं:
gcloud compute networks subnets create consumer-vm-subnet --project=$projectid --range=192.168.1.0/24 --network=consumer-vpc --region=us-central1 --enable-private-ip-google-access
पीएससी एंडपॉइंट सबनेट बनाना
gcloud compute networks subnets create pscendpoint-subnet --project=$projectid --range=10.10.10.0/28 --network=consumer-vpc --region=us-central1
5. IAP की सुविधा चालू करना
आईएपी को अपने वीएम इंस्टेंस से कनेक्ट करने की अनुमति देने के लिए, फ़ायरवॉल का ऐसा नियम बनाएं जो:
- यह उन सभी वीएम इंस्टेंस पर लागू होता है जिन्हें आपको आईएपी का इस्तेमाल करके ऐक्सेस करना है.
- इससे 35.235.240.0/20 आईपी रेंज से इन्ग्रेस ट्रैफ़िक को आने की अनुमति मिलती है. इस रेंज में वे सभी आईपी पते शामिल हैं जिनका इस्तेमाल IAP, टीसीपी फ़ॉरवर्डिंग के लिए करता है.
Cloud Shell में, IAP फ़ायरवॉल नियम बनाएं.
gcloud compute firewall-rules create ssh-iap-consumer \
--network consumer-vpc \
--allow tcp:22 \
--source-ranges=35.235.240.0/20
6. उपयोगकर्ता वीएम इंस्टेंस बनाना
Cloud Shell में, consumer-vm नाम का उपभोक्ता वीएम इंस्टेंस बनाएं.
gcloud compute instances create consumer-vm \
--project=$projectid \
--machine-type=e2-micro \
--image-family debian-11 \
--no-address \
--shielded-secure-boot \
--image-project debian-cloud \
--zone us-central1-a \
--subnet=consumer-vm-subnet
7. Private Service Connect एंडपॉइंट
उपयोगकर्ता, अपने वीपीसी में मौजूद इंटरनल आईपी पते के साथ उपभोक्ता एंडपॉइंट (फ़ॉरवर्डिंग का नियम) बनाता है. यह पीएससी एंडपॉइंट, प्रोड्यूसर के सर्विस अटैचमेंट को टारगेट करता है. उपभोक्ता वीपीसी या हाइब्रिड नेटवर्क में मौजूद क्लाइंट, इस इंटरनल आईपी पते पर ट्रैफ़िक भेज सकते हैं. इससे वे प्रोड्यूसर की सेवा तक पहुँच सकते हैं.
उपभोक्ता एंडपॉइंट के लिए आईपी पता रिज़र्व करें.
Cloud Shell में, फ़ॉरवर्ड करने का नियम बनाएं.
gcloud compute addresses create psc-address \
--project=$projectid \
--region=us-central1 \
--subnet=pscendpoint-subnet \
--addresses=10.10.10.6
पुष्टि करें कि आईपी पता रिज़र्व किया गया है
Cloud Shell में, रिज़र्व किए गए आईपी पते की सूची बनाएं.
gcloud compute addresses list
आपको 10.10.10.6 आईपी पता रिज़र्व किया हुआ दिखेगा.
पिछले चरण में, 'मॉडल डिप्लॉय करें' सेक्शन में कैप्चर किए गए service attachment URI, target-service-attachment को तय करके, उपभोक्ता एंडपॉइंट बनाएं.
Cloud Shell में, नेटवर्क अटैचमेंट के बारे में बताएं.
gcloud compute forwarding-rules create psc-consumer-ep \
--network=consumer-vpc \
--address=psc-address \
--region=us-central1 \
--target-service-attachment=$Service_attachment \
--project=$projectid
पुष्टि करें कि सेवा अटैचमेंट, एंडपॉइंट को स्वीकार करता है
gcloud compute forwarding-rules describe psc-consumer-ep \
--project=$projectid \
--region=us-central1 \
जवाब में, पुष्टि करें कि pscConnectionStatus फ़ील्ड में "ACCEPTED" स्टेटस दिखता हो
8. उपयोगकर्ता की वीएम से टेस्ट करना
Cloud Shell में, Vertex Model Garden API को ऐक्सेस करने के लिए, Consumer VM को ऐक्सेस देने के लिए यह तरीका अपनाएं
उपयोगकर्ता वीएम में एसएसएच करना
ऐप्लिकेशन के डिफ़ॉल्ट क्रेडेंशियल की मदद से फिर से पुष्टि करें और Vertex AI के स्कोप तय करें.
gcloud auth application-default login
--scopes=https://www.googleapis.com/auth/cloud-platform
CURLl कमांड जनरेट करने के लिए, यहां दी गई टेबल का इस्तेमाल करें. साथ ही, इसे अपने हिसाब से अडजस्ट करें
एट्रिब्यूट | मान |
प्रोटोकॉल | HTTP |
जगह | us-central1 |
ऑनलाइन अनुमान लगाने वाला एंडपॉइंट | 2133539641536544768 |
प्रोजेक्ट आईडी | test4-473419 |
मॉडल | gemma-3-12b-it |
Private Service Connect एंडपॉइंट का आईपी पता | 10.10.10.6 |
मैसेज | [{"role": "user","content": "एक पाउंड पंख ज़्यादा भारी होते हैं या एक पाउंड पत्थर?"}] |
अपने एनवायरमेंट की जानकारी के आधार पर, curl कमांड को अपडेट करें और उसे लागू करें:
curl -k -v -X POST -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" -H "Content-Type: application/json" http://[PSC-IP]/v1/projects/[Project-ID]/locations/us-central1/endpoints/[Predictions Endpoint]/chat/completions -d '{"model": "google/gemma-3-12b-it", "messages": [{"role": "user","content": "What weighs more 1 pound of feathers or rocks?"}] }'
उदाहरण:
curl -k -v -X POST -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" -H "Content-Type: application/json" http://10.10.10.6/v1/projects/test4-473419/locations/us-central1/endpoints/2133539641536544768/chat/completions -d '{"model": "google/gemma-3-12b-it", "messages": [{"role": "user","content": "What weighs more 1 pound of feathers or rocks?"}] }'
फ़ाइनल नतीजा - बधाई हो!!!
आपको आउटपुट में सबसे नीचे Gemma 3 से मिले अनुमान का नतीजा दिखेगा. इससे पता चलता है कि आपने पीएससी एंडपॉइंट के ज़रिए, एपीआई एंडपॉइंट को निजी तौर पर ऐक्सेस किया है
Connection #0 to host 10.10.10.6 left intact
{"id":"chatcmpl-9e941821-65b3-44e4-876c-37d81baf62e0","object":"chat.completion","created":1759009221,"model":"google/gemma-3-12b-it","choices":[{"index":0,"message":{"role":"assistant","reasoning_content":null,"content":"This is a classic trick question! They weigh the same. One pound is one pound, regardless of the material. 😊\n\n\n\n","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":106}],"usage":{"prompt_tokens":20,"total_tokens":46,"completion_tokens":26,"prompt_tokens_details":null},"prompt_logprobs":null
9. व्यवस्थित करें
Cloud Shell से, ट्यूटोरियल के कॉम्पोनेंट मिटाएं.
gcloud ai endpoints undeploy-model ENDPOINT_ID --deployed-model-id=DEPLOYED_MODEL_ID --region=us-central1 --quiet
gcloud ai endpoints delete $ENDPOINT_ID --project=$projectid --region=us-central1 --quiet
gcloud ai models delete $MODEL_ID --project=$projectid --region=us-central1 --quiet
gcloud compute instances delete consumer-vm --zone=us-central1-a --quiet
gcloud compute forwarding-rules delete psc-consumer-ep --region=us-central1 --project=$projectid --quiet
gcloud compute addresses delete psc-address --region=us-central1 --project=$projectid --quiet
gcloud compute networks subnets delete pscendpoint-subnet consumer-vm-subnet --region=us-central1 --quiet
gcloud compute firewall-rules delete ssh-iap-consumer --project=$projectid
gcloud compute networks delete consumer-vpc --project=$projectid --quiet
gcloud projects delete $projectid --quiet
10. बधाई हो
बधाई हो! आपने Private Service Connect Endpoint का इस्तेमाल करके, Vertex AI Prediction पर होस्ट किए गए Gemma 3 API के प्राइवेट ऐक्सेस को कॉन्फ़िगर और पुष्टि कर लिया है.
आपने उपभोक्ता इन्फ़्रास्ट्रक्चर बनाया है. इसमें, इंटरनल आईपी पता रिज़र्व करना और अपने वीपीसी में Private Service Connect एंडपॉइंट (फ़ॉरवर्डिंग का नियम) कॉन्फ़िगर करना शामिल है. यह एंडपॉइंट, Vertex AI सेवा से सुरक्षित तरीके से कनेक्ट होता है. इसके लिए, यह आपके डिप्लॉय किए गए Gemma 3 मॉडल से जुड़े सेवा अटैचमेंट को टारगेट करता है. इस सेटअप की मदद से, वीपीसी या कनेक्ट किए गए नेटवर्क में मौजूद आपके ऐप्लिकेशन, Gemma 3 API के साथ निजी तौर पर और सुरक्षित तरीके से इंटरैक्ट कर सकते हैं. इसके लिए, उन्हें इंटरनल आईपी पते का इस्तेमाल करना होगा. साथ ही, उन्हें सार्वजनिक इंटरनेट से ट्रैफ़िक भेजने की ज़रूरत नहीं होगी.