1. परिचय
खास जानकारी
Cloud Run ने हाल ही में जीपीयू की सुविधा जोड़ी है. यह वेटलिस्ट वाले Public Preview के तौर पर उपलब्ध है. अगर आपको यह सुविधा आज़मानी है, तो वेटलिस्ट में शामिल होने के लिए यह फ़ॉर्म भरें. Cloud Run, Google Cloud पर मौजूद एक कंटेनर प्लैटफ़ॉर्म है. इसकी मदद से, क्लस्टर को मैनेज किए बिना, कंटेनर में अपना कोड आसानी से चलाया जा सकता है.
फ़िलहाल, हम 24 जीबी वीआरएम वाले Nvidia L4 जीपीयू उपलब्ध कराते हैं. हर Cloud Run इंस्टेंस में एक जीपीयू होता है. साथ ही, Cloud Run की ऑटो स्केलिंग की सुविधा अब भी लागू होती है. इसमें कोटा बढ़ाने के साथ-साथ, कोई अनुरोध न होने पर शून्य इंस्टेंस तक स्केल करना शामिल है.
Transformers.js को हगिंग फ़ेस की ट्रांसफ़ॉर्मर Python लाइब्रेरी की तरह ही डिज़ाइन किया गया है. इसका मतलब है कि काफ़ी मिलते-जुलते एपीआई का इस्तेमाल करके, पहले से ट्रेन किए गए उन ही मॉडल को चलाया जा सकता है. Transformers.js वेबसाइट पर ज़्यादा जानकारी पाएं.
इस कोडलैब में, आपको Cloud Run पर एक ऐसा ऐप्लिकेशन बनाना और डिप्लॉय करना होगा जो Transformers.js और जीपीयू का इस्तेमाल करता हो.
आपको इनके बारे में जानकारी मिलेगी
- GPUs का इस्तेमाल करके, Cloud Run पर Transformers.js का इस्तेमाल करके ऐप्लिकेशन चलाने का तरीका
2. एपीआई चालू करना और एनवायरमेंट वैरिएबल सेट करना
इस कोडलैब का इस्तेमाल शुरू करने से पहले, आपको कई एपीआई चालू करने होंगे. इस कोडलैब के लिए, इन एपीआई का इस्तेमाल करना ज़रूरी है. इन एपीआई को चालू करने के लिए, यह कमांड चलाएं:
gcloud services enable run.googleapis.com \
storage.googleapis.com \
cloudbuild.googleapis.com \
इसके बाद, एनवायरमेंट वैरिएबल सेट किए जा सकते हैं. इनका इस्तेमाल इस कोडलैब में किया जाएगा.
PROJECT_ID=<YOUR_PROJECT_ID> AR_REPO_NAME=repo REGION=us-central1
3. Transformers.js ऐप्लिकेशन बनाना
सबसे पहले, सोर्स कोड के लिए एक डायरेक्ट्री बनाएं और उस डायरेक्ट्री में cd करें.
mkdir transformers-js-codelab && cd $_
package.json फ़ाइल बनाएं.
{
"name": "huggingface",
"version": "1.0.0",
"main": "index.js",
"type": "module",
"scripts": {
"test": "echo \"Error: no test specified\" && exit 1"
},
"keywords": [],
"author": "",
"license": "ISC",
"description": "",
"dependencies": {
"@huggingface/transformers": "^3.0.0-alpha.8",
"@xenova/transformers": "^2.17.2",
"express": "^4.17.1"
}
}
index.js नाम की फ़ाइल बनाना
import { pipeline } from "@xenova/transformers";
import express from 'express';
// make sure the text-generation pipeline is created first
// before anyone can access the routes
const generator = await pipeline('text-generation', 'Xenova/llama2.c-stories15M', {
device: 'cuda',
dtype: 'fp32',
});
// now create the app and routes
const app = express();
app.get('/', async (req, res) => {
const text = 'A long time ago in a galaxy far far away,';
const output = await generator(text, { max_new_tokens: 50 });
res.send(output);
});
const port = parseInt(process.env.PORT) || 8080;
app.listen(port, () => {
console.log(`transformers-js app: listening on port ${port}`);
});
Dockerfile बनाएं. Dockerfile, Transformers.js के लिए ज़रूरी NVIDIA ड्राइवर इंस्टॉल करेगा
FROM node:20 WORKDIR /usr/src/app RUN apt-get update && \ apt-get install software-properties-common -y && \ wget https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64/cuda-keyring_1.1-1_all.deb && \ dpkg -i cuda-keyring_1.1-1_all.deb && \ add-apt-repository contrib && \ apt-get update && \ apt-get -y install cuda-toolkit-12-6 && \ apt-get -y install cudnn-cuda-12 EXPOSE 8080 COPY package.json . RUN npm install COPY index.js . ENTRYPOINT ["node", "index.js"]
4. Cloud Run सेवा बनाएं और डिप्लॉय करें
Artifact Registry में डेटा स्टोर करने की जगह बनाएं.
gcloud artifacts repositories create $AR_REPO_NAME \ --repository-format docker \ --location us-central1
Cloud Build में अपना कोड सबमिट करें.
IMAGE=us-central1-docker.pkg.dev/$PROJECT_ID/$AR_REPO_NAME/gpu-transformers-js gcloud builds submit --tag $IMAGE
इसके बाद, Cloud Run पर डिप्लॉय करें
gcloud beta run deploy transformers-js-codelab \ --image=$IMAGE \ --cpu 8 --memory 32Gi \ --gpu=1 --no-cpu-throttling --gpu-type nvidia-l4 \ --allow-unauthenticated \ --region us-central1 \ --project=$PROJECT_ID \ --max-instances 1
5. सेवा की जांच करें
सेवा की जांच करने के लिए, ये काम करें:
SERVICE_URL=$(gcloud run services describe transformers-js-codelab --region $REGION --format 'value(status.url)') curl $SERVICE_URL
और आपको कुछ ऐसा दिखेगा:
[{"generated_text":"A long time ago in a galaxy far far away, there was a beautiful garden. Every day, the little girl would go to the garden and look at the flowers. She loved the garden so much that she would come back every day to visit it.\nOne day, the little girl was walking through"}]
6. बधाई हो!
कोडलैब पूरा करने के लिए बधाई!
हमारा सुझाव है कि आप Cloud Run के जीपीयू से जुड़े दस्तावेज़ देखें.
हमने क्या-क्या कवर किया है
- जीपीयू का इस्तेमाल करके, Cloud Run पर Transformers.js का इस्तेमाल करके ऐप्लिकेशन चलाने का तरीका
7. व्यवस्थित करें
अनजाने में लगने वाले शुल्कों से बचने के लिए, (उदाहरण के लिए, अगर फ़्री टियर में Cloud Run सेवाओं के ऐक्सेस को महीने के हिसाब से तय किए गए समय से ज़्यादा बार इस्तेमाल किया जाता है), तो Cloud Run को मिटाया जा सकता है या दूसरे चरण में बनाए गए प्रोजेक्ट को मिटाया जा सकता है.
Cloud Run सेवा को मिटाने के लिए, https://console.cloud.google.com/run पर Cloud Run Cloud Console पर जाएं और transformers-js-codelab सेवा को मिटाएं.
अगर आपको पूरा प्रोजेक्ट मिटाना है, तो https://console.cloud.google.com/cloud-resource-manager पर जाएं. इसके बाद, दूसरे चरण में बनाया गया प्रोजेक्ट चुनें और 'मिटाएं' को चुनें. प्रोजेक्ट मिटाने पर, आपको अपने Cloud SDK में प्रोजेक्ट बदलने होंगे. gcloud projects list चलाकर, सभी उपलब्ध प्रोजेक्ट की सूची देखी जा सकती है.