Pic-a-daily: लैब 5—इमेज मिटाने के बाद क्लीनअप करना

1. खास जानकारी

इस कोडलैब में, Cloud Run की एक नई सेवा, इमेज गार्बेज कलेक्टर बनाई जाती है. इसे Eventarc से ट्रिगर किया जाएगा. यह Cloud Run में इवेंट पाने की एक नई सेवा है. जब इमेज बकेट से कोई इमेज मिटाई जाती है, तो सेवा को Eventarc से एक इवेंट मिलता है. इसके बाद, यह थंबनेल बकेट से इमेज को मिटा देता है. साथ ही, इसे Firestore के पिक्चर कलेक्शन से भी हटा देता है.

d93345bfc235f81e.png

आपको क्या सीखने को मिलेगा

  • Cloud Run
  • Cloud Storage
  • Cloud Firestore
  • Eventarc

2. सेटअप और ज़रूरी शर्तें

अपनी रफ़्तार से एनवायरमेंट सेटअप करना

  1. Google Cloud Console में साइन-इन करें और नया प्रोजेक्ट बनाएं या किसी मौजूदा प्रोजेक्ट का फिर से इस्तेमाल करें. अगर आपके पास पहले से कोई Gmail या Google Workspace खाता नहीं है, तो आपको एक खाता बनाना होगा.

96a9c957bc475304.pngb9a10ebdf5b5a448.pnga1e3c01a38fa61c2.png

  • प्रोजेक्ट का नाम, इस प्रोजेक्ट में हिस्सा लेने वाले लोगों के लिए डिसप्ले नेम होता है. यह एक वर्ण स्ट्रिंग है, जिसका इस्तेमाल Google API नहीं करते. इसे किसी भी समय अपडेट किया जा सकता है.
  • प्रोजेक्ट आईडी, सभी Google Cloud प्रोजेक्ट के लिए यूनीक होना चाहिए. साथ ही, इसे बदला नहीं जा सकता. Cloud Console, अपने-आप एक यूनीक स्ट्रिंग जनरेट करता है. आम तौर पर, आपको इससे कोई फ़र्क़ नहीं पड़ता कि यह क्या है. ज़्यादातर कोडलैब में, आपको प्रोजेक्ट आईडी का रेफ़रंस देना होगा. आम तौर पर, इसकी पहचान PROJECT_ID के तौर पर की जाती है. इसलिए, अगर आपको यह पसंद नहीं है, तो कोई दूसरा रैंडम आईडी जनरेट करें. इसके अलावा, आपके पास खुद का आईडी जनरेट करने और यह देखने का विकल्प भी है कि वह उपलब्ध है या नहीं. प्रोजेक्ट बनाने के बाद, इसे "फ़्रीज़" कर दिया जाता है.
  • तीसरी वैल्यू, प्रोजेक्ट नंबर है. इसका इस्तेमाल कुछ एपीआई करते हैं. इन तीनों वैल्यू के बारे में ज़्यादा जानने के लिए, दस्तावेज़ पढ़ें.
  1. इसके बाद, आपको Cloud के संसाधनों/एपीआई का इस्तेमाल करने के लिए, Cloud Console में बिलिंग की सुविधा चालू करनी होगी. इस कोडलैब को पूरा करने में आपको ज़्यादा खर्च नहीं करना पड़ेगा. संसाधनों को बंद करने के लिए, कोडलैब के आखिर में दिए गए "क्लीन-अप" निर्देशों का पालन करें. इससे, इस ट्यूटोरियल के अलावा आपसे कोई और शुल्क नहीं लिया जाएगा. Google Cloud के नए उपयोगकर्ता, 300 डॉलर के मुफ़्त क्रेडिट वाले प्रोग्राम में शामिल हो सकते हैं.

Cloud Shell को चालू करना

Google Cloud को आपके लैपटॉप से रिमोटली ऑपरेट किया जा सकता है. हालांकि, इस कोडलैब में आपको Google Cloud Shell का इस्तेमाल करना होगा. यह क्लाउड में चलने वाला कमांड लाइन एनवायरमेंट है.

GCP Console में, सबसे ऊपर दाईं ओर मौजूद टूलबार में Cloud Shell आइकॉन पर क्लिक करें:

bce75f34b2c53987.png

एनवायरमेंट को सेट अप करने और उससे कनेक्ट होने में कुछ ही समय लगना चाहिए. इंस्टॉल होने के बाद, आपको कुछ ऐसा दिखेगा:

f6ef2b5f13479f3a.png

इस वर्चुअल मशीन में, डेवलपमेंट के लिए ज़रूरी सभी टूल मौजूद हैं. यह 5 जीबी की होम डायरेक्ट्री उपलब्ध कराता है. साथ ही, यह Google Cloud पर चलता है. इससे नेटवर्क की परफ़ॉर्मेंस और पुष्टि करने की प्रोसेस बेहतर होती है. इस लैब में मौजूद सभी टास्क, सिर्फ़ ब्राउज़र का इस्तेमाल करके पूरे किए जा सकते हैं.

3. Eventarc के बारे में जानकारी

Eventarc की मदद से, Cloud Run की सेवाओं को अलग-अलग सोर्स से मिलने वाले इवेंट से आसानी से कनेक्ट किया जा सकता है. यह आपके लिए इवेंट को शामिल करने, डिलीवर करने, सुरक्षित रखने, अनुमति देने, और गड़बड़ियों को ठीक करने का काम करता है.

776ed63706ca9683.png

Google Cloud के सोर्स और Cloud Pub/Sub पर पब्लिश होने वाले कस्टम ऐप्लिकेशन से इवेंट लिए जा सकते हैं. साथ ही, उन्हें Google Cloud Run सिंक पर डिलीवर किया जा सकता है.

Google Cloud के अलग-अलग सोर्स से मिलने वाले इवेंट, Cloud ऑडिट लॉग की मदद से डिलीवर किए जाते हैं. इन सोर्स से इवेंट की डिलीवरी में लगने वाला समय और उनकी उपलब्धता, Cloud Audit Logs के हिसाब से तय होती है. जब भी Google Cloud सोर्स से कोई इवेंट ट्रिगर होता है, तब उससे जुड़ी Cloud ऑडिट लॉग एंट्री बन जाती है.

Cloud Pub/Sub पर पब्लिश करने वाले कस्टम ऐप्लिकेशन, Pub/Sub के किसी विषय पर किसी भी फ़ॉर्मैट में मैसेज पब्लिश कर सकते हैं.

इवेंट ट्रिगर, फ़िल्टर करने का एक तरीका है. इससे यह तय किया जाता है कि कौनसे इवेंट किस सिंक को डिलीवर किए जाएं.

सभी इवेंट, CloudEvents v1.0 फ़ॉर्मैट में डिलीवर किए जाते हैं, ताकि वे अलग-अलग सेवाओं के साथ काम कर सकें.

4. शुरू करने से पहले

एपीआई चालू करें

Cloud Run सेवा को ट्रिगर करने के लिए, आपको Eventarc सेवा की ज़रूरत होगी. पक्का करें कि यह चालू हो:

gcloud services enable eventarc.googleapis.com

आपको कार्रवाई पूरी होने का मैसेज दिखेगा:

Operation "operations/acf.5c5ef4f6-f734-455d-b2f0-ee70b5a17322" finished successfully.

सेवा खाते कॉन्फ़िगर करना

ट्रिगर में, डिफ़ॉल्ट कंप्यूट सेवा खाते का इस्तेमाल किया जाएगा. डिफ़ॉल्ट कंप्यूट सेवा खाते को eventarc.eventReceiver की भूमिका असाइन करें:

PROJECT_NUMBER=$(gcloud projects describe $GOOGLE_CLOUD_PROJECT --format='value(projectNumber)')

gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT \
    --member serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role roles/eventarc.eventReceiver

Cloud Storage सेवा खाते को pubsub.publisher की भूमिका असाइन करें. Eventarc Cloud Storage ट्रिगर के लिए, इसकी ज़रूरत होती है:

SERVICE_ACCOUNT=$(gsutil kms serviceaccount -p $PROJECT_NUMBER)

gcloud projects add-iam-policy-binding $PROJECT_NUMBER \
    --member serviceAccount:$SERVICE_ACCOUNT \
    --role roles/pubsub.publisher

अगर आपने 8 अप्रैल, 2021 को या उससे पहले Pub/Sub सेवा खाते को चालू किया है, तो Pub/Sub सेवा खाते को iam.serviceAccountTokenCreator की भूमिका असाइन करें:

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member serviceAccount:service-$PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
  --role roles/iam.serviceAccountTokenCreator

5. कोड को क्लोन करें

अगर आपने पिछली कोडलैब में कोड को क्लोन नहीं किया है, तो अब करें:

git clone https://github.com/GoogleCloudPlatform/serverless-photosharing-workshop

इसके बाद, उस डायरेक्ट्री पर जाएं जिसमें सेवा मौजूद है:

cd serverless-photosharing-workshop/services/garbage-collector/nodejs

सेवा के लिए, आपके पास यह फ़ाइल लेआउट होगा:

services
 |
 ├── garbage-collector
      |
      ├── nodejs
           |
           ├── index.js
           ├── package.json

फ़ोल्डर में तीन फ़ाइलें हैं:

  • index.js में Node.js कोड होता है
  • package.json लाइब्रेरी की डिपेंडेंसी तय करता है

6. कोड एक्सप्लोर करना

डिपेंडेंसी

package.json फ़ाइल में, लाइब्रेरी की ज़रूरी डिपेंडेंसी के बारे में बताया गया है:

{
  "name": "garbage_collector_service",
  "version": "0.0.1",
  "main": "index.js",
  "scripts": {
    "start": "node index.js"
  },
  "dependencies": {
    "cloudevents": "^4.0.1",
    "express": "^4.17.1",
    "@google/events": "^3.1.0",
    "@google-cloud/firestore": "^4.9.9",
    "@google-cloud/storage": "^5.8.3"
  }
}

Cloud Storage में मौजूद इमेज मिटाने के लिए, हम Cloud Storage लाइब्रेरी का इस्तेमाल करते हैं. हम Cloud Firestore पर डिपेंडेंसी का एलान करते हैं, ताकि पहले से सेव किए गए इमेज के मेटाडेटा को भी मिटाया जा सके. इसके अलावा, Eventarc से भेजे गए CloudEvents को पढ़ने के लिए, हम CloudEvents SDK और Google Events लाइब्रेरी पर निर्भर हैं. Express, JavaScript / Node वेब फ़्रेमवर्क है. Bluebird का इस्तेमाल, प्रॉमिस को हैंडल करने के लिए किया जाता है.

index.js

आइए, index.js कोड को करीब से देखें:

const express = require('express');
const {Storage} = require('@google-cloud/storage');
const Firestore = require('@google-cloud/firestore');
const { HTTP } = require("cloudevents");
const {toStorageObjectData} = require('@google/events/cloud/storage/v1/StorageObjectData');

हमें अपने प्रोग्राम को चलाने के लिए, अलग-अलग डिपेंडेंसी की ज़रूरत होती है: Express, Node वेब फ़्रेमवर्क है, जिसका हम इस्तेमाल करेंगे. Bluebird, JavaScript प्रॉमिस को मैनेज करने के लिए एक लाइब्रेरी है. Storage और Firestore, Google Cloud Storage (इमेज के हमारे बकेट) और Cloud Firestore डेटास्टोर के साथ काम करने के लिए हैं. इसके अलावा, हमें CloudEvent की ज़रूरत होती है, ताकि हम Google Events लाइब्रेरी से Eventarc StoreObjectData के भेजे गए CloudEvent को पढ़ सकें. इससे हम CloudEvent के Cloud Storage इवेंट की मुख्य जानकारी को पढ़ पाते हैं.

const app = express();
app.use(express.json());

app.post('/', async (req, res) => {
    try {
        const cloudEvent = HTTP.toEvent({ headers: req.headers, body: req.body });
        console.log(cloudEvent);


        /* ... */

    } catch (err) {
        console.log(`Error: ${err}`);
        res.status(500).send(err);
    }
});

ऊपर, हमने अपने Node हैंडलर का स्ट्रक्चर दिया है: हमारा ऐप्लिकेशन, एचटीटीपी पोस्ट अनुरोधों का जवाब देता है. यह एचटीटीपी अनुरोध से CloudEvent को पढ़ता है. साथ ही, अगर कुछ गड़बड़ी होती है, तो हम गड़बड़ी को ठीक करने की कोशिश करते हैं. आइए, अब देखते हैं कि इस स्ट्रक्चर के अंदर क्या है.

अगला चरण, CloudEvent के मुख्य हिस्से को वापस पाना और पार्स करना है. साथ ही, ऑब्जेक्ट का नाम वापस पाना है:

const storageObjectData = toStorageObjectData(cloudEvent.data);
console.log(storageObjectData);

const objectName = storageObjectData.name;

इमेज का नाम पता चलने के बाद, हम उसे थंबनेल बकेट से मिटा सकते हैं:

try {
    await storage.bucket(bucketThumbnails).file(objectName).delete();
    console.log(`Deleted '${objectName}' from bucket '${bucketThumbnails}'.`);
}
catch(err) {
    console.log(`Failed to delete '${objectName}' from bucket '${bucketThumbnails}': ${err}.`);
}

आखिर में, Firestore कलेक्शन से भी इमेज का मेटाडेटा मिटाएं:

try {
    const pictureStore = new Firestore().collection('pictures');
    const docRef = pictureStore.doc(objectName);
    await docRef.delete();

    console.log(`Deleted '${objectName}' from Firestore collection 'pictures'`);
}
catch(err) {
    console.log(`Failed to delete '${objectName}' from Firestore: ${err}.`);
}

res.status(200).send(`Processed '${objectName}'.`);

अब हमें अपनी Node स्क्रिप्ट को इनकमिंग अनुरोधों को सुनने के लिए सेट करना होगा. यह भी देखें कि ज़रूरी एनवायरमेंट वैरिएबल सेट किए गए हैं या नहीं:

app.listen(PORT, () => {
    if (!bucketThumbnails) throw new Error("BUCKET_THUMBNAILS not set");
    console.log(`Started service on port ${PORT}`);
});

7. लोकल तौर पर टेस्ट करना

कोड को क्लाउड पर डिप्लॉय करने से पहले, उसे अपने डिवाइस पर टेस्ट करें. इससे यह पक्का किया जा सकेगा कि कोड सही तरीके से काम कर रहा है.

garbage-collector/nodejs फ़ोल्डर में, npm डिपेंडेंसी इंस्टॉल करें और सर्वर चालू करें:

export BUCKET_THUMBNAILS=thumbnails-$GOOGLE_CLOUD_PROJECT

npm install; npm start

अगर सब कुछ ठीक रहा, तो सर्वर को पोर्ट 8080 पर शुरू हो जाना चाहिए:

Started service on port 8080

बाहर निकलने के लिए, CTRL-C का इस्तेमाल करें.

8. Cloud Run पर ऐप्लिकेशन बनाना और डिप्लॉय करना

Cloud Run पर डिप्लॉय करने से पहले, Cloud Run के क्षेत्र को, उपलब्धता वाले देश या इलाके पर सेट करें. साथ ही, प्लैटफ़ॉर्म को managed पर सेट करें:

REGION=europe-west1
gcloud config set run/region $REGION
gcloud config set run/platform managed

यह देखने के लिए कि कॉन्फ़िगरेशन सेट है या नहीं:

gcloud config list

...
[run]
platform = managed
region = europe-west1

Cloud Build का इस्तेमाल करके, कंटेनर इमेज को मैन्युअल तरीके से बनाने और पब्लिश करने के बजाय, Cloud Run का इस्तेमाल करके भी कंटेनर इमेज बनाई जा सकती है. इसके लिए, Google Cloud Buildpacks का इस्तेमाल किया जा सकता है.

Google Cloud Buildpack का इस्तेमाल करके कंटेनर इमेज बनाने के लिए, यह कमांड चलाएं. इसके बाद, कंटेनर इमेज को Cloud Run पर डिप्लॉय करें:

SERVICE_NAME=garbage-collector-service

gcloud run deploy $SERVICE_NAME \
    --source . \
    --no-allow-unauthenticated \
    --update-env-vars BUCKET_THUMBNAILS=$BUCKET_THUMBNAILS

–-source फ़्लैग पर ध्यान दें. इससे Cloud Run को यह निर्देश मिलता है कि वह Dockerfile. के बिना कंटेनर इमेज बनाने के लिए, Google Cloud Buildpacks का इस्तेमाल करे. --no-allow-unauthenticated फ़्लैग, Cloud Run सेवा को एक इंटरनल सेवा बनाता है. इसे सिर्फ़ खास सेवा खाते ट्रिगर करेंगे. इसके बाद, आपको Compute के डिफ़ॉल्ट सेवा खाते की मदद से एक ट्रिगर बनाना होगा. इस खाते के पास, Cloud Run की इंटरनल सेवाओं को कॉल करने के लिए run.invoker की भूमिका होनी चाहिए.

9. ट्रिगर बनाना

Eventarc में, ट्रिगर से यह तय होता है कि किस सेवा को किस तरह के इवेंट मिलने चाहिए. इस मामले में, आपको सेवा को इवेंट तब मिलने चाहिए, जब किसी बकेट में मौजूद फ़ाइल को मिटाया जाए.

ट्रिगर की जगह को उसी क्षेत्र में सेट करें जहां अपलोड की गई तस्वीरों की बकेट मौजूद है:

gcloud config set eventarc/location eu

storage.objects.delete इवेंट को फ़िल्टर करने और Cloud Run सेवा को भेजने के लिए, AuditLog ट्रिगर बनाएं:

BUCKET_IMAGES=uploaded-pictures-$GOOGLE_CLOUD_PROJECT

gcloud eventarc triggers create trigger-$SERVICE_NAME \
  --destination-run-service=$SERVICE_NAME \
  --destination-run-region=$REGION \
  --event-filters="type=google.cloud.storage.object.v1.deleted" \
  --event-filters="bucket=$BUCKET_IMAGES" \
  --service-account=$PROJECT_NUMBER-compute@developer.gserviceaccount.com

इस निर्देश की मदद से, दोबारा जांच की जा सकती है कि ट्रिगर बनाया गया है या नहीं:

gcloud eventarc triggers list

10. सेवा की जांच करना

यह जांचने के लिए कि सेवा काम कर रही है या नहीं, uploaded-pictures बकेट पर जाएं और किसी एक फ़ोटो को मिटाएं. आपको सेवा के लॉग में यह दिखना चाहिए कि उसने thumbnails बकेट में मौजूद इमेज को मिटा दिया है. साथ ही, pictures Firestore कलेक्शन से उसके दस्तावेज़ को भी मिटा दिया है.

519abf90e7ea4d12.png

11. क्लीन अप (ज़रूरी नहीं)

अगर आपको इस सीरीज़ की अन्य लैब में काम नहीं करना है, तो संसाधनों को मिटा दें. इससे लागत कम होगी और क्लाउड का इस्तेमाल करने वाले अच्छे नागरिक की तरह काम किया जा सकेगा. यहां दिए गए तरीके से, संसाधनों को अलग-अलग मिटाया जा सकता है.

सेवा को मिटाना:

gcloud run services delete $SERVICE_NAME -q

Eventarc ट्रिगर को मिटाएं:

gcloud eventarc triggers delete trigger-$SERVICE_NAME -q

इसके अलावा, पूरा प्रोजेक्ट मिटाया जा सकता है:

gcloud projects delete $GOOGLE_CLOUD_PROJECT

12. बधाई हो!

बधाई हो! आपने Cloud Run सेवा, इमेज गार्बेज कलेक्टर बनाई है. इसे Eventarc से ट्रिगर किया जाता है. यह Cloud Run में इवेंट पाने के लिए एक नई सेवा है. जब इमेज बकेट से कोई इमेज मिटाई जाती है, तो सेवा को Eventarc से एक इवेंट मिलता है. इसके बाद, यह थंबनेल बकेट से इमेज को मिटा देता है. साथ ही, इसे Firestore के पिक्चर कलेक्शन से भी हटा देता है.

हमने क्या-क्या कवर किया

  • Cloud Run
  • Cloud Storage
  • Cloud Firestore
  • Eventarc