Pic-a-daily: ল্যাব ৫—ছবি মোছার পরে ক্লিন-আপ

১. এক নজরে

এই কোড ল্যাবে, আপনি একটি নতুন Cloud Run পরিষেবা, ইমেজ গার্বেজ কালেক্টর তৈরি করবেন, যা Eventarc দ্বারা ট্রিগার করা হবে, Cloud Run-এ ইভেন্টগুলি গ্রহণ করার জন্য একটি নতুন পরিষেবা। ছবি রাখার জায়গা থেকে কোনও ছবি মুছে দেওয়া হলে, পরিষেবাটি Eventarc থেকে একটি ইভেন্ট পায়। তারপর, এটি থাম্বনেল বাকেট থেকে ছবি মুছে দেয় এবং Firestore ছবির সংগ্রহ থেকেও এটি সরিয়ে দেয়।

d93345bfc235f81e.png

আপনি কী শিখবেন

  • Cloud Run
  • ক্লাউড স্টোরেজ
  • Cloud Firestore
  • Eventarc

২. সেট-আপ ও প্রয়োজনীয়তা

নিজের গতিতে এনভায়রনমেন্ট সেট-আপ করা

  1. Google Cloud Console-এ সাইন-ইন করুন এবং নতুন প্রোজেক্ট তৈরি করুন অথবা আগে থেকে থাকা কোনও প্রোজেক্ট আবার ব্যবহার করুন। আপনার আগে থেকে কোনও Gmail বা Google Workspace অ্যাকাউন্ট না থাকলে, আপনাকে অবশ্যই একটি তৈরি করতে হবে।

96a9c957bc475304.pngb9a10ebdf5b5a448.pnga1e3c01a38fa61c2.png

  • প্রোজেক্টের নাম হল এই প্রোজেক্টের অংশগ্রহণকারীদের জন্য ডিসপ্লে নাম। এটি একটি ক্যারেক্টার স্ট্রিং যা Google APIs ব্যবহার করে না এবং আপনি যেকোনও সময় এটি আপডেট করতে পারবেন।
  • প্রোজেক্ট আইডি সব Google Cloud প্রোজেক্টের ক্ষেত্রে অনন্য হতে হবে এবং এটি অপরিবর্তনীয় (একবার সেট করার পরে পরিবর্তন করা যাবে না)। Cloud Console অটোমেটিক একটি অনন্য স্ট্রিং জেনারেট করে; সাধারণত এটি কী তা নিয়ে আপনি মাথা ঘামান না। বেশিরভাগ কোডল্যাবে, আপনাকে প্রোজেক্ট আইডি (এবং এটি সাধারণত PROJECT_ID হিসেবে চিহ্নিত করা হয়) উল্লেখ করতে হবে, তাই আপনি যদি এটি পছন্দ না করেন, তাহলে অন্য একটি র‍্যান্ডম আইডি জেনারেট করুন, অথবা, আপনি নিজের আইডি ব্যবহার করে দেখতে পারেন যে এটি উপলভ্য আছে কিনা। প্রোজেক্ট তৈরি করার পরে এটি "ফ্রিজ" হয়ে যায়।
  • তৃতীয় একটি ভ্যালু আছে, প্রজেক্ট নম্বর যা কিছু API ব্যবহার করে। এই তিনটি ভ্যালু সম্পর্কে আরও জানতে ডকুমেন্টেশন দেখুন।
  1. এরপর, Cloud রিসোর্স/API ব্যবহার করার জন্য আপনাকে Cloud Console-এ বিলিং চালু করতে হবে। এই কোডল্যাব চালানোর জন্য খুব বেশি খরচ হবে না, যদি কিছু খরচ হয়ও। রিসোর্স বন্ধ করতে, যাতে এই টিউটোরিয়ালের বাইরে আপনার বিলিং না হয়, কোডল্যাবের শেষে পাওয়া যেকোনও "ক্লিন-আপ" নির্দেশাবলী অনুসরণ করুন। Google Cloud-এর নতুন ব্যবহারকারীরা $৩০০ মূল্যের ফ্রি ট্রায়াল প্রোগ্রামের জন্য উপযুক্ত।

Cloud Shell শুরু করুন

Google Cloud আপনার ল্যাপটপ থেকে রিমোটলি অপারেট করা গেলেও, এই কোডল্যাবে আপনি Google Cloud Shell ব্যবহার করবেন, এটি হল ক্লাউডে চলা একটি কমান্ড লাইন এনভায়রনমেন্ট।

GCP কনসোল থেকে, উপরের ডানদিকের টুলবারে Cloud Shell আইকনে ক্লিক করুন:

bce75f34b2c53987.png

এনভায়রনমেন্টে প্রভিশন ও কানেক্ট করতে মাত্র কয়েক মুহূর্ত সময় লাগতে পারে। এটি সম্পূর্ণ হয়ে গেলে, আপনি এইরকম কিছু দেখতে পাবেন:

f6ef2b5f13479f3a.png

আপনার প্রয়োজনীয় সব ডেভেলপমেন্ট টুল এই ভার্চুয়াল মেশিনে লোড করা আছে। এটি একটি স্থায়ী 5GB হোম ডিরেক্টরি অফার করে এবং Google Cloud-এ চলে, যা নেটওয়ার্ক পারফর্ম্যান্স এবং যাচাইকরণকে ব্যাপকভাবে উন্নত করে। এই ল্যাবে আপনার সব কাজ শুধু একটি ব্রাউজার ব্যবহার করেই করা যাবে।

৩. Eventarc-এর সাথে প্রাথমিক পরিচয়

Eventarc-এর সাহায্যে বিভিন্ন সোর্স থেকে পাওয়া ইভেন্টের সাথে Cloud Run পরিষেবা কানেক্ট করা সহজ হয়। এটি আপনার জন্য ইভেন্ট ইনজেশন, ডেলিভারি, নিরাপত্তা, অনুমোদন এবং সমস্যা-সমাধানের কাজ করে।

776ed63706ca9683.png

আপনি Google Cloud সোর্স এবং Cloud Pub/Sub-এ প্রকাশ করা কাস্টম অ্যাপ্লিকেশন থেকে ইভেন্ট নিয়ে Google Cloud Run সিঙ্কে ডেলিভার করতে পারবেন।

Google Cloud-এর বিভিন্ন সোর্স থেকে ইভেন্ট Cloud Audit Logs-এর মাধ্যমে ডেলিভার করা হয়। এইসব সোর্স থেকে ইভেন্ট ডেলিভারির লেটেন্সি ও উপলভ্যতা Cloud Audit Logs-এর সাথে যুক্ত। Google Cloud সোর্স থেকে কোনও ইভেন্ট ট্রিগার করা হলে, সংশ্লিষ্ট Cloud Audit Log এন্ট্রি তৈরি করা হয়।

Cloud Pub/Sub-এ প্রকাশ করা কাস্টম অ্যাপ্লিকেশন, যেকোনও ফর্ম্যাটে নির্দিষ্ট করা Pub/Sub বিষয়ে মেসেজ প্রকাশ করতে পারে।

ইভেন্ট ট্রিগার হল ফিল্টার করার মেকানিজম যার মাধ্যমে কোন ইভেন্ট কোন সিঙ্কে ডেলিভার করতে হবে তা নির্দিষ্ট করা হয়।

ক্রস সার্ভিস ইন্টারঅপারেবিলিটির জন্য সব ইভেন্ট CloudEvents v1.0 ফর্ম্যাটে ডেলিভার করা হয়।

৪. শুরু করার আগে

API চালু করুন

Cloud Run পরিষেবা ট্রিগার করার জন্য আপনার Eventarc পরিষেবা প্রয়োজন হবে। এটি চালু করা আছে কিনা তা নিশ্চিত করুন:

gcloud services enable eventarc.googleapis.com

আপনি দেখতে পাবেন যে অপারেশনটি সফলভাবে শেষ হয়েছে:

Operation "operations/acf.5c5ef4f6-f734-455d-b2f0-ee70b5a17322" finished successfully.

পরিষেবা অ্যাকাউন্ট কনফিগার করুন

ট্রিগারে ডিফল্ট কম্পিউট পরিষেবা অ্যাকাউন্ট ব্যবহার করা হবে। ডিফল্ট কম্পিউট পরিষেবা অ্যাকাউন্টে eventarc.eventReceiver ভূমিকা মঞ্জুর করুন:

PROJECT_NUMBER=$(gcloud projects describe $GOOGLE_CLOUD_PROJECT --format='value(projectNumber)')

gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT \
    --member serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role roles/eventarc.eventReceiver

Cloud Storage পরিষেবা অ্যাকাউন্টে pubsub.publisher ভূমিকা প্রদান করুন। Eventarc Cloud Storage ট্রিগারের জন্য এটি প্রয়োজন:

SERVICE_ACCOUNT=$(gsutil kms serviceaccount -p $PROJECT_NUMBER)

gcloud projects add-iam-policy-binding $PROJECT_NUMBER \
    --member serviceAccount:$SERVICE_ACCOUNT \
    --role roles/pubsub.publisher

আপনি ৮ এপ্রিল, ২০২১-এ বা তার আগে Pub/Sub পরিষেবা অ্যাকাউন্ট চালু করে থাকলে, Pub/Sub পরিষেবা অ্যাকাউন্টকে iam.serviceAccountTokenCreator ভূমিকা দিন:

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member serviceAccount:service-$PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
  --role roles/iam.serviceAccountTokenCreator

৫. কোড ক্লোন করুন

আপনি যদি আগের কোড ল্যাবে কোডটি ক্লোন না করে থাকেন, তাহলে এখন করুন:

git clone https://github.com/GoogleCloudPlatform/serverless-photosharing-workshop

তারপর আপনি পরিষেবাটি আছে এমন ডিরেক্টরিতে যেতে পারেন:

cd serverless-photosharing-workshop/services/garbage-collector/nodejs

পরিষেবার জন্য আপনার কাছে নিম্নলিখিত ফাইল লে-আউট থাকবে:

services
 |
 ├── garbage-collector
      |
      ├── nodejs
           |
           ├── index.js
           ├── package.json

ফোল্ডারের মধ্যে,, আপনার ৩টি ফাইল আছে:

  • index.js-এ Node.js কোড আছে
  • package.json লাইব্রেরি ডিপেন্ডেন্সি নির্ধারণ করে

৬. কোড এক্সপ্লোর করুন

নির্ভরতা

package.json ফাইলটি প্রয়োজনীয় লাইব্রেরি ডিপেন্ডেন্সি নির্ধারণ করে:

{
  "name": "garbage_collector_service",
  "version": "0.0.1",
  "main": "index.js",
  "scripts": {
    "start": "node index.js"
  },
  "dependencies": {
    "cloudevents": "^4.0.1",
    "express": "^4.17.1",
    "@google/events": "^3.1.0",
    "@google-cloud/firestore": "^4.9.9",
    "@google-cloud/storage": "^5.8.3"
  }
}

Cloud Storage-এর মধ্যে ছবি মুছে ফেলার জন্য আমরা Cloud Storage লাইব্রেরির উপর নির্ভর করি। আমরা Cloud Firestore-এর উপর নির্ভরতা ঘোষণা করি, যাতে আগে স্টোর করা ছবির মেটাডেটাও মুছে ফেলা যায়। এছাড়াও, Eventarc-এর পাঠানো CloudEvents পড়তে আমরা CloudEvents SDK এবং Google Events লাইব্রেরির উপর নির্ভর করি। Express হল একটি JavaScript / Node ওয়েব ফ্রেমওয়ার্ক। Bluebird ব্যবহার করে প্রমিস ম্যানেজ করা হয়।

index.js

আমাদের index.js কোডটি আরও ভালভাবে দেখে নেওয়া যাক:

const express = require('express');
const {Storage} = require('@google-cloud/storage');
const Firestore = require('@google-cloud/firestore');
const { HTTP } = require("cloudevents");
const {toStorageObjectData} = require('@google/events/cloud/storage/v1/StorageObjectData');

আমাদের প্রোগ্রাম চালানোর জন্য বিভিন্ন ডিপেন্ডেন্সি প্রয়োজন: Express হল Node ওয়েব ফ্রেমওয়ার্ক যা আমরা ব্যবহার করব, Bluebird হল JavaScript প্রমিস ম্যানেজ করার লাইব্রেরি, Storage এবং Firestore যথাক্রমে Google Cloud Storage (আমাদের ইমেজের বাকেট) এবং Cloud Firestore ডেটাস্টোরের সাথে কাজ করার জন্য প্রয়োজন। এছাড়াও, CloudEvent-এর Cloud Storage ইভেন্ট বডি পড়ার জন্য Google Events লাইব্রেরি থেকে Eventarc StoreObjectData-এর পাঠানো CloudEvent পড়ার জন্য আমাদের CloudEvent প্রয়োজন।

const app = express();
app.use(express.json());

app.post('/', async (req, res) => {
    try {
        const cloudEvent = HTTP.toEvent({ headers: req.headers, body: req.body });
        console.log(cloudEvent);


        /* ... */

    } catch (err) {
        console.log(`Error: ${err}`);
        res.status(500).send(err);
    }
});

উপরে, আমাদের Node হ্যান্ডলারের স্ট্রাকচার আছে: আমাদের অ্যাপ HTTP POST অনুরোধে সাড়া দেয়। এটি HTTP অনুরোধ থেকে CloudEvent পড়ে এবং কোনও সমস্যা হলে আমরা কিছুটা ত্রুটি হ্যান্ডলিং করছি। এই কাঠামোর ভিতরে কী আছে তা এখন দেখা যাক।

পরবর্তী ধাপ হল CloudEvent বডি ফিরিয়ে আনা ও পার্স করা এবং অবজেক্টের নাম ফিরিয়ে আনা:

const storageObjectData = toStorageObjectData(cloudEvent.data);
console.log(storageObjectData);

const objectName = storageObjectData.name;

ছবির নাম জানতে পারলে, আমরা থাম্বনেল বাকেট থেকে সেটি মুছে দিতে পারব:

try {
    await storage.bucket(bucketThumbnails).file(objectName).delete();
    console.log(`Deleted '${objectName}' from bucket '${bucketThumbnails}'.`);
}
catch(err) {
    console.log(`Failed to delete '${objectName}' from bucket '${bucketThumbnails}': ${err}.`);
}

শেষ ধাপ হিসেবে, Firestore কালেকশন থেকেও ছবির মেটাডেটা মুছে দিন:

try {
    const pictureStore = new Firestore().collection('pictures');
    const docRef = pictureStore.doc(objectName);
    await docRef.delete();

    console.log(`Deleted '${objectName}' from Firestore collection 'pictures'`);
}
catch(err) {
    console.log(`Failed to delete '${objectName}' from Firestore: ${err}.`);
}

res.status(200).send(`Processed '${objectName}'.`);

এখন আমাদের Node স্ক্রিপ্টকে ইনকামিং অনুরোধ শোনার জন্য প্রস্তুত করতে হবে। এছাড়াও, প্রয়োজনীয় এনভায়রনমেন্ট ভেরিয়েবল সেট করা আছে কিনা তা চেক করুন:

app.listen(PORT, () => {
    if (!bucketThumbnails) throw new Error("BUCKET_THUMBNAILS not set");
    console.log(`Started service on port ${PORT}`);
});

৭. লোকাল নেটওয়ার্কে টেস্ট করুন

ক্লাউডে ডেপ্লয় করার আগে কোডটি কাজ করছে কিনা তা নিশ্চিত করতে স্থানীয়ভাবে পরীক্ষা করুন।

garbage-collector/nodejs ফোল্ডারের মধ্যে, npm ডিপেন্ডেন্সি ইনস্টল করুন এবং সার্ভার চালু করুন:

export BUCKET_THUMBNAILS=thumbnails-$GOOGLE_CLOUD_PROJECT

npm install; npm start

সবকিছু ঠিকঠাক থাকলে, এটি পোর্ট ৮০৮০-তে সার্ভার চালু করবে:

Started service on port 8080

বেরিয়ে আসতে CTRL-C ব্যবহার করুন।

৮. Cloud Run-এ তৈরি ও ডিপ্লয় করা

Cloud Run-এ ডিপ্লয় করার আগে, Cloud Run অঞ্চলকে কাজ করে এমন অঞ্চলগুলির মধ্যে একটিতে এবং প্ল্যাটফর্মকে managed-এ সেট করুন:

REGION=europe-west1
gcloud config set run/region $REGION
gcloud config set run/platform managed

কনফিগারেশন সেট করা আছে কিনা তা আপনি চেক করতে পারবেন:

gcloud config list

...
[run]
platform = managed
region = europe-west1

Cloud Build ব্যবহার করে ম্যানুয়ালি কন্টেনার ইমেজ তৈরি ও প্রকাশ করার পরিবর্তে, আপনি Google Cloud Buildpacks ব্যবহার করে কন্টেনার ইমেজ তৈরি করার জন্য Cloud Run-এর উপর নির্ভর করতে পারেন।

Google Cloud Buildpack ব্যবহার করে কন্টেনার ইমেজ তৈরি করতে এবং তারপর Cloud Run-এ কন্টেনার ইমেজ ডিপ্লয় করতে নিম্নলিখিত কমান্ড রান করুন:

SERVICE_NAME=garbage-collector-service

gcloud run deploy $SERVICE_NAME \
    --source . \
    --no-allow-unauthenticated \
    --update-env-vars BUCKET_THUMBNAILS=$BUCKET_THUMBNAILS

–-source ফ্ল্যাগটি লক্ষ্য করুন। এটি Dockerfile. ছাড়াই কন্টেনার ইমেজ তৈরি করতে Google Cloud Buildpacks ব্যবহার করার জন্য Cloud Run-কে ফ্ল্যাগ করে। --no-allow-unauthenticated ফ্ল্যাগটি Cloud Run পরিষেবাকে একটি ইন্টার্নাল পরিষেবা করে তোলে যা শুধুমাত্র নির্দিষ্ট পরিষেবা অ্যাকাউন্ট দ্বারা ট্রিগার করা হবে। পরে, আপনি ডিফল্ট কম্পিউট পরিষেবা অ্যাকাউন্টের মাধ্যমে একটি ট্রিগার তৈরি করবেন যার ইন্টার্নাল Cloud Run পরিষেবা কল করার জন্য run.invoker ভূমিকা আছে।

৯. ট্রিগার তৈরি করুন

Eventarc-এ, ট্রিগার নির্ধারণ করে যে কোন পরিষেবা কোন ধরনের ইভেন্ট পাবে। এই ক্ষেত্রে, আপনি চান যে কোনও বাকেটে ফাইল মুছে ফেলা হলে পরিষেবাটি ইভেন্ট গ্রহণ করুক।

আপলোড করা ছবির বাকেটের মতো একই অঞ্চলে ট্রিগারের লোকেশন সেট করুন:

gcloud config set eventarc/location eu

storage.objects.delete ইভেন্ট ফিল্টার করতে এবং Cloud Run পরিষেবায় পাঠাতে একটি AuditLog ট্রিগার তৈরি করুন:

BUCKET_IMAGES=uploaded-pictures-$GOOGLE_CLOUD_PROJECT

gcloud eventarc triggers create trigger-$SERVICE_NAME \
  --destination-run-service=$SERVICE_NAME \
  --destination-run-region=$REGION \
  --event-filters="type=google.cloud.storage.object.v1.deleted" \
  --event-filters="bucket=$BUCKET_IMAGES" \
  --service-account=$PROJECT_NUMBER-compute@developer.gserviceaccount.com

এই কমান্ডের মাধ্যমে ট্রিগার তৈরি করা হয়েছে কিনা তা আপনি ডবল-চেক করতে পারবেন:

gcloud eventarc triggers list

১০. পরিষেবা পরীক্ষা করুন

পরিষেবাটি কাজ করছে কিনা তা পরীক্ষা করতে, uploaded-pictures বাকেটে যান এবং ছবিগুলির একটি মুছে দিন। আপনি পরিষেবার লগে দেখতে পাবেন যে এটি thumbnails বাকেট থেকে প্রাসঙ্গিক ছবি মুছে দিয়েছে এবং pictures Firestore সংগ্রহ থেকে এর ডকুমেন্টও মুছে দিয়েছে।

519abf90e7ea4d12.png

১১. ক্লিন-আপ (ঐচ্ছিক)

আপনি যদি সিরিজের অন্যান্য ল্যাবগুলি চালিয়ে যেতে না চান, তাহলে খরচ বাঁচাতে এবং সামগ্রিকভাবে একজন ভালো ক্লাউড নাগরিক হতে আপনি রিসোর্সগুলি পরিষ্কার করতে পারেন। আপনি নিচে উল্লেখ করা পদ্ধতি অনুযায়ী আলাদা আলাদাভাবে রিসোর্স ক্লিন-আপ করতে পারবেন।

পরিষেবাটি মুছে দিন:

gcloud run services delete $SERVICE_NAME -q

Eventarc ট্রিগার মুছে দিন:

gcloud eventarc triggers delete trigger-$SERVICE_NAME -q

অন্যথায়, আপনি পুরো প্রোজেক্ট মুছে দিতে পারেন:

gcloud projects delete $GOOGLE_CLOUD_PROJECT

১২. অভিনন্দন!

অভিনন্দন! আপনি Cloud Run পরিষেবা, ইমেজ গার্বেজ কালেক্টর তৈরি করেছেন, যা Eventarc-এর মাধ্যমে ট্রিগার করা হয়। এটি Cloud Run-এ ইভেন্ট পাওয়ার জন্য একটি নতুন পরিষেবা। ছবি রাখার জায়গা থেকে কোনও ছবি মুছে দেওয়া হলে, পরিষেবাটি Eventarc থেকে একটি ইভেন্ট পায়। তারপর, এটি থাম্বনেল বাকেট থেকে ছবি মুছে দেয় এবং Firestore ছবির সংগ্রহ থেকেও এটি সরিয়ে দেয়।

আমরা কী কী কভার করেছি

  • Cloud Run
  • ক্লাউড স্টোরেজ
  • Cloud Firestore
  • Eventarc