‫Pic-a-daily: آزمایشگاه ۵—پاک‌سازی پس‌از حذف تصویر

۱. نمای کلی

در این code lab، سرویس Cloud Run جدیدی به نام image garbage collector ایجاد می‌کنید که توسط Eventarc، سرویس جدیدی برای دریافت رویدادها در Cloud Run، راه‌اندازی می‌شود. وقتی تصویری از سطل تصاویر حذف می‌شود، سرویس رویدادی را از Eventarc دریافت می‌کند. سپس، تصویر را از سطل ریزعکس‌ها حذف می‌کند و آن را از مجموعه تصاویر Firestore نیز برمی‌دارد.

d93345bfc235f81e.png

آنچه خواهید آموخت

  • Cloud Run
  • فضای ذخیره‌سازی ابری
  • Cloud Firestore
  • Eventarc

۲. راه‌اندازی و شرایط لازم

راه‌اندازی محیط با سرعت دلخواه

  1. به سیستم کنسول Google Cloud وارد شوید و پروژه جدیدی ایجاد کنید یا از پروژه موجودی دوباره استفاده کنید. اگر ازقبل حساب Gmail یا Google Workspace ندارید، باید حسابی ایجاد کنید.

96a9c957bc475304.pngb9a10ebdf5b5a448.pnga1e3c01a38fa61c2.png

  • نام پروژه نام نمایشی برای شرکت‌کنندگان این پروژه است. این رشته نویسه‌ای است که Google APIs از آن استفاده نمی‌کند و هرزمان بخواهید می‌توانید آن را به‌روز کنید.
  • شناسه پروژه باید در همه پروژه‌های Google Cloud یکتا باشد و تغییرناپذیر است (پس‌از تنظیم شدن نمی‌توان آن را تغییر داد). «کنسول Cloud» به‌طور خودکار یک رشته یکتا تولید می‌کند؛ معمولاً برایتان مهم نیست که این رشته چیست. در اکثر codelabها، باید به «شناسه پروژه» ارجاع دهید (و معمولاً به‌صورت PROJECT_ID شناسایی می‌شود)، بنابراین اگر آن را دوست ندارید، یک شناسه تصادفی دیگر تولید کنید، یا می‌توانید شناسه خودتان را امتحان کنید و ببینید دردسترس است یا نه. سپس بعداز ایجاد پروژه، «ثابت» می‌شود.
  • مقدار سومی هم وجود دارد، شماره پروژه که برخی‌از میاناهای برنامه‌سازی کاربردی از آن استفاده می‌کنند. در اسناد درباره هر سه مقدار بیشتر بدانید.
  1. سپس، برای استفاده از منابع/ میاناهای برنامه‌سازی کاربردی Cloud، باید صورت‌حساب را در Cloud Console فعال کنید. اجرای این codelab نباید هزینه زیادی داشته باشد، اگر اصلاً هزینه‌ای داشته باشد. برای خاموش کردن منابع به‌منظور جلوگیری از صدور صورت‌حساب فراتر از این آموزش، دستورالعمل‌های «پاک‌سازی» را که در پایان codelab آمده است دنبال کنید. کاربران جدید Google Cloud واجدشرایط برنامه دوره آزمایشی رایگان ۳۰۰ دلاری هستند.

شروع Cloud Shell

درحالی‌که Google Cloud را می‌توان از راه دور از رایانه کیفی شما اجرا کرد، در این codelab از Google Cloud Shell استفاده خواهید کرد که یک محیط خط فرمان است که در Cloud اجرا می‌شود.

از کنسول GCP، روی نماد Cloud Shell در نوار ابزار بالا سمت راست کلیک کنید:

bce75f34b2c53987.png

تأمین و اتصال به محیط فقط چند لحظه طول می‌کشد. وقتی تمام شد، باید چیزی شبیه به این ببینید:

f6ef2b5f13479f3a.png

این ماشین مجازی با همه ابزارهای توسعه‌ای که نیاز دارید بارگیری شده است. این ابزار یک دایرکتوری خانگی دائمی ۵ گیگابایتی ارائه می‌دهد و در Google Cloud اجرا می‌شود که عملکرد شبکه و اصالت‌سنجی را به‌طور قابل‌توجهی بهبود می‌بخشد. تمام کارهای شما در این آزمایشگاه را می‌توان به‌سادگی با یک مرورگر انجام داد.

۳. مقدمه‌ای بر Eventarc

Eventarc اتصال سرویس‌های Cloud Run به رویدادها از منابع مختلف را آسان می‌کند. این سرویس جذب، ارسال، امنیت، صدور مجوز، و رسیدگی به خطای رویداد را برای شما انجام می‌دهد.

776ed63706ca9683.png

می‌توانید رویدادها را از منابع Google Cloud و برنامه‌های سفارشی منتشرشده در Cloud Pub/Sub دریافت کنید و آن‌ها را به سینک‌های Google Cloud Run تحویل دهید.

رویدادهای طیف وسیعی از منابع Google Cloud ازطریق Cloud Audit Logs ارائه می‌شوند. تأخیر و دردسترس بودن ارسال رویداد از این منابع به تأخیر و دردسترس بودن Cloud Audit Logs وابسته است. هرگاه رویدادی از منبع Google Cloud راه‌اندازی شود، ورودی «گزارش ممیزی ابری» مربوطه ایجاد می‌شود.

برنامه‌های سفارشی که در Cloud Pub/Sub منتشر می‌شوند می‌توانند پیام‌ها را در موضوع Pub/Sub که در هر قالبی مشخص می‌کنند منتشر کنند.

راه‌اندازهای رویداد سازوکار فیلتر کردن برای مشخص کردن این است که کدام رویدادها به کدام سینک ارسال شود.

همه رویدادها در قالب CloudEvents v1.0 برای قابلیت همکاری بین سرویس‌ها ارائه می‌شوند.

۴. قبل‌از شروع

فعال کردن میاناهای برنامه‌سازی کاربردی

برای راه‌اندازی کردن سرویس Cloud Run به سرویس Eventarc نیاز دارید. مطمئن شوید فعال باشد:

gcloud services enable eventarc.googleapis.com

باید ببینید که عملیات باموفقیت به‌پایان می‌رسد:

Operation "operations/acf.5c5ef4f6-f734-455d-b2f0-ee70b5a17322" finished successfully.

پیکربندی حساب‌های سرویس

از حساب سرویس محاسباتی پیش‌فرض در راه‌اندازها استفاده خواهد شد. نقش eventarc.eventReceiver را به حساب سرویس محاسباتی پیش‌فرض اعطا کنید:

PROJECT_NUMBER=$(gcloud projects describe $GOOGLE_CLOUD_PROJECT --format='value(projectNumber)')

gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT \
    --member serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role roles/eventarc.eventReceiver

نقش pubsub.publisher را به حساب سرویس Cloud Storage اعطا کنید. این مورد برای راه‌انداز Eventarc Cloud Storage لازم است:

SERVICE_ACCOUNT=$(gsutil kms serviceaccount -p $PROJECT_NUMBER)

gcloud projects add-iam-policy-binding $PROJECT_NUMBER \
    --member serviceAccount:$SERVICE_ACCOUNT \
    --role roles/pubsub.publisher

اگر حساب سرویس Pub/Sub را در ۸ آوریل ۲۰۲۱ یا قبل‌از آن فعال کرده‌اید، نقش iam.serviceAccountTokenCreator را به حساب سرویس Pub/Sub اعطا کنید:

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member serviceAccount:service-$PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
  --role roles/iam.serviceAccountTokenCreator

۵. کلون کردن کد

اگر قبلاً در آزمایشگاه کد قبلی این کار را نکرده‌اید، کد را شبیه‌سازی کنید:

git clone https://github.com/GoogleCloudPlatform/serverless-photosharing-workshop

سپس می‌توانید به دایرکتوری حاوی سرویس بروید:

cd serverless-photosharing-workshop/services/garbage-collector/nodejs

چیدمان فایل زیر را برای سرویس خواهید داشت:

services
 |
 ├── garbage-collector
      |
      ├── nodejs
           |
           ├── index.js
           ├── package.json

درون پوشه، ۳ فایل دارید:

  • index.js حاوی کد Node.js است
  • ‫package.json وابستگی‌های کتابخانه را تعریف می‌کند

‫۶. کاوش کد

وابستگی‌ها

فایل package.json وابستگی‌های کتابخانه موردنیاز را تعریف می‌کند:

{
  "name": "garbage_collector_service",
  "version": "0.0.1",
  "main": "index.js",
  "scripts": {
    "start": "node index.js"
  },
  "dependencies": {
    "cloudevents": "^4.0.1",
    "express": "^4.17.1",
    "@google/events": "^3.1.0",
    "@google-cloud/firestore": "^4.9.9",
    "@google-cloud/storage": "^5.8.3"
  }
}

برای حذف تصاویر در Cloud Storage، به کتابخانه Cloud Storage وابسته هستیم. ما وابستگی به Cloud Firestore را اعلام می‌کنیم تا فراداده‌های تصویری را که قبلاً ذخیره کرده‌ایم نیز حذف کنیم. علاوه‌براین، برای خواندن CloudEvents ارسال‌شده توسط Eventarc، به CloudEvents SDK و کتابخانه‌های Google Events وابسته هستیم. ‫Express یک چارچوب وب جاوا اسکریپت / Node است. از Bluebird برای رسیدگی به وعده‌ها استفاده می‌شود.

index.js

بیایید نگاهی دقیق‌تر به کد index.js خود بیندازیم:

const express = require('express');
const {Storage} = require('@google-cloud/storage');
const Firestore = require('@google-cloud/firestore');
const { HTTP } = require("cloudevents");
const {toStorageObjectData} = require('@google/events/cloud/storage/v1/StorageObjectData');

ما به وابستگی‌های مختلفی نیاز داریم که برای اجرای برنامه ما لازم است: Express چارچوب وب Node است که از آن استفاده خواهیم کرد، Bluebird کتابخانه‌ای برای مدیریت وعده‌های JavaScript است، Storage و Firestore به‌ترتیب برای کار با Google Cloud Storage (دسته‌های تصاویر ما) و پایگاه داده Cloud Firestore هستند. علاوه‌براین، به CloudEvent نیاز داریم تا CloudEvent ارسال‌شده توسط Eventarc StoreObjectData را از کتابخانه Google Events بخواند تا بتواند بدنه رویداد Cloud Storage مربوط به CloudEvent را بخواند.

const app = express();
app.use(express.json());

app.post('/', async (req, res) => {
    try {
        const cloudEvent = HTTP.toEvent({ headers: req.headers, body: req.body });
        console.log(cloudEvent);


        /* ... */

    } catch (err) {
        console.log(`Error: ${err}`);
        res.status(500).send(err);
    }
});

در بالا، ساختار گرداننده Node را داریم: برنامه ما به درخواست‌های HTTP POST پاسخ می‌دهد. این تابع CloudEvent را از درخواست HTTP می‌خواند و ما کمی مدیریت خطا انجام می‌دهیم تا درصورت بروز مشکل، آن را برطرف کنیم. بیایید نگاهی به داخل این ساختار بیندازیم.

مرحله بعدی بازیابی و تجزیه بدنه CloudEvent و بازیابی نام شیء است:

const storageObjectData = toStorageObjectData(cloudEvent.data);
console.log(storageObjectData);

const objectName = storageObjectData.name;

وقتی نام تصویر را بدانیم، می‌توانیم آن را از سطل ریزعکس‌ها حذف کنیم:

try {
    await storage.bucket(bucketThumbnails).file(objectName).delete();
    console.log(`Deleted '${objectName}' from bucket '${bucketThumbnails}'.`);
}
catch(err) {
    console.log(`Failed to delete '${objectName}' from bucket '${bucketThumbnails}': ${err}.`);
}

به‌عنوان آخرین مرحله، فراداده تصویر را نیز از مجموعه Firestore حذف کنید:

try {
    const pictureStore = new Firestore().collection('pictures');
    const docRef = pictureStore.doc(objectName);
    await docRef.delete();

    console.log(`Deleted '${objectName}' from Firestore collection 'pictures'`);
}
catch(err) {
    console.log(`Failed to delete '${objectName}' from Firestore: ${err}.`);
}

res.status(200).send(`Processed '${objectName}'.`);

اکنون زمان آن است که اسکریپت Node ما به درخواست‌های ورودی گوش دهد. همچنین بررسی کنید که متغیرهای محیطی لازم تنظیم شده باشند:

app.listen(PORT, () => {
    if (!bucketThumbnails) throw new Error("BUCKET_THUMBNAILS not set");
    console.log(`Started service on port ${PORT}`);
});

‫۷. آزمایش محلی

کد را به‌صورت محلی آزمایش کنید تا مطمئن شوید قبل‌از استقرار در فضای ابری کار می‌کند.

در پوشه garbage-collector/nodejs، وابستگی‌های npm را نصب کنید و سرور را راه‌اندازی کنید:

export BUCKET_THUMBNAILS=thumbnails-$GOOGLE_CLOUD_PROJECT

npm install; npm start

اگر همه‌چیز خوب پیش رفت، باید سرور را در درگاه ۸۰۸۰ راه‌اندازی کند:

Started service on port 8080

برای خارج شدن، از CTRL-C استفاده کنید.

‫۸. ساختن و مستقر کردن در Cloud Run

قبل‌از مستقر کردن در Cloud Run، منطقه Cloud Run را روی یکی از مناطق پشتیبانی‌شده و پلاتفرم را روی managed تنظیم کنید:

REGION=europe-west1
gcloud config set run/region $REGION
gcloud config set run/platform managed

می‌توانید بررسی کنید که پیکربندی تنظیم شده باشد:

gcloud config list

...
[run]
platform = managed
region = europe-west1

به‌جای ساختن و منتشر کردن تصویر کانتینر بااستفاده از Cloud Build به‌صورت دستی، می‌توانید به Cloud Run نیز تکیه کنید تا تصویر کانتینر را بااستفاده از Google Cloud Buildpacks برای شما بسازد.

فرمان زیر را اجرا کنید تا تصویر محتوی را بااستفاده از Google Cloud Buildpack بسازید و سپس تصویر محتوی را در Cloud Run مستقر کنید:

SERVICE_NAME=garbage-collector-service

gcloud run deploy $SERVICE_NAME \
    --source . \
    --no-allow-unauthenticated \
    --update-env-vars BUCKET_THUMBNAILS=$BUCKET_THUMBNAILS

به پرچم –-source توجه کنید. این پرچم Cloud Run را برای استفاده از Google Cloud Buildpacks برای ساختن تصویر کانتینر بدون Dockerfile. پرچم --no-allow-unauthenticated سرویس Cloud Run را به سرویس داخلی تبدیل می‌کند که فقط توسط حساب‌های سرویس خاصی راه‌اندازی می‌شود. بعداً، «راه‌اندازی» با حساب سرویس رایانش پیش‌فرض ایجاد خواهید کرد که نقش run.invoker را برای فراخوانی سرویس‌های داخلی Cloud Run دارد.

‫۹. ایجاد راه‌انداز

در Eventarc، «راه‌انداز» مشخص می‌کند که کدام سرویس باید چه نوع رویدادهایی را دریافت کند. در این مورد، می‌خواهید وقتی فایلی در سطل حذف می‌شود، سرویس رویدادها را دریافت کند.

مکان «راه‌انداز» را در همان منطقه‌ای تنظیم کنید که سطل تصاویر بارگذاری‌شده قرار دارد:

gcloud config set eventarc/location eu

راه‌انداز AuditLog ایجاد کنید تا رویدادهای storage.objects.delete را فیلتر کند و به سرویس Cloud Run ارسال کند:

BUCKET_IMAGES=uploaded-pictures-$GOOGLE_CLOUD_PROJECT

gcloud eventarc triggers create trigger-$SERVICE_NAME \
  --destination-run-service=$SERVICE_NAME \
  --destination-run-region=$REGION \
  --event-filters="type=google.cloud.storage.object.v1.deleted" \
  --event-filters="bucket=$BUCKET_IMAGES" \
  --service-account=$PROJECT_NUMBER-compute@developer.gserviceaccount.com

با این فرمان می‌توانید دوباره‌سنجی کنید که «راه‌انداز» ایجاد شده است:

gcloud eventarc triggers list

‫۱۰. آزمایش سرویس

برای آزمایش اینکه آیا سرویس کار می‌کند یا نه، به سطل uploaded-pictures بروید و یکی از عکس‌ها را حذف کنید. باید در گزارش‌های سرویس ببینید که تصویر مربوطه را در سطل thumbnails حذف کرده است و همچنین سند آن را از مجموعه Firestore pictures حذف کرده است.

519abf90e7ea4d12.png

‫۱۱. پاک‌سازی (اختیاری)

اگر قصد ندارید سایر آزمایشگاه‌های این مجموعه را ادامه دهید، می‌توانید منابع را پاک‌سازی کنید تا در هزینه‌ها صرفه‌جویی کنید و به‌طور کلی شهروند ابری خوبی باشید. می‌توانید منابع را به‌صورت جداگانه به‌شرح زیر پاک کنید.

سرویس را حذف کنید:

gcloud run services delete $SERVICE_NAME -q

راه‌انداز Eventarc را حذف کنید:

gcloud eventarc triggers delete trigger-$SERVICE_NAME -q

یا می‌توانید کل پروژه را حذف کنید:

gcloud projects delete $GOOGLE_CLOUD_PROJECT

‫۱۲. تبریک!

تبریک! شما یک سرویس Cloud Run، جمع‌آوری‌کننده زباله تصویر، ایجاد کردید که توسط Eventarc، یک سرویس جدید برای دریافت رویدادها در Cloud Run، راه‌اندازی می‌شود. وقتی تصویری از سطل تصاویر حذف می‌شود، سرویس رویدادی را از Eventarc دریافت می‌کند. سپس، تصویر را از سطل ریزعکس‌ها حذف می‌کند و آن را از مجموعه تصاویر Firestore نیز برمی‌دارد.

آنچه پوشش دادیم

  • Cloud Run
  • فضای ذخیره‌سازی ابری
  • Cloud Firestore
  • Eventarc