Pic-a-daily: Lab 5 – Dọn dẹp sau khi xoá hình ảnh

1. Tổng quan

Trong lớp học lập trình này, bạn sẽ tạo một dịch vụ Cloud Run mới, trình thu thập rác hình ảnh, được kích hoạt bởi Eventarc, một dịch vụ mới để nhận sự kiện trong Cloud Run. Khi một bức ảnh bị xoá khỏi bộ chứa ảnh, dịch vụ sẽ nhận được một sự kiện từ Eventarc. Sau đó, hàm này sẽ xoá hình ảnh khỏi bộ chứa hình thu nhỏ và cũng xoá hình ảnh đó khỏi tập hợp ảnh Firestore.

d93345bfc235f81e.png

Kiến thức bạn sẽ học được

  • Cloud Run
  • Cloud Storage
  • Cloud Firestore
  • Eventarc

2. Thiết lập và yêu cầu

Thiết lập môi trường tự học

  1. Đăng nhập vào Google Cloud Console rồi tạo một dự án mới hoặc sử dụng lại một dự án hiện có. Nếu chưa có tài khoản Gmail hoặc Google Workspace, bạn phải tạo một tài khoản.

96a9c957bc475304.pngb9a10ebdf5b5a448.pnga1e3c01a38fa61c2.png

  • Tên dự án là tên hiển thị cho những người tham gia dự án này. Đây là một chuỗi ký tự không được các API của Google sử dụng và bạn có thể cập nhật chuỗi này bất cứ lúc nào.
  • Mã dự án phải là duy nhất trong tất cả các dự án trên đám mây của Google Cloud và không thể thay đổi (không thể thay đổi sau khi đã đặt). Cloud Console sẽ tự động tạo một chuỗi duy nhất; thường thì bạn không cần quan tâm đến chuỗi này. Trong hầu hết các lớp học lập trình, bạn sẽ cần tham chiếu Mã dự án (và mã này thường được xác định là PROJECT_ID), vì vậy, nếu không thích mã này, bạn có thể tạo một mã ngẫu nhiên khác hoặc bạn có thể thử mã của riêng mình và xem mã đó có sẵn hay không. Sau đó, phiên bản này sẽ bị "đóng băng" sau khi dự án được tạo.
  • Có một giá trị thứ ba, Số dự án, được một số API sử dụng. Tìm hiểu thêm về cả ba giá trị này trong tài liệu.
  1. Tiếp theo, bạn cần bật tính năng thanh toán trong Cloud Console để sử dụng các tài nguyên/API của Cloud. Bạn sẽ không tốn nhiều chi phí (nếu có) khi tham gia lớp học lập trình này. Để tắt các tài nguyên nhằm tránh phát sinh phí ngoài hướng dẫn này, hãy làm theo mọi hướng dẫn "dọn dẹp" ở cuối lớp học lập trình. Người dùng mới của Google Cloud đủ điều kiện tham gia chương trình Dùng thử miễn phí trị giá 300 USD.

Bắt đầu Cloud Shell

Mặc dù có thể vận hành Google Cloud từ xa bằng máy tính xách tay, nhưng trong lớp học lập trình này, bạn sẽ sử dụng Google Cloud Shell, một môi trường dòng lệnh chạy trên Cloud.

Trên Bảng điều khiển GCP, hãy nhấp vào biểu tượng Cloud Shell trên thanh công cụ trên cùng bên phải:

bce75f34b2c53987.png

Quá trình cấp phép và kết nối với môi trường chỉ mất vài phút. Khi quá trình này hoàn tất, bạn sẽ thấy kết quả như sau:

f6ef2b5f13479f3a.png

Máy ảo này được trang bị tất cả công cụ cho nhà phát triển mà bạn cần. Cloud Shell cung cấp thư mục gốc 5 GB cố định và chạy trên Google Cloud, giúp cải thiện đáng kể hiệu suất mạng và khả năng xác thực. Bạn có thể thực hiện tất cả công việc trong phòng thí nghiệm này chỉ bằng một trình duyệt.

3. Giới thiệu về Eventarc

Eventarc giúp bạn dễ dàng kết nối các dịch vụ Cloud Run với các sự kiện từ nhiều nguồn. Dịch vụ này sẽ xử lý việc nhập, phân phối, bảo mật, uỷ quyền và xử lý lỗi cho bạn.

776ed63706ca9683.png

Bạn có thể lấy sự kiện từ các nguồn trên Google Cloud và các ứng dụng tuỳ chỉnh xuất bản lên Cloud Pub/Sub, rồi phân phối các sự kiện đó đến bồn lưu trữ Google Cloud Run.

Các sự kiện từ nhiều nguồn trên Google Cloud được cung cấp thông qua Nhật ký kiểm tra trên đám mây. Độ trễ và khả năng cung cấp sự kiện từ các nguồn này gắn liền với độ trễ và khả năng cung cấp của Nhật ký kiểm tra trên đám mây. Bất cứ khi nào một sự kiện từ nguồn Google Cloud được kích hoạt, một mục nhập Nhật ký kiểm tra trên đám mây tương ứng sẽ được tạo.

Các ứng dụng tuỳ chỉnh phát hành lên Cloud Pub/Sub có thể phát hành thông báo đến một chủ đề Pub/Sub mà chúng chỉ định ở bất kỳ định dạng nào.

Trình kích hoạt sự kiện là cơ chế lọc để chỉ định sự kiện nào sẽ được phân phối đến bồn lưu trữ nào.

Tất cả sự kiện đều được phân phối ở định dạng CloudEvents v1.0 để có khả năng tương tác giữa các dịch vụ.

4. Trước khi bắt đầu

Bật API

Bạn sẽ cần dịch vụ Eventarc để kích hoạt dịch vụ Cloud Run. Hãy đảm bảo bạn đã bật tính năng này:

gcloud services enable eventarc.googleapis.com

Bạn sẽ thấy thao tác hoàn tất thành công:

Operation "operations/acf.5c5ef4f6-f734-455d-b2f0-ee70b5a17322" finished successfully.

Định cấu hình tài khoản dịch vụ

Tài khoản dịch vụ điện toán mặc định sẽ được dùng trong các điều kiện kích hoạt. Cấp vai trò eventarc.eventReceiver cho tài khoản dịch vụ điện toán mặc định:

PROJECT_NUMBER=$(gcloud projects describe $GOOGLE_CLOUD_PROJECT --format='value(projectNumber)')

gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT \
    --member serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role roles/eventarc.eventReceiver

Cấp vai trò pubsub.publisher cho tài khoản dịch vụ Cloud Storage. Bạn cần có quyền này để kích hoạt trình kích hoạt Eventarc Cloud Storage:

SERVICE_ACCOUNT=$(gsutil kms serviceaccount -p $PROJECT_NUMBER)

gcloud projects add-iam-policy-binding $PROJECT_NUMBER \
    --member serviceAccount:$SERVICE_ACCOUNT \
    --role roles/pubsub.publisher

Nếu bạn đã bật tài khoản dịch vụ Pub/Sub vào hoặc trước ngày 8 tháng 4 năm 2021, hãy cấp vai trò iam.serviceAccountTokenCreator cho tài khoản dịch vụ Pub/Sub:

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member serviceAccount:service-$PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
  --role roles/iam.serviceAccountTokenCreator

5. Sao chép mã

Sao chép mã nếu bạn chưa thực hiện trong lớp học lập trình trước:

git clone https://github.com/GoogleCloudPlatform/serverless-photosharing-workshop

Sau đó, bạn có thể chuyển đến thư mục chứa dịch vụ:

cd serverless-photosharing-workshop/services/garbage-collector/nodejs

Bạn sẽ có bố cục tệp sau đây cho dịch vụ:

services
 |
 ├── garbage-collector
      |
      ├── nodejs
           |
           ├── index.js
           ├── package.json

Bên trong thư mục, bạn có 3 tệp:

  • index.js chứa mã Node.js
  • package.json xác định các phần phụ thuộc thư viện

6. Tìm hiểu mã

Phần phụ thuộc

Tệp package.json xác định các phần phụ thuộc thư viện cần thiết:

{
  "name": "garbage_collector_service",
  "version": "0.0.1",
  "main": "index.js",
  "scripts": {
    "start": "node index.js"
  },
  "dependencies": {
    "cloudevents": "^4.0.1",
    "express": "^4.17.1",
    "@google/events": "^3.1.0",
    "@google-cloud/firestore": "^4.9.9",
    "@google-cloud/storage": "^5.8.3"
  }
}

Chúng ta phụ thuộc vào thư viện Cloud Storage để xoá hình ảnh trong Cloud Storage. Chúng ta khai báo phần phụ thuộc trên Cloud Firestore để xoá cả siêu dữ liệu hình ảnh mà chúng ta đã lưu trữ trước đó. Ngoài ra, chúng tôi còn dựa vào SDK CloudEvents và thư viện Google Events để đọc CloudEvents do Eventarc gửi. Express là một khung web JavaScript/Node. Bluebird được dùng để xử lý lời hứa.

index.js

Hãy xem kỹ hơn mã index.js của chúng ta:

const express = require('express');
const {Storage} = require('@google-cloud/storage');
const Firestore = require('@google-cloud/firestore');
const { HTTP } = require("cloudevents");
const {toStorageObjectData} = require('@google/events/cloud/storage/v1/StorageObjectData');

Chúng ta cần nhiều phần phụ thuộc để chạy chương trình: Express là khung web Node mà chúng ta sẽ sử dụng, Bluebird là thư viện để xử lý các lời hứa JavaScript, Storage và Firestore lần lượt dùng để làm việc với Google Cloud Storage (các bộ chứa hình ảnh của chúng ta) và kho dữ liệu Cloud Firestore. Ngoài ra, chúng ta cần CloudEvent để đọc CloudEvent do Eventarc StoreObjectData gửi từ thư viện Google Events để đọc nội dung sự kiện Cloud Storage của CloudEvent.

const app = express();
app.use(express.json());

app.post('/', async (req, res) => {
    try {
        const cloudEvent = HTTP.toEvent({ headers: req.headers, body: req.body });
        console.log(cloudEvent);


        /* ... */

    } catch (err) {
        console.log(`Error: ${err}`);
        res.status(500).send(err);
    }
});

Ở trên, chúng ta có cấu trúc của trình xử lý Node: ứng dụng của chúng ta phản hồi các yêu cầu POST HTTP. Hàm này đọc CloudEvent từ yêu cầu HTTP và chúng tôi đang xử lý một chút lỗi trong trường hợp xảy ra sự cố. Bây giờ, hãy cùng xem cấu trúc này có gì.

Bước tiếp theo là truy xuất và phân tích cú pháp nội dung CloudEvent, đồng thời truy xuất tên đối tượng:

const storageObjectData = toStorageObjectData(cloudEvent.data);
console.log(storageObjectData);

const objectName = storageObjectData.name;

Sau khi biết tên hình ảnh, chúng ta có thể xoá hình ảnh đó khỏi bộ chứa hình thu nhỏ:

try {
    await storage.bucket(bucketThumbnails).file(objectName).delete();
    console.log(`Deleted '${objectName}' from bucket '${bucketThumbnails}'.`);
}
catch(err) {
    console.log(`Failed to delete '${objectName}' from bucket '${bucketThumbnails}': ${err}.`);
}

Bước cuối cùng là xoá siêu dữ liệu hình ảnh khỏi tập hợp Firestore:

try {
    const pictureStore = new Firestore().collection('pictures');
    const docRef = pictureStore.doc(objectName);
    await docRef.delete();

    console.log(`Deleted '${objectName}' from Firestore collection 'pictures'`);
}
catch(err) {
    console.log(`Failed to delete '${objectName}' from Firestore: ${err}.`);
}

res.status(200).send(`Processed '${objectName}'.`);

Bây giờ, đã đến lúc làm cho tập lệnh Node của chúng ta lắng nghe các yêu cầu đến. Ngoài ra, hãy kiểm tra để đảm bảo bạn đã đặt các biến môi trường bắt buộc:

app.listen(PORT, () => {
    if (!bucketThumbnails) throw new Error("BUCKET_THUMBNAILS not set");
    console.log(`Started service on port ${PORT}`);
});

7. Kiểm thử cục bộ

Kiểm tra mã trên thiết bị để đảm bảo mã hoạt động trước khi triển khai lên đám mây.

Trong thư mục garbage-collector/nodejs, hãy cài đặt các phần phụ thuộc npm và khởi động máy chủ:

export BUCKET_THUMBNAILS=thumbnails-$GOOGLE_CLOUD_PROJECT

npm install; npm start

Nếu mọi thứ diễn ra suôn sẻ, máy chủ sẽ khởi động trên cổng 8080:

Started service on port 8080

Sử dụng CTRL-C để thoát.

8. Xây dựng và triển khai lên Cloud Run

Trước khi triển khai lên Cloud Run, hãy đặt khu vực Cloud Run thành một trong các khu vực được hỗ trợ và đặt nền tảng thành managed:

REGION=europe-west1
gcloud config set run/region $REGION
gcloud config set run/platform managed

Bạn có thể kiểm tra để đảm bảo cấu hình đã được thiết lập:

gcloud config list

...
[run]
platform = managed
region = europe-west1

Thay vì tạo và xuất bản hình ảnh vùng chứa bằng Cloud Build theo cách thủ công, bạn cũng có thể dựa vào Cloud Run để tạo hình ảnh vùng chứa cho bạn bằng Google Cloud Buildpacks.

Chạy lệnh sau để tạo hình ảnh vùng chứa bằng Google Cloud Buildpack, sau đó triển khai hình ảnh vùng chứa cho Cloud Run:

SERVICE_NAME=garbage-collector-service

gcloud run deploy $SERVICE_NAME \
    --source . \
    --no-allow-unauthenticated \
    --update-env-vars BUCKET_THUMBNAILS=$BUCKET_THUMBNAILS

Lưu ý cờ –-source. Cờ này yêu cầu Cloud Run sử dụng Google Cloud Buildpacks để tạo hình ảnh vùng chứa mà không cần Dockerfile. Cờ --no-allow-unauthenticated đặt dịch vụ Cloud Run thành một dịch vụ nội bộ chỉ được kích hoạt bởi các tài khoản dịch vụ cụ thể. Sau đó, bạn sẽ tạo một Trình kích hoạt bằng tài khoản dịch vụ mặc định của Compute Engine có vai trò run.invoker để gọi các dịch vụ Cloud Run nội bộ.

9. Tạo điều kiện kích hoạt

Trong Eventarc, một Trình kích hoạt xác định dịch vụ nào sẽ nhận được loại sự kiện nào. Trong trường hợp này, bạn muốn dịch vụ nhận được sự kiện khi một tệp bị xoá trong bộ chứa.

Đặt vị trí của Trình kích hoạt trong cùng khu vực với bộ chứa ảnh đã tải lên:

gcloud config set eventarc/location eu

Tạo một điều kiện kích hoạt AuditLog để lọc các sự kiện storage.objects.delete và gửi đến dịch vụ Cloud Run:

BUCKET_IMAGES=uploaded-pictures-$GOOGLE_CLOUD_PROJECT

gcloud eventarc triggers create trigger-$SERVICE_NAME \
  --destination-run-service=$SERVICE_NAME \
  --destination-run-region=$REGION \
  --event-filters="type=google.cloud.storage.object.v1.deleted" \
  --event-filters="bucket=$BUCKET_IMAGES" \
  --service-account=$PROJECT_NUMBER-compute@developer.gserviceaccount.com

Bạn có thể kiểm tra kỹ để đảm bảo rằng Trình kích hoạt được tạo bằng lệnh sau:

gcloud eventarc triggers list

10. Kiểm thử dịch vụ

Để kiểm tra xem dịch vụ có hoạt động hay không, hãy chuyển đến bộ chứa uploaded-pictures rồi xoá một trong các bức ảnh. Bạn sẽ thấy trong nhật ký của dịch vụ rằng dịch vụ đã xoá ảnh có liên quan trong bộ chứa thumbnails và cũng xoá tài liệu của ảnh đó khỏi tập hợp pictures Firestore.

519abf90e7ea4d12.png

11. Dọn dẹp (Không bắt buộc)

Nếu không định tiếp tục với các bài thực hành khác trong loạt bài này, bạn có thể dọn dẹp tài nguyên để tiết kiệm chi phí và trở thành một người dùng đám mây có trách nhiệm. Bạn có thể dọn dẹp từng tài nguyên như sau.

Xoá dịch vụ:

gcloud run services delete $SERVICE_NAME -q

Xoá điều kiện kích hoạt Eventarc:

gcloud eventarc triggers delete trigger-$SERVICE_NAME -q

Ngoài ra, bạn có thể xoá toàn bộ dự án:

gcloud projects delete $GOOGLE_CLOUD_PROJECT

12. Xin chúc mừng!

Xin chúc mừng! Bạn đã tạo một dịch vụ Cloud Run, trình thu thập rác hình ảnh, được kích hoạt bởi Eventarc, một dịch vụ mới để nhận sự kiện trong Cloud Run. Khi một bức ảnh bị xoá khỏi bộ chứa ảnh, dịch vụ sẽ nhận được một sự kiện từ Eventarc. Sau đó, hàm này sẽ xoá hình ảnh khỏi bộ chứa hình thu nhỏ và cũng xoá hình ảnh đó khỏi tập hợp ảnh Firestore.

Nội dung đã đề cập

  • Cloud Run
  • Cloud Storage
  • Cloud Firestore
  • Eventarc