1. ภาพรวม
ในโค้ดแล็บนี้ คุณจะสร้างบริการ Cloud Run ใหม่ ซึ่งก็คือเครื่องมือรวบรวมขยะรูปภาพที่จะทริกเกอร์โดย Eventarc ซึ่งเป็นบริการใหม่สำหรับการรับเหตุการณ์ใน Cloud Run เมื่อลบรูปภาพออกจากที่เก็บรูปภาพ บริการจะได้รับเหตุการณ์จาก Eventarc จากนั้นจะลบรูปภาพออกจากที่เก็บภาพขนาดย่อและนำออกจากคอลเล็กชันรูปภาพ Firestore ด้วย

สิ่งที่คุณจะได้เรียนรู้
- Cloud Run
- Cloud Storage
- Cloud Firestore
- Eventarc
2. การตั้งค่าและข้อกำหนด
การตั้งค่าสภาพแวดล้อมแบบเรียนรู้ด้วยตนเอง
- ลงชื่อเข้าใช้คอนโซล Google Cloud แล้วสร้างโปรเจ็กต์ใหม่หรือใช้โปรเจ็กต์ที่มีอยู่ซ้ำ หากยังไม่มีบัญชี Gmail หรือ Google Workspace คุณต้องสร้างบัญชี



- ชื่อโปรเจ็กต์คือชื่อที่แสดงสำหรับผู้เข้าร่วมของโปรเจ็กต์นี้ ซึ่งเป็นสตริงอักขระที่ Google APIs ไม่ได้ใช้ และคุณสามารถอัปเดตได้ทุกเมื่อ
- รหัสโปรเจ็กต์ต้องไม่ซ้ำกันในโปรเจ็กต์ Google Cloud ทั้งหมดและเปลี่ยนแปลงไม่ได้ (ไม่สามารถเปลี่ยนแปลงได้หลังจากตั้งค่าแล้ว) คอนโซล Cloud จะสร้างสตริงที่ไม่ซ้ำกันโดยอัตโนมัติ ซึ่งโดยปกติแล้วคุณจะไม่สนใจว่าสตริงนั้นคืออะไร ใน Codelab ส่วนใหญ่ คุณจะต้องอ้างอิงรหัสโปรเจ็กต์ (และโดยปกติจะระบุเป็น
PROJECT_ID) ดังนั้นหากไม่ชอบ คุณสามารถสร้างรหัสแบบสุ่มอีกรหัสหนึ่ง หรือจะลองใช้รหัสของคุณเองและดูว่าใช้ได้หรือไม่ก็ได้ จากนั้นระบบจะ "ตรึง" รหัสไว้หลังจากสร้างโปรเจ็กต์แล้ว - นอกจากนี้ยังมีค่าที่ 3 คือหมายเลขโปรเจ็กต์ ซึ่ง API บางรายการใช้ ดูข้อมูลเพิ่มเติมเกี่ยวกับค่าทั้ง 3 ค่านี้ได้ในเอกสารประกอบ
- ถัดไป คุณจะต้องเปิดใช้การเรียกเก็บเงินใน Cloud Console เพื่อใช้ทรัพยากร/API ของ Cloud การทำตาม Codelab นี้ไม่ควรมีค่าใช้จ่ายมากนัก (หากมี) หากต้องการปิดทรัพยากรเพื่อไม่ให้เกิดการเรียกเก็บเงินนอกเหนือจากบทแนะนำนี้ ให้ทำตามวิธีการ "ล้างข้อมูล" ที่ท้าย Codelab ผู้ใช้ใหม่ของ Google Cloud มีสิทธิ์เข้าร่วมโปรแกรมทดลองใช้ฟรีมูลค่า $300 USD
เริ่ม Cloud Shell
แม้ว่า Google Cloud จะทำงานจากระยะไกลจากแล็ปท็อปได้ แต่ใน Codelab นี้ คุณจะใช้ Google Cloud Shell ซึ่งเป็นสภาพแวดล้อมบรรทัดคำสั่งที่ทำงานในระบบคลาวด์
จากคอนโซล GCP ให้คลิกไอคอน Cloud Shell บนแถบเครื่องมือด้านขวาบน

การจัดสรรและเชื่อมต่อกับสภาพแวดล้อมจะใช้เวลาเพียงไม่นาน เมื่อดำเนินการเสร็จแล้ว คุณควรเห็นข้อความลักษณะนี้

เครื่องเสมือนนี้โหลดมาพร้อมกับเครื่องมือสำหรับนักพัฒนาซอฟต์แวร์ทั้งหมดที่คุณต้องการ โดยมีไดเรกทอรีหลักขนาด 5 GB แบบถาวร และทำงานบน Google Cloud ซึ่งช่วยเพิ่มประสิทธิภาพเครือข่ายและการตรวจสอบสิทธิ์ได้อย่างมาก คุณสามารถทำงานทั้งหมดในห้องทดลองนี้ได้โดยใช้เพียงเบราว์เซอร์
3. ข้อมูลเบื้องต้นเกี่ยวกับ Eventarc
Eventarc ช่วยให้เชื่อมต่อบริการ Cloud Run กับเหตุการณ์จากแหล่งที่มาต่างๆ ได้อย่างง่ายดาย โดยจะดูแลการนำเข้าเหตุการณ์ การนำส่ง ความปลอดภัย การให้สิทธิ์ และการจัดการข้อผิดพลาดให้คุณ

คุณสามารถดึงเหตุการณ์จากแหล่งที่มาของ Google Cloud และแอปพลิเคชันที่กำหนดเองซึ่งเผยแพร่ไปยัง Cloud Pub/Sub และส่งไปยังซิงก์ Google Cloud Run ได้
ระบบจะส่งเหตุการณ์จากแหล่งที่มาต่างๆ ของ Google Cloud ผ่านบันทึกการตรวจสอบของ Cloud เวลาในการตอบสนองและความพร้อมใช้งานของการส่งเหตุการณ์จากแหล่งที่มาเหล่านี้จะเชื่อมโยงกับบันทึกการตรวจสอบระบบคลาวด์ เมื่อใดก็ตามที่มีการเริ่มเหตุการณ์จากแหล่งที่มาของ Google Cloud ระบบจะสร้างรายการบันทึกการตรวจสอบของ Cloud ที่เกี่ยวข้อง
แอปพลิเคชันที่กำหนดเองซึ่งเผยแพร่ไปยัง Cloud Pub/Sub สามารถเผยแพร่ข้อความไปยังหัวข้อ Pub/Sub ที่ระบุในรูปแบบใดก็ได้
ทริกเกอร์เหตุการณ์เป็นกลไกการกรองเพื่อระบุเหตุการณ์ที่จะส่งไปยังซิงก์ใด
ระบบจะส่งเหตุการณ์ทั้งหมดในรูปแบบ CloudEvents v1.0 เพื่อให้สามารถทำงานร่วมกันข้ามบริการได้
4. ก่อนเริ่มต้น
เปิดใช้ API
คุณจะต้องมีบริการ Eventarc เพื่อทริกเกอร์บริการ Cloud Run ตรวจสอบว่าเปิดใช้แล้วโดยทำดังนี้
gcloud services enable eventarc.googleapis.com
คุณควรเห็นการดำเนินการเสร็จสมบูรณ์ ดังนี้
Operation "operations/acf.5c5ef4f6-f734-455d-b2f0-ee70b5a17322" finished successfully.
กำหนดค่าบัญชีบริการ
ระบบจะใช้บัญชีบริการ Compute เริ่มต้นในทริกเกอร์ มอบบทบาท eventarc.eventReceiver ให้กับบัญชีบริการ Compute เริ่มต้น โดยทำดังนี้
PROJECT_NUMBER=$(gcloud projects describe $GOOGLE_CLOUD_PROJECT --format='value(projectNumber)')
gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT \
--member serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \
--role roles/eventarc.eventReceiver
มอบบทบาท pubsub.publisher ให้กับบัญชีบริการ Cloud Storage ซึ่งจำเป็นสำหรับทริกเกอร์ Eventarc Cloud Storage ดังนี้
SERVICE_ACCOUNT=$(gsutil kms serviceaccount -p $PROJECT_NUMBER)
gcloud projects add-iam-policy-binding $PROJECT_NUMBER \
--member serviceAccount:$SERVICE_ACCOUNT \
--role roles/pubsub.publisher
หากคุณเปิดใช้บัญชีบริการ Pub/Sub ในวันที่ 8 เมษายน 2021 หรือก่อนหน้านั้น ให้มอบบทบาท iam.serviceAccountTokenCreator แก่บัญชีบริการ Pub/Sub โดยทำดังนี้
gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:service-$PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \ --role roles/iam.serviceAccountTokenCreator
5. โคลนโค้ด
โคลนโค้ด หากคุณยังไม่ได้ดำเนินการใน Code Lab ก่อนหน้า
git clone https://github.com/GoogleCloudPlatform/serverless-photosharing-workshop
จากนั้นคุณจะไปที่ไดเรกทอรีที่มีบริการได้โดยทำดังนี้
cd serverless-photosharing-workshop/services/garbage-collector/nodejs
คุณจะมีเลย์เอาต์ไฟล์ต่อไปนี้สำหรับบริการ
services
|
├── garbage-collector
|
├── nodejs
|
├── index.js
├── package.json
ภายในโฟลเดอร์ คุณมีไฟล์ 3 ไฟล์ ดังนี้
index.jsมีโค้ด Node.jspackage.jsonกำหนดทรัพยากร Dependency ของไลบรารี
6. สำรวจโค้ด
ทรัพยากร Dependency
ไฟล์ package.json จะกำหนดทรัพยากร Dependency ของไลบรารีที่จำเป็น ดังนี้
{
"name": "garbage_collector_service",
"version": "0.0.1",
"main": "index.js",
"scripts": {
"start": "node index.js"
},
"dependencies": {
"cloudevents": "^4.0.1",
"express": "^4.17.1",
"@google/events": "^3.1.0",
"@google-cloud/firestore": "^4.9.9",
"@google-cloud/storage": "^5.8.3"
}
}
เราใช้ไลบรารี Cloud Storage เพื่อลบรูปภาพภายใน Cloud Storage เราประกาศทรัพยากร Dependency ใน Cloud Firestore เพื่อลบข้อมูลเมตาของรูปภาพที่เราจัดเก็บไว้ก่อนหน้านี้ด้วย นอกจากนี้ เรายังใช้ไลบรารี CloudEvents SDK และ Google Events เพื่ออ่าน CloudEvents ที่ Eventarc ส่งมาด้วย Express เป็นเฟรมเวิร์กเว็บ JavaScript/Node Bluebird ใช้สำหรับจัดการ Promise
index.js
มาดูโค้ด index.js กันอย่างละเอียด
const express = require('express');
const {Storage} = require('@google-cloud/storage');
const Firestore = require('@google-cloud/firestore');
const { HTTP } = require("cloudevents");
const {toStorageObjectData} = require('@google/events/cloud/storage/v1/StorageObjectData');
เราต้องการทรัพยากร Dependency ต่างๆ ที่จำเป็นสำหรับการเรียกใช้โปรแกรมของเรา โดย Express เป็นเฟรมเวิร์กเว็บ Node ที่เราจะใช้, Bluebird เป็นไลบรารีสำหรับจัดการ Promise ของ JavaScript, Storage และ Firestore มีไว้สำหรับการทำงานร่วมกับ Google Cloud Storage (ที่เก็บรูปภาพของเรา) และ Datastore ของ Cloud Firestore ตามลำดับ นอกจากนี้ เรายังต้องใช้ CloudEvent เพื่ออ่าน CloudEvent ที่ส่งโดย Eventarc StoreObjectData จากไลบรารี Google Events เพื่ออ่านเนื้อหาเหตุการณ์ Cloud Storage ของ CloudEvent
const app = express();
app.use(express.json());
app.post('/', async (req, res) => {
try {
const cloudEvent = HTTP.toEvent({ headers: req.headers, body: req.body });
console.log(cloudEvent);
/* ... */
} catch (err) {
console.log(`Error: ${err}`);
res.status(500).send(err);
}
});
ด้านบนคือโครงสร้างของแฮนเดิล Node โดยแอปของเราจะตอบสนองต่อคำขอ HTTP POST โดยจะอ่าน CloudEvent จากคำขอ HTTP และเราจะจัดการข้อผิดพลาดเล็กน้อยในกรณีที่เกิดข้อผิดพลาด ตอนนี้มาดูกันว่ามีอะไรอยู่ภายในโครงสร้างนี้บ้าง
ขั้นตอนถัดไปคือการดึงข้อมูลและแยกวิเคราะห์เนื้อหา CloudEvent และดึงชื่อออบเจ็กต์
const storageObjectData = toStorageObjectData(cloudEvent.data);
console.log(storageObjectData);
const objectName = storageObjectData.name;
เมื่อทราบชื่อรูปภาพแล้ว เราจะลบรูปภาพนั้นออกจากที่เก็บภาพขนาดย่อได้โดยทำดังนี้
try {
await storage.bucket(bucketThumbnails).file(objectName).delete();
console.log(`Deleted '${objectName}' from bucket '${bucketThumbnails}'.`);
}
catch(err) {
console.log(`Failed to delete '${objectName}' from bucket '${bucketThumbnails}': ${err}.`);
}
ขั้นตอนสุดท้าย ให้ลบข้อมูลเมตาของรูปภาพออกจากคอลเล็กชัน Firestore ด้วย โดยทำดังนี้
try {
const pictureStore = new Firestore().collection('pictures');
const docRef = pictureStore.doc(objectName);
await docRef.delete();
console.log(`Deleted '${objectName}' from Firestore collection 'pictures'`);
}
catch(err) {
console.log(`Failed to delete '${objectName}' from Firestore: ${err}.`);
}
res.status(200).send(`Processed '${objectName}'.`);
ตอนนี้ก็ถึงเวลาทำให้สคริปต์ Node ฟังคำขอที่เข้ามา นอกจากนี้ ให้ตรวจสอบว่าได้ตั้งค่าตัวแปรสภาพแวดล้อมที่จำเป็นแล้ว ดังนี้
app.listen(PORT, () => {
if (!bucketThumbnails) throw new Error("BUCKET_THUMBNAILS not set");
console.log(`Started service on port ${PORT}`);
});
7. ทดสอบในเครื่อง
ทดสอบโค้ดในเครื่องเพื่อให้แน่ใจว่าโค้ดทำงานได้ก่อนที่จะนำไปใช้ในระบบคลาวด์
ภายในโฟลเดอร์ garbage-collector/nodejs ให้ติดตั้งทรัพยากร Dependency ของ npm และเริ่มเซิร์ฟเวอร์โดยทำดังนี้
export BUCKET_THUMBNAILS=thumbnails-$GOOGLE_CLOUD_PROJECT npm install; npm start
หากทุกอย่างเป็นไปด้วยดี เซิร์ฟเวอร์ควรเริ่มทำงานบนพอร์ต 8080 ดังนี้
Started service on port 8080
ใช้ CTRL-C เพื่อออก
8. สร้างและทำให้ใช้งานได้กับ Cloud Run
ก่อนทำให้ใช้งานได้กับ Cloud Run ให้ตั้งค่าภูมิภาค Cloud Run เป็นภูมิภาคที่รองรับภูมิภาคใดภูมิภาคหนึ่ง และตั้งค่าแพลตฟอร์มเป็น managed โดยทำดังนี้
REGION=europe-west1 gcloud config set run/region $REGION gcloud config set run/platform managed
คุณตรวจสอบได้ว่ามีการกำหนดค่าแล้วโดยทำดังนี้
gcloud config list ... [run] platform = managed region = europe-west1
แทนที่จะสร้างและเผยแพร่อิมเมจคอนเทนเนอร์โดยใช้ Cloud Build ด้วยตนเอง คุณยังใช้ Cloud Run เพื่อสร้างอิมเมจคอนเทนเนอร์ให้คุณโดยใช้ Google Cloud Buildpacks ได้ด้วย
เรียกใช้คำสั่งต่อไปนี้เพื่อสร้างอิมเมจคอนเทนเนอร์โดยใช้ Google Cloud Buildpack แล้วติดตั้งใช้งานอิมเมจคอนเทนเนอร์ใน Cloud Run
SERVICE_NAME=garbage-collector-service
gcloud run deploy $SERVICE_NAME \
--source . \
--no-allow-unauthenticated \
--update-env-vars BUCKET_THUMBNAILS=$BUCKET_THUMBNAILS
โปรดสังเกตธง –-source ซึ่งจะแจ้งให้ Cloud Run ใช้ Google Cloud Buildpacks เพื่อสร้างอิมเมจคอนเทนเนอร์โดยไม่มี Dockerfile. แฟล็ก --no-allow-unauthenticated จะทำให้บริการ Cloud Run เป็นบริการภายในที่จะทริกเกอร์โดยบัญชีบริการที่เฉพาะเจาะจงเท่านั้น หลังจากนั้น คุณจะสร้างทริกเกอร์ด้วยบัญชีบริการ Compute เริ่มต้นที่มีบทบาท run.invoker เพื่อเรียกใช้บริการ Cloud Run ภายใน
9. สร้างทริกเกอร์
ใน Eventarc ทริกเกอร์จะกำหนดว่าบริการใดควรได้รับเหตุการณ์ประเภทใด ในกรณีนี้ คุณต้องการให้บริการรับเหตุการณ์เมื่อมีการลบไฟล์ในที่เก็บข้อมูล
ตั้งค่าตำแหน่งของทริกเกอร์ในภูมิภาคเดียวกับที่เก็บรูปภาพที่อัปโหลด ดังนี้
gcloud config set eventarc/location eu
สร้างทริกเกอร์ AuditLog เพื่อกรองเหตุการณ์ storage.objects.delete และส่งไปยังบริการ Cloud Run โดยทำดังนี้
BUCKET_IMAGES=uploaded-pictures-$GOOGLE_CLOUD_PROJECT gcloud eventarc triggers create trigger-$SERVICE_NAME \ --destination-run-service=$SERVICE_NAME \ --destination-run-region=$REGION \ --event-filters="type=google.cloud.storage.object.v1.deleted" \ --event-filters="bucket=$BUCKET_IMAGES" \ --service-account=$PROJECT_NUMBER-compute@developer.gserviceaccount.com
คุณสามารถตรวจสอบอีกครั้งว่ามีการสร้างทริกเกอร์ด้วยคำสั่งนี้หรือไม่
gcloud eventarc triggers list
10. ทดสอบบริการ
หากต้องการทดสอบว่าบริการทำงานอยู่หรือไม่ ให้ไปที่ที่เก็บข้อมูล uploaded-pictures แล้วลบรูปภาพ 1 รูป คุณควรเห็นในบันทึกของบริการว่าได้ลบรูปภาพที่เกี่ยวข้องในที่เก็บข้อมูล thumbnails และลบเอกสารออกจากคอลเล็กชัน Firestore pictures ด้วย

11. ล้างข้อมูล (ไม่บังคับ)
หากคุณไม่ต้องการทำห้องปฏิบัติการอื่นๆ ในชุดนี้ต่อ คุณสามารถล้างทรัพยากรเพื่อประหยัดค่าใช้จ่ายและเป็นผู้ใช้ระบบคลาวด์ที่ดีโดยรวมได้ คุณล้างทรัพยากรแต่ละรายการได้ดังนี้
วิธีลบบริการ
gcloud run services delete $SERVICE_NAME -q
ลบทริกเกอร์ Eventarc โดยทำดังนี้
gcloud eventarc triggers delete trigger-$SERVICE_NAME -q
หรือจะลบทั้งโปรเจ็กต์ก็ได้ โดยทำดังนี้
gcloud projects delete $GOOGLE_CLOUD_PROJECT
12. ยินดีด้วย
ยินดีด้วย คุณได้สร้างบริการ Cloud Run ซึ่งเป็นตัวรวบรวมขยะรูปภาพที่ทริกเกอร์โดย Eventarc ซึ่งเป็นบริการใหม่สำหรับการรับเหตุการณ์ใน Cloud Run เมื่อลบรูปภาพออกจากที่เก็บรูปภาพ บริการจะได้รับเหตุการณ์จาก Eventarc จากนั้นจะลบรูปภาพออกจากที่เก็บภาพขนาดย่อและนำออกจากคอลเล็กชันรูปภาพ Firestore ด้วย
สิ่งที่เราได้พูดถึงไปแล้ว
- Cloud Run
- Cloud Storage
- Cloud Firestore
- Eventarc