1. סקירה כללית
ב-Codelab הזה תיצרו שירות חדש ב-Cloud Run, איסוף אשפה של קובצי אימג', שיופעל על ידי Eventarc, שירות חדש לקבלת אירועים ב-Cloud Run. כשמוחקים תמונה מקטגוריית התמונות, השירות מקבל אירוע מ-Eventarc. לאחר מכן, היא מוחקת את התמונה מהקטגוריה של התמונות הממוזערות וגם מסירה אותה מאוסף התמונות ב-Firestore.

מה תלמדו
- Cloud Run
- Cloud Storage
- Cloud Firestore
- Eventarc
2. הגדרה ודרישות
הגדרת סביבה בקצב אישי
- נכנסים למסוף Google Cloud ויוצרים פרויקט חדש או משתמשים בפרויקט קיים. אם עדיין אין לכם חשבון Gmail או Google Workspace, אתם צריכים ליצור חשבון.



- שם הפרויקט הוא השם שמוצג למשתתפים בפרויקט. זוהי מחרוזת תווים שלא משמשת את Google APIs, ואפשר לעדכן אותה בכל שלב.
- מזהה הפרויקט חייב להיות ייחודי בכל הפרויקטים ב-Google Cloud, ואי אפשר לשנות אותו אחרי שהוא הוגדר. מסוף Cloud יוצר באופן אוטומטי מחרוזת ייחודית. בדרך כלל לא משנה מה היא. ברוב ה-Codelabs תצטרכו להפנות למזהה הפרויקט (בדרך כלל הוא מזוהה בתור
PROJECT_ID), אז אם אתם לא אוהבים אותו, אתם יכולים ליצור עוד אחד אקראי, או לנסות ליצור אחד משלכם ולבדוק אם הוא זמין. אחרי שיוצרים את הפרויקט, הערך הזה "מוקפא". - יש ערך שלישי, מספר פרויקט, שמשמש בחלק מממשקי ה-API. מידע נוסף על שלושת הערכים האלה זמין במסמכי התיעוד.
- בשלב הבא, תצטרכו להפעיל את החיוב במסוף Cloud כדי להשתמש במשאבים או בממשקי ה-API של Cloud. ההרצה של ה-Codelab הזה לא אמורה לעלות הרבה, אם בכלל. כדי להשבית משאבים כדי שלא תצברו חיובים מעבר ל-Codelab הזה, צריך לפעול לפי ההוראות ל"ניקוי" בסוף ה-Codelab. משתמשים חדשים ב-Google Cloud זכאים לתוכנית תקופת ניסיון בחינם בשווי 300$.
הפעלת Cloud Shell
אפשר להפעיל את Google Cloud מרחוק מהמחשב הנייד, אבל ב-Codelab הזה תשתמשו ב-Google Cloud Shell, סביבה של שורת פקודה שפועלת ב-Cloud.
במסוף GCP, לוחצים על הסמל של Cloud Shell בסרגל הכלים שבפינה הימנית העליונה:

ההקצאה והחיבור לסביבה אמורים להימשך רק כמה רגעים. בסיום התהליך, אמור להופיע משהו כזה:

המכונה הווירטואלית הזו כוללת את כל הכלים למפתחים שתצטרכו. יש בה ספריית בית בנפח מתמיד של 5GB והיא פועלת ב-Google Cloud, מה שמשפר מאוד את ביצועי הרשת והאימות. את כל העבודה ב-Lab הזה אפשר לעשות פשוט באמצעות דפדפן.
3. מבוא ל-Eventarc
בעזרת Eventarc אפשר לקשר בקלות בין שירותי Cloud Run לבין אירועים ממגוון מקורות. הוא מטפל בהטמעה, בשליחה, באבטחה, בהרשאה ובטיפול בשגיאות של אירועים.

אתם יכולים למשוך אירועים ממקורות ב-Google Cloud ומאפליקציות בהתאמה אישית שמפרסמות ב-Cloud Pub/Sub, ולהעביר אותם לכיורים של Google Cloud Run.
אירועים ממגוון רחב של מקורות ב-Google Cloud מועברים באמצעות יומני הביקורת של Cloud. זמן האחזור והזמינות של העברת האירועים מהמקורות האלה קשורים לאלה של יומני הביקורת של Cloud. בכל פעם שמופעל אירוע ממקור ב-Google Cloud, נוצרת רשומה תואמת ביומן הביקורת של Cloud.
אפליקציות בהתאמה אישית שמפרסמות ב-Cloud Pub/Sub יכולות לפרסם הודעות בנושא Pub/Sub שהן מציינות בכל פורמט.
טריגרים של אירועים הם מנגנון הסינון שמאפשר לציין אילו אירועים להעביר לאיזה כיור.
כל האירועים נשלחים בפורמט CloudEvents v1.0, כדי לאפשר יכולת פעולה הדדית בין שירותים שונים.
4. לפני שמתחילים
הפעלת ממשקי ה-API
כדי להפעיל את שירות Cloud Run, תצטרכו את שירות Eventarc. מוודאים שהתכונה מופעלת:
gcloud services enable eventarc.googleapis.com
הפעולה אמורה להסתיים בהצלחה:
Operation "operations/acf.5c5ef4f6-f734-455d-b2f0-ee70b5a17322" finished successfully.
הגדרת חשבונות שירות
בטריגרים ייעשה שימוש בחשבון השירות שמוגדר כברירת מחדל ב-Compute. מקצים את התפקיד eventarc.eventReceiver לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine:
PROJECT_NUMBER=$(gcloud projects describe $GOOGLE_CLOUD_PROJECT --format='value(projectNumber)')
gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT \
--member serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \
--role roles/eventarc.eventReceiver
מקצים לחשבון השירות של Cloud Storage את התפקיד pubsub.publisher. ההרשאה הזו נדרשת לטריגר של Eventarc Cloud Storage:
SERVICE_ACCOUNT=$(gsutil kms serviceaccount -p $PROJECT_NUMBER)
gcloud projects add-iam-policy-binding $PROJECT_NUMBER \
--member serviceAccount:$SERVICE_ACCOUNT \
--role roles/pubsub.publisher
אם הפעלתם את חשבון השירות של Pub/Sub ב-8 באפריל 2021 או לפני כן, אתם צריכים להקצות לחשבון השירות של Pub/Sub את התפקיד iam.serviceAccountTokenCreator:
gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:service-$PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \ --role roles/iam.serviceAccountTokenCreator
5. שכפול הקוד
משכפלים את הקוד, אם עדיין לא עשיתם את זה ב-Codelab הקודם:
git clone https://github.com/GoogleCloudPlatform/serverless-photosharing-workshop
אחרי כן אפשר לעבור לספרייה שמכילה את השירות:
cd serverless-photosharing-workshop/services/garbage-collector/nodejs
פריסת הקבצים של השירות תהיה:
services
|
├── garbage-collector
|
├── nodejs
|
├── index.js
├── package.json
בתוך התיקייה יש 3 קבצים:
-
index.jsמכיל את הקוד של Node.js -
package.jsonמגדיר את יחסי התלות של הספרייה
6. עיון בקוד
יחסי תלות
בקובץ package.json מוגדרים יחסי התלות הנדרשים של הספרייה:
{
"name": "garbage_collector_service",
"version": "0.0.1",
"main": "index.js",
"scripts": {
"start": "node index.js"
},
"dependencies": {
"cloudevents": "^4.0.1",
"express": "^4.17.1",
"@google/events": "^3.1.0",
"@google-cloud/firestore": "^4.9.9",
"@google-cloud/storage": "^5.8.3"
}
}
אנחנו מסתמכים על ספריית Cloud Storage כדי למחוק תמונות ב-Cloud Storage. אנחנו מצהירים על תלות ב-Cloud Firestore, כדי למחוק גם את המטא-נתונים של התמונות ששמרנו קודם. בנוסף, אנחנו מסתמכים על CloudEvents SDK ועל ספריות Google Events כדי לקרוא את אירועי CloudEvents שנשלחים על ידי Eventarc. Express היא מסגרת אינטרנט של JavaScript או Node. Bluebird משמש לטיפול בהבטחות (promises).
index.js
בואו נבחן מקרוב את הקוד של index.js:
const express = require('express');
const {Storage} = require('@google-cloud/storage');
const Firestore = require('@google-cloud/firestore');
const { HTTP } = require("cloudevents");
const {toStorageObjectData} = require('@google/events/cloud/storage/v1/StorageObjectData');
אנחנו דורשים את יחסי התלות השונים שדרושים להפעלת התוכנית שלנו: Express היא מסגרת האינטרנט של Node שבה נשתמש, Bluebird היא ספרייה לטיפול בהבטחות של JavaScript, ו-Storage ו-Firestore מיועדים לעבודה עם Google Cloud Storage (קטגוריות התמונות שלנו) ועם מאגר הנתונים של Cloud Firestore, בהתאמה. בנוסף, אנחנו צריכים את CloudEvent כדי לקרוא את ה-CloudEvent שנשלח על ידי Eventarc StoreObjectData מספריית Google Events, כדי לקרוא את גוף האירוע של Cloud Storage ב-CloudEvent.
const app = express();
app.use(express.json());
app.post('/', async (req, res) => {
try {
const cloudEvent = HTTP.toEvent({ headers: req.headers, body: req.body });
console.log(cloudEvent);
/* ... */
} catch (err) {
console.log(`Error: ${err}`);
res.status(500).send(err);
}
});
למעלה מוצג המבנה של ה-handler של Node: האפליקציה שלנו מגיבה לבקשות HTTP POST. היא קוראת את ה-CloudEvent מבקשת ה-HTTP, ואנחנו מטפלים בשגיאות למקרה שמשהו ישתבש. עכשיו נראה מה יש בתוך המבנה הזה.
השלב הבא הוא לאחזר ולנתח את גוף ה-CloudEvent ולאחזר את שם האובייקט:
const storageObjectData = toStorageObjectData(cloudEvent.data);
console.log(storageObjectData);
const objectName = storageObjectData.name;
אחרי שנדע את שם התמונה, נוכל למחוק אותה מהקטגוריה של התמונות הממוזערות:
try {
await storage.bucket(bucketThumbnails).file(objectName).delete();
console.log(`Deleted '${objectName}' from bucket '${bucketThumbnails}'.`);
}
catch(err) {
console.log(`Failed to delete '${objectName}' from bucket '${bucketThumbnails}': ${err}.`);
}
בשלב האחרון, מוחקים את המטא-נתונים של התמונה גם מהאוסף ב-Firestore:
try {
const pictureStore = new Firestore().collection('pictures');
const docRef = pictureStore.doc(objectName);
await docRef.delete();
console.log(`Deleted '${objectName}' from Firestore collection 'pictures'`);
}
catch(err) {
console.log(`Failed to delete '${objectName}' from Firestore: ${err}.`);
}
res.status(200).send(`Processed '${objectName}'.`);
עכשיו נגדיר את סקריפט Node כך שיאזין לבקשות נכנסות. צריך גם לוודא שמשתני הסביבה הנדרשים מוגדרים:
app.listen(PORT, () => {
if (!bucketThumbnails) throw new Error("BUCKET_THUMBNAILS not set");
console.log(`Started service on port ${PORT}`);
});
7. בדיקה מקומית
לבדוק את הקוד באופן מקומי כדי לוודא שהוא פועל לפני שפורסים אותו בענן.
בתוך התיקייה garbage-collector/nodejs, מתקינים את יחסי התלות של npm ומפעילים את השרת:
export BUCKET_THUMBNAILS=thumbnails-$GOOGLE_CLOUD_PROJECT npm install; npm start
אם הכול תקין, השרת אמור להתחיל לפעול ביציאה 8080:
Started service on port 8080
כדי לצאת מהמצב הזה, אפשר ללחוץ על CTRL-C.
8. פיתוח ופריסה ב-Cloud Run
לפני הפריסה ב-Cloud Run, צריך להגדיר את האזור של Cloud Run לאחד מהאזורים הנתמכים, ואת הפלטפורמה ל-managed:
REGION=europe-west1 gcloud config set run/region $REGION gcloud config set run/platform managed
כדי לוודא שההגדרה נקבעה:
gcloud config list ... [run] platform = managed region = europe-west1
במקום ליצור ולפרסם את קובץ האימג' של הקונטיינר באופן ידני באמצעות Cloud Build, אתם יכולים גם להסתמך על Cloud Run כדי ליצור את קובץ האימג' של הקונטיינר באמצעות Google Cloud Buildpacks.
מריצים את הפקודה הבאה כדי ליצור את קובץ האימג' של הקונטיינר באמצעות Google Cloud Buildpacks, ואז פורסים את קובץ האימג' של הקונטיינר ב-Cloud Run:
SERVICE_NAME=garbage-collector-service
gcloud run deploy $SERVICE_NAME \
--source . \
--no-allow-unauthenticated \
--update-env-vars BUCKET_THUMBNAILS=$BUCKET_THUMBNAILS
שימו לב לדגל –-source. הדגל הזה מסמן ל-Cloud Run להשתמש ב-Google Cloud Buildpacks כדי ליצור את קובץ האימג' של הקונטיינר בלי Dockerfile.. הדגל --no-allow-unauthenticated הופך את שירות Cloud Run לשירות פנימי שיופעל רק על ידי חשבונות שירות ספציפיים. בהמשך תיצרו טריגר עם חשבון השירות שמוגדר כברירת מחדל ב-Compute, שיש לו את התפקיד run.invoker כדי להפעיל שירותי Cloud Run פנימיים.
9. יצירת טריגר
ב-Eventarc, טריגר מגדיר איזה שירות יקבל איזה סוג של אירועים. במקרה הזה, אתם רוצים שהשירות יקבל אירועים כשקובץ נמחק בקטגוריה.
מגדירים את המיקום של הטריגר באותו אזור שבו נמצאת הקטגוריה של התמונות שהועלו:
gcloud config set eventarc/location eu
יוצרים טריגר של AuditLog כדי לסנן אירועים של storage.objects.delete ולשלוח אותם לשירות Cloud Run:
BUCKET_IMAGES=uploaded-pictures-$GOOGLE_CLOUD_PROJECT gcloud eventarc triggers create trigger-$SERVICE_NAME \ --destination-run-service=$SERVICE_NAME \ --destination-run-region=$REGION \ --event-filters="type=google.cloud.storage.object.v1.deleted" \ --event-filters="bucket=$BUCKET_IMAGES" \ --service-account=$PROJECT_NUMBER-compute@developer.gserviceaccount.com
כדי לוודא שהטריגר נוצר, אפשר להריץ את הפקודה הזו:
gcloud eventarc triggers list
10. בדיקת השירות
כדי לבדוק אם השירות פועל, עוברים לקטגוריה uploaded-pictures ומוחקים את אחת מהתמונות. ביומנים של השירות אמור להופיע שהתמונה הרלוונטית נמחקה מהקטגוריה thumbnails, ושהמסמך שלה נמחק מהאוסף pictures ב-Firestore.

11. ניקוי (אופציונלי)
אם אתם לא מתכוונים להמשיך לשיעורי ה-Lab האחרים בסדרה, אתם יכולים לנקות את המשאבים כדי לחסוך בעלויות ולהיות משתמשים טובים בענן. כדי לנקות משאבים בנפרד, מבצעים את הפעולות הבאות.
מוחקים את השירות:
gcloud run services delete $SERVICE_NAME -q
מוחקים את הטריגר של Eventarc:
gcloud eventarc triggers delete trigger-$SERVICE_NAME -q
אפשר גם למחוק את כל הפרויקט:
gcloud projects delete $GOOGLE_CLOUD_PROJECT
12. מעולה!
מעולה! יצרתם שירות Cloud Run, איסוף אשפה של קובצי אימג', שמופעל על ידי Eventarc, שירות חדש לקבלת אירועים ב-Cloud Run. כשמוחקים תמונה מקטגוריית התמונות, השירות מקבל אירוע מ-Eventarc. לאחר מכן, היא מוחקת את התמונה מהקטגוריה של התמונות הממוזערות וגם מסירה אותה מאוסף התמונות ב-Firestore.
מה למדנו
- Cloud Run
- Cloud Storage
- Cloud Firestore
- Eventarc