1. Przegląd
W tym ćwiczeniu utworzysz nową usługę Cloud Run, moduł czyszczący pamięć obrazu, która będzie aktywowana przez Eventarc, nową usługę do odbierania zdarzeń w Cloud Run. Gdy obraz zostanie usunięty z zasobnika ze zdjęciami, usługa otrzyma zdarzenie z Eventarc. Następnie usuwa obraz z zasobnika miniatur, a także z kolekcji obrazów Firestore.

Czego się nauczysz
- Cloud Run
- Cloud Storage
- Cloud Firestore
- Eventarc
2. Konfiguracja i wymagania
Samodzielne konfigurowanie środowiska
- Zaloguj się w konsoli Google Cloud i utwórz nowy projekt lub użyj istniejącego. Jeśli nie masz jeszcze konta Gmail lub Google Workspace, musisz je utworzyć.



- Nazwa projektu to wyświetlana nazwa dla uczestników tego projektu. Jest to ciąg znaków, który nie jest używany przez interfejsy API Google i który możesz w każdej chwili zaktualizować.
- Identyfikator projektu musi być unikalny we wszystkich projektach Google Cloud i jest niezmienny (nie można go zmienić po ustawieniu). Konsola Cloud automatycznie generuje unikalny ciąg znaków, który zwykle nie ma znaczenia. W większości modułów codelabs musisz odwołać się do identyfikatora projektu (zwykle jest on oznaczony jako
PROJECT_ID), więc jeśli Ci się nie podoba, wygeneruj inny losowy ciąg znaków lub spróbuj użyć własnego i sprawdź, czy jest dostępny. Po utworzeniu projektu jest on „zamrażany”. - Istnieje też trzecia wartość, numer projektu, która jest używana przez niektóre interfejsy API. Więcej informacji o tych 3 wartościach znajdziesz w dokumentacji.
- Następnie musisz włączyć płatności w konsoli Cloud, aby móc korzystać z zasobów i interfejsów API Cloud. Wykonanie tego ćwiczenia nie powinno kosztować dużo, jeśli w ogóle. Aby wyłączyć zasoby i uniknąć naliczania opłat po zakończeniu tego samouczka, wykonaj instrukcje dotyczące czyszczenia, które znajdziesz na końcu tego ćwiczenia. Nowi użytkownicy Google Cloud mogą skorzystać z bezpłatnego okresu próbnego, w którym mają do dyspozycji środki w wysokości 300 USD.
Uruchamianie Cloud Shell
Chociaż Google Cloud można obsługiwać zdalnie z laptopa, w tym ćwiczeniu wykorzystasz Google Cloud Shell, czyli środowisko wiersza poleceń działające w chmurze.
W konsoli Google Cloud Platform kliknij ikonę Cloud Shell na pasku narzędzi w prawym górnym rogu:

Uzyskanie dostępu do środowiska i połączenie się z nim powinno zająć tylko kilka chwil. Po zakończeniu powinno wyświetlić się coś takiego:

Ta maszyna wirtualna zawiera wszystkie potrzebne narzędzia dla programistów. Zawiera również stały katalog domowy o pojemności 5 GB i działa w Google Cloud, co znacznie zwiększa wydajność sieci i usprawnia proces uwierzytelniania. Wszystkie zadania w tym module możesz wykonać, używając tylko przeglądarki.
3. Wprowadzenie do Eventarc
Eventarc ułatwia łączenie usług Cloud Run ze zdarzeniami z różnych źródeł. Zajmuje się pozyskiwaniem i dostarczaniem zdarzeń, zabezpieczeniami, autoryzacją i obsługą błędów.

Możesz pobierać zdarzenia ze źródeł Google Cloud i aplikacji niestandardowych publikujących w Cloud Pub/Sub i dostarczać je do ujść Google Cloud Run.
Zdarzenia z wielu źródeł Google Cloud są dostarczane za pomocą logów kontrolnych Cloud. Opóźnienie i dostępność dostarczania zdarzeń z tych źródeł są powiązane z opóźnieniem i dostępnością logów kontrolnych Cloud. Za każdym razem, gdy zdarzenie ze źródła Google Cloud zostanie wywołane, tworzony jest odpowiedni wpis logu kontrolnego Cloud.
Aplikacje niestandardowe publikujące w Cloud Pub/Sub mogą publikować wiadomości w temacie Pub/Sub, który określają w dowolnym formacie.
Aktywatory zdarzeń to mechanizm filtrowania, który określa, które zdarzenia mają być dostarczane do którego ujścia.
Wszystkie zdarzenia są dostarczane w formacie CloudEvents v1.0, co zapewnia interoperacyjność między usługami.
4. Zanim zaczniesz
Włącz interfejsy API
Do aktywowania usługi Cloud Run potrzebna będzie usługa Eventarc. Sprawdź, czy jest włączona:
gcloud services enable eventarc.googleapis.com
Powinien wyświetlić się komunikat o pomyślnym zakończeniu operacji:
Operation "operations/acf.5c5ef4f6-f734-455d-b2f0-ee70b5a17322" finished successfully.
Skonfiguruj konta usługi
W aktywatorach będzie używane domyślne konto usługi Compute. Przypisz rolę eventarc.eventReceiver do domyślnego konta usługi Compute:
PROJECT_NUMBER=$(gcloud projects describe $GOOGLE_CLOUD_PROJECT --format='value(projectNumber)')
gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT \
--member serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \
--role roles/eventarc.eventReceiver
Przypisz rolę pubsub.publisher do konta usługi Cloud Storage. Jest to wymagane w przypadku aktywatora Eventarc Cloud Storage:
SERVICE_ACCOUNT=$(gsutil kms serviceaccount -p $PROJECT_NUMBER)
gcloud projects add-iam-policy-binding $PROJECT_NUMBER \
--member serviceAccount:$SERVICE_ACCOUNT \
--role roles/pubsub.publisher
Jeśli konto usługi Pub/Sub zostało włączone 8 kwietnia 2021 r. lub wcześniej, przypisz rolę iam.serviceAccountTokenCreator do konta usługi Pub/Sub:
gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:service-$PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \ --role roles/iam.serviceAccountTokenCreator
5. Klonowanie kodu
Sklonuj kod, jeśli nie zostało to zrobione w poprzednim ćwiczeniu:
git clone https://github.com/GoogleCloudPlatform/serverless-photosharing-workshop
Następnie możesz przejść do katalogu zawierającego usługę:
cd serverless-photosharing-workshop/services/garbage-collector/nodejs
Układ plików usługi będzie wyglądał tak:
services
|
├── garbage-collector
|
├── nodejs
|
├── index.js
├── package.json
W folderze znajdują się 3 pliki:
index.jszawiera kod w Node.js,package.jsondefiniuje zależności biblioteki.
6. Przeglądanie kodu
Zależności
Plik package.json definiuje wymagane zależności biblioteki:
{
"name": "garbage_collector_service",
"version": "0.0.1",
"main": "index.js",
"scripts": {
"start": "node index.js"
},
"dependencies": {
"cloudevents": "^4.0.1",
"express": "^4.17.1",
"@google/events": "^3.1.0",
"@google-cloud/firestore": "^4.9.9",
"@google-cloud/storage": "^5.8.3"
}
}
Do usuwania obrazów w Cloud Storage używamy biblioteki Cloud Storage. Deklarujemy zależność od Cloud Firestore, aby usunąć również metadane obrazu, które zostały wcześniej zapisane. Dodatkowo korzystamy z bibliotek CloudEvents SDK i Google Events do odczytywania zdarzeń CloudEvents wysyłanych przez Eventarc. Express to platforma internetowa JavaScript / Node. Bluebird służy do obsługi obietnic.
index.js
Przyjrzyjmy się bliżej kodowi index.js:
const express = require('express');
const {Storage} = require('@google-cloud/storage');
const Firestore = require('@google-cloud/firestore');
const { HTTP } = require("cloudevents");
const {toStorageObjectData} = require('@google/events/cloud/storage/v1/StorageObjectData');
Potrzebujemy różnych zależności, aby nasz program mógł działać: Express to platforma internetowa Node, której będziemy używać, Bluebird to biblioteka do obsługi obietnic JavaScriptu, a Storage i Firestore służą do pracy odpowiednio z Google Cloud Storage (nasze zasobniki obrazów) i magazynem danych Cloud Firestore. Dodatkowo potrzebujemy CloudEvent do odczytu CloudEvent wysłanego przez Eventarc StoreObjectData z biblioteki Google Events, aby odczytać treść zdarzenia Cloud Storage w CloudEvent.
const app = express();
app.use(express.json());
app.post('/', async (req, res) => {
try {
const cloudEvent = HTTP.toEvent({ headers: req.headers, body: req.body });
console.log(cloudEvent);
/* ... */
} catch (err) {
console.log(`Error: ${err}`);
res.status(500).send(err);
}
});
Powyżej znajduje się struktura naszego modułu obsługi Node: nasza aplikacja odpowiada na żądania POST HTTP. Odczytuje zdarzenie CloudEvent z żądania HTTP i obsługuje błędy, jeśli coś pójdzie nie tak. Przyjrzyjmy się teraz, co znajduje się w tej strukturze.
Następnym krokiem jest pobranie i przeanalizowanie treści CloudEvent oraz pobranie nazwy obiektu:
const storageObjectData = toStorageObjectData(cloudEvent.data);
console.log(storageObjectData);
const objectName = storageObjectData.name;
Gdy znamy nazwę obrazu, możemy go usunąć z zasobnika miniatur:
try {
await storage.bucket(bucketThumbnails).file(objectName).delete();
console.log(`Deleted '${objectName}' from bucket '${bucketThumbnails}'.`);
}
catch(err) {
console.log(`Failed to delete '${objectName}' from bucket '${bucketThumbnails}': ${err}.`);
}
Na koniec usuń metadane zdjęcia z kolekcji Firestore:
try {
const pictureStore = new Firestore().collection('pictures');
const docRef = pictureStore.doc(objectName);
await docRef.delete();
console.log(`Deleted '${objectName}' from Firestore collection 'pictures'`);
}
catch(err) {
console.log(`Failed to delete '${objectName}' from Firestore: ${err}.`);
}
res.status(200).send(`Processed '${objectName}'.`);
Teraz czas na to, aby nasz skrypt Node nasłuchiwał żądań przychodzących. Sprawdź też, czy są ustawione wymagane zmienne środowiskowe:
app.listen(PORT, () => {
if (!bucketThumbnails) throw new Error("BUCKET_THUMBNAILS not set");
console.log(`Started service on port ${PORT}`);
});
7. Testowanie lokalne
Przetestuj kod lokalnie, aby upewnić się, że działa, zanim wdrożysz go w chmurze.
W folderze garbage-collector/nodejs zainstaluj zależności npm i uruchom serwer:
export BUCKET_THUMBNAILS=thumbnails-$GOOGLE_CLOUD_PROJECT npm install; npm start
Jeśli wszystko przebiegło pomyślnie, serwer powinien zostać uruchomiony na porcie 8080:
Started service on port 8080
Aby go zamknąć, CTRL-C.
8. Kompilowanie i wdrażanie w Cloud Run
Przed wdrożeniem w Cloud Run ustaw region Cloud Run na jeden z obsługiwanych regionów, a platformę na managed:
REGION=europe-west1 gcloud config set run/region $REGION gcloud config set run/platform managed
Możesz sprawdzić, czy konfiguracja jest ustawiona:
gcloud config list ... [run] platform = managed region = europe-west1
Zamiast ręcznie tworzyć i publikować obraz kontenera za pomocą Cloud Build, możesz też skorzystać z Cloud Run, aby utworzyć obraz kontenera za pomocą pakietów kompilacji Google Cloud.
Uruchom to polecenie, aby utworzyć obraz kontenera za pomocą pakietów kompilacji Google Cloud, a następnie wdrożyć go w Cloud Run:
SERVICE_NAME=garbage-collector-service
gcloud run deploy $SERVICE_NAME \
--source . \
--no-allow-unauthenticated \
--update-env-vars BUCKET_THUMBNAILS=$BUCKET_THUMBNAILS
Zwróć uwagę na flagę –-source. Ta flaga informuje Cloud Run, aby używać pakietów kompilacji Google Cloud do tworzenia obrazu kontenera bez pliku Dockerfile.. Flaga --no-allow-unauthenticated sprawia, że usługa Cloud Run jest usługą wewnętrzną, która będzie uruchamiana tylko przez określone konta usługi. Później utworzysz aktywator z domyślnym kontem usługi Compute, które ma rolę run.invoker, aby wywoływać wewnętrzne usługi Cloud Run.
9. Tworzenie aktywatora
W Eventarc aktywator określa, jaka usługa powinna otrzymywać dany rodzaj zdarzeń. W tym przypadku chcesz, aby usługa otrzymywała zdarzenia, gdy plik zostanie usunięty z zasobnika.
Ustaw lokalizację aktywatora w tym samym regionie co zasobnik z przesłanymi zdjęciami:
gcloud config set eventarc/location eu
Utwórz aktywator AuditLog, aby filtrować zdarzenia storage.objects.delete i wysyłać je do usługi Cloud Run:
BUCKET_IMAGES=uploaded-pictures-$GOOGLE_CLOUD_PROJECT gcloud eventarc triggers create trigger-$SERVICE_NAME \ --destination-run-service=$SERVICE_NAME \ --destination-run-region=$REGION \ --event-filters="type=google.cloud.storage.object.v1.deleted" \ --event-filters="bucket=$BUCKET_IMAGES" \ --service-account=$PROJECT_NUMBER-compute@developer.gserviceaccount.com
Możesz sprawdzić, czy aktywator został utworzony, za pomocą tego polecenia:
gcloud eventarc triggers list
10. Testowanie usługi
Aby sprawdzić, czy usługa działa, przejdź do zasobnika uploaded-pictures i usuń jedno ze zdjęć. W logach usługi powinno być widoczne, że usunęła ona odpowiednie zdjęcie z zasobnika thumbnails oraz jego dokument z kolekcji Firestore pictures.

11. Czyszczenie (opcjonalnie)
Jeśli nie zamierzasz kontynuować pracy z innymi modułami z tej serii, możesz usunąć zasoby, aby zaoszczędzić koszty i być dobrym obywatelem chmury. Zasoby możesz wyczyścić pojedynczo w ten sposób:
Usuń usługę:
gcloud run services delete $SERVICE_NAME -q
Usuń aktywator Eventarc:
gcloud eventarc triggers delete trigger-$SERVICE_NAME -q
Możesz też usunąć cały projekt:
gcloud projects delete $GOOGLE_CLOUD_PROJECT
12. Gratulacje!
Gratulacje! Udało Ci się utworzyć usługę Cloud Run, moduł czyszczący pamięć obrazów, która jest aktywowana przez Eventarc, nową usługę do odbierania zdarzeń w Cloud Run. Gdy obraz zostanie usunięty z zasobnika ze zdjęciami, usługa otrzyma zdarzenie z Eventarc. Następnie usuwa obraz z zasobnika miniatur, a także z kolekcji obrazów Firestore.
Omówione zagadnienia
- Cloud Run
- Cloud Storage
- Cloud Firestore
- Eventarc