Zdjęcia codziennie: moduł 5 – czyszczenie po usunięciu obrazu

1. Przegląd

W tym ćwiczeniu utworzysz nową usługę Cloud Run, moduł czyszczący pamięć obrazu, która będzie aktywowana przez Eventarc, nową usługę do odbierania zdarzeń w Cloud Run. Gdy obraz zostanie usunięty z zasobnika ze zdjęciami, usługa otrzyma zdarzenie z Eventarc. Następnie usuwa obraz z zasobnika miniatur, a także z kolekcji obrazów Firestore.

d93345bfc235f81e.png

Czego się nauczysz

  • Cloud Run
  • Cloud Storage
  • Cloud Firestore
  • Eventarc

2. Konfiguracja i wymagania

Samodzielne konfigurowanie środowiska

  1. Zaloguj się w konsoli Google Cloud i utwórz nowy projekt lub użyj istniejącego. Jeśli nie masz jeszcze konta Gmail lub Google Workspace, musisz je utworzyć.

96a9c957bc475304.pngb9a10ebdf5b5a448.pnga1e3c01a38fa61c2.png

  • Nazwa projektu to wyświetlana nazwa dla uczestników tego projektu. Jest to ciąg znaków, który nie jest używany przez interfejsy API Google i który możesz w każdej chwili zaktualizować.
  • Identyfikator projektu musi być unikalny we wszystkich projektach Google Cloud i jest niezmienny (nie można go zmienić po ustawieniu). Konsola Cloud automatycznie generuje unikalny ciąg znaków, który zwykle nie ma znaczenia. W większości modułów codelabs musisz odwołać się do identyfikatora projektu (zwykle jest on oznaczony jako PROJECT_ID), więc jeśli Ci się nie podoba, wygeneruj inny losowy ciąg znaków lub spróbuj użyć własnego i sprawdź, czy jest dostępny. Po utworzeniu projektu jest on „zamrażany”.
  • Istnieje też trzecia wartość, numer projektu, która jest używana przez niektóre interfejsy API. Więcej informacji o tych 3 wartościach znajdziesz w dokumentacji.
  1. Następnie musisz włączyć płatności w konsoli Cloud, aby móc korzystać z zasobów i interfejsów API Cloud. Wykonanie tego ćwiczenia nie powinno kosztować dużo, jeśli w ogóle. Aby wyłączyć zasoby i uniknąć naliczania opłat po zakończeniu tego samouczka, wykonaj instrukcje dotyczące czyszczenia, które znajdziesz na końcu tego ćwiczenia. Nowi użytkownicy Google Cloud mogą skorzystać z bezpłatnego okresu próbnego, w którym mają do dyspozycji środki w wysokości 300 USD.

Uruchamianie Cloud Shell

Chociaż Google Cloud można obsługiwać zdalnie z laptopa, w tym ćwiczeniu wykorzystasz Google Cloud Shell, czyli środowisko wiersza poleceń działające w chmurze.

W konsoli Google Cloud Platform kliknij ikonę Cloud Shell na pasku narzędzi w prawym górnym rogu:

bce75f34b2c53987.png

Uzyskanie dostępu do środowiska i połączenie się z nim powinno zająć tylko kilka chwil. Po zakończeniu powinno wyświetlić się coś takiego:

f6ef2b5f13479f3a.png

Ta maszyna wirtualna zawiera wszystkie potrzebne narzędzia dla programistów. Zawiera również stały katalog domowy o pojemności 5 GB i działa w Google Cloud, co znacznie zwiększa wydajność sieci i usprawnia proces uwierzytelniania. Wszystkie zadania w tym module możesz wykonać, używając tylko przeglądarki.

3. Wprowadzenie do Eventarc

Eventarc ułatwia łączenie usług Cloud Run ze zdarzeniami z różnych źródeł. Zajmuje się pozyskiwaniem i dostarczaniem zdarzeń, zabezpieczeniami, autoryzacją i obsługą błędów.

776ed63706ca9683.png

Możesz pobierać zdarzenia ze źródeł Google Cloud i aplikacji niestandardowych publikujących w Cloud Pub/Sub i dostarczać je do ujść Google Cloud Run.

Zdarzenia z wielu źródeł Google Cloud są dostarczane za pomocą logów kontrolnych Cloud. Opóźnienie i dostępność dostarczania zdarzeń z tych źródeł są powiązane z opóźnieniem i dostępnością logów kontrolnych Cloud. Za każdym razem, gdy zdarzenie ze źródła Google Cloud zostanie wywołane, tworzony jest odpowiedni wpis logu kontrolnego Cloud.

Aplikacje niestandardowe publikujące w Cloud Pub/Sub mogą publikować wiadomości w temacie Pub/Sub, który określają w dowolnym formacie.

Aktywatory zdarzeń to mechanizm filtrowania, który określa, które zdarzenia mają być dostarczane do którego ujścia.

Wszystkie zdarzenia są dostarczane w formacie CloudEvents v1.0, co zapewnia interoperacyjność między usługami.

4. Zanim zaczniesz

Włącz interfejsy API

Do aktywowania usługi Cloud Run potrzebna będzie usługa Eventarc. Sprawdź, czy jest włączona:

gcloud services enable eventarc.googleapis.com

Powinien wyświetlić się komunikat o pomyślnym zakończeniu operacji:

Operation "operations/acf.5c5ef4f6-f734-455d-b2f0-ee70b5a17322" finished successfully.

Skonfiguruj konta usługi

W aktywatorach będzie używane domyślne konto usługi Compute. Przypisz rolę eventarc.eventReceiver do domyślnego konta usługi Compute:

PROJECT_NUMBER=$(gcloud projects describe $GOOGLE_CLOUD_PROJECT --format='value(projectNumber)')

gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT \
    --member serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role roles/eventarc.eventReceiver

Przypisz rolę pubsub.publisher do konta usługi Cloud Storage. Jest to wymagane w przypadku aktywatora Eventarc Cloud Storage:

SERVICE_ACCOUNT=$(gsutil kms serviceaccount -p $PROJECT_NUMBER)

gcloud projects add-iam-policy-binding $PROJECT_NUMBER \
    --member serviceAccount:$SERVICE_ACCOUNT \
    --role roles/pubsub.publisher

Jeśli konto usługi Pub/Sub zostało włączone 8 kwietnia 2021 r. lub wcześniej, przypisz rolę iam.serviceAccountTokenCreator do konta usługi Pub/Sub:

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member serviceAccount:service-$PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
  --role roles/iam.serviceAccountTokenCreator

5. Klonowanie kodu

Sklonuj kod, jeśli nie zostało to zrobione w poprzednim ćwiczeniu:

git clone https://github.com/GoogleCloudPlatform/serverless-photosharing-workshop

Następnie możesz przejść do katalogu zawierającego usługę:

cd serverless-photosharing-workshop/services/garbage-collector/nodejs

Układ plików usługi będzie wyglądał tak:

services
 |
 ├── garbage-collector
      |
      ├── nodejs
           |
           ├── index.js
           ├── package.json

W folderze znajdują się 3 pliki:

  • index.js zawiera kod w Node.js,
  • package.json definiuje zależności biblioteki.

6. Przeglądanie kodu

Zależności

Plik package.json definiuje wymagane zależności biblioteki:

{
  "name": "garbage_collector_service",
  "version": "0.0.1",
  "main": "index.js",
  "scripts": {
    "start": "node index.js"
  },
  "dependencies": {
    "cloudevents": "^4.0.1",
    "express": "^4.17.1",
    "@google/events": "^3.1.0",
    "@google-cloud/firestore": "^4.9.9",
    "@google-cloud/storage": "^5.8.3"
  }
}

Do usuwania obrazów w Cloud Storage używamy biblioteki Cloud Storage. Deklarujemy zależność od Cloud Firestore, aby usunąć również metadane obrazu, które zostały wcześniej zapisane. Dodatkowo korzystamy z bibliotek CloudEvents SDK i Google Events do odczytywania zdarzeń CloudEvents wysyłanych przez Eventarc. Express to platforma internetowa JavaScript / Node. Bluebird służy do obsługi obietnic.

index.js

Przyjrzyjmy się bliżej kodowi index.js:

const express = require('express');
const {Storage} = require('@google-cloud/storage');
const Firestore = require('@google-cloud/firestore');
const { HTTP } = require("cloudevents");
const {toStorageObjectData} = require('@google/events/cloud/storage/v1/StorageObjectData');

Potrzebujemy różnych zależności, aby nasz program mógł działać: Express to platforma internetowa Node, której będziemy używać, Bluebird to biblioteka do obsługi obietnic JavaScriptu, a Storage i Firestore służą do pracy odpowiednio z Google Cloud Storage (nasze zasobniki obrazów) i magazynem danych Cloud Firestore. Dodatkowo potrzebujemy CloudEvent do odczytu CloudEvent wysłanego przez Eventarc StoreObjectData z biblioteki Google Events, aby odczytać treść zdarzenia Cloud Storage w CloudEvent.

const app = express();
app.use(express.json());

app.post('/', async (req, res) => {
    try {
        const cloudEvent = HTTP.toEvent({ headers: req.headers, body: req.body });
        console.log(cloudEvent);


        /* ... */

    } catch (err) {
        console.log(`Error: ${err}`);
        res.status(500).send(err);
    }
});

Powyżej znajduje się struktura naszego modułu obsługi Node: nasza aplikacja odpowiada na żądania POST HTTP. Odczytuje zdarzenie CloudEvent z żądania HTTP i obsługuje błędy, jeśli coś pójdzie nie tak. Przyjrzyjmy się teraz, co znajduje się w tej strukturze.

Następnym krokiem jest pobranie i przeanalizowanie treści CloudEvent oraz pobranie nazwy obiektu:

const storageObjectData = toStorageObjectData(cloudEvent.data);
console.log(storageObjectData);

const objectName = storageObjectData.name;

Gdy znamy nazwę obrazu, możemy go usunąć z zasobnika miniatur:

try {
    await storage.bucket(bucketThumbnails).file(objectName).delete();
    console.log(`Deleted '${objectName}' from bucket '${bucketThumbnails}'.`);
}
catch(err) {
    console.log(`Failed to delete '${objectName}' from bucket '${bucketThumbnails}': ${err}.`);
}

Na koniec usuń metadane zdjęcia z kolekcji Firestore:

try {
    const pictureStore = new Firestore().collection('pictures');
    const docRef = pictureStore.doc(objectName);
    await docRef.delete();

    console.log(`Deleted '${objectName}' from Firestore collection 'pictures'`);
}
catch(err) {
    console.log(`Failed to delete '${objectName}' from Firestore: ${err}.`);
}

res.status(200).send(`Processed '${objectName}'.`);

Teraz czas na to, aby nasz skrypt Node nasłuchiwał żądań przychodzących. Sprawdź też, czy są ustawione wymagane zmienne środowiskowe:

app.listen(PORT, () => {
    if (!bucketThumbnails) throw new Error("BUCKET_THUMBNAILS not set");
    console.log(`Started service on port ${PORT}`);
});

7. Testowanie lokalne

Przetestuj kod lokalnie, aby upewnić się, że działa, zanim wdrożysz go w chmurze.

W folderze garbage-collector/nodejs zainstaluj zależności npm i uruchom serwer:

export BUCKET_THUMBNAILS=thumbnails-$GOOGLE_CLOUD_PROJECT

npm install; npm start

Jeśli wszystko przebiegło pomyślnie, serwer powinien zostać uruchomiony na porcie 8080:

Started service on port 8080

Aby go zamknąć, CTRL-C.

8. Kompilowanie i wdrażanie w Cloud Run

Przed wdrożeniem w Cloud Run ustaw region Cloud Run na jeden z obsługiwanych regionów, a platformę na managed:

REGION=europe-west1
gcloud config set run/region $REGION
gcloud config set run/platform managed

Możesz sprawdzić, czy konfiguracja jest ustawiona:

gcloud config list

...
[run]
platform = managed
region = europe-west1

Zamiast ręcznie tworzyć i publikować obraz kontenera za pomocą Cloud Build, możesz też skorzystać z Cloud Run, aby utworzyć obraz kontenera za pomocą pakietów kompilacji Google Cloud.

Uruchom to polecenie, aby utworzyć obraz kontenera za pomocą pakietów kompilacji Google Cloud, a następnie wdrożyć go w Cloud Run:

SERVICE_NAME=garbage-collector-service

gcloud run deploy $SERVICE_NAME \
    --source . \
    --no-allow-unauthenticated \
    --update-env-vars BUCKET_THUMBNAILS=$BUCKET_THUMBNAILS

Zwróć uwagę na flagę –-source. Ta flaga informuje Cloud Run, aby używać pakietów kompilacji Google Cloud do tworzenia obrazu kontenera bez pliku Dockerfile.. Flaga --no-allow-unauthenticated sprawia, że usługa Cloud Run jest usługą wewnętrzną, która będzie uruchamiana tylko przez określone konta usługi. Później utworzysz aktywator z domyślnym kontem usługi Compute, które ma rolę run.invoker, aby wywoływać wewnętrzne usługi Cloud Run.

9. Tworzenie aktywatora

W Eventarc aktywator określa, jaka usługa powinna otrzymywać dany rodzaj zdarzeń. W tym przypadku chcesz, aby usługa otrzymywała zdarzenia, gdy plik zostanie usunięty z zasobnika.

Ustaw lokalizację aktywatora w tym samym regionie co zasobnik z przesłanymi zdjęciami:

gcloud config set eventarc/location eu

Utwórz aktywator AuditLog, aby filtrować zdarzenia storage.objects.delete i wysyłać je do usługi Cloud Run:

BUCKET_IMAGES=uploaded-pictures-$GOOGLE_CLOUD_PROJECT

gcloud eventarc triggers create trigger-$SERVICE_NAME \
  --destination-run-service=$SERVICE_NAME \
  --destination-run-region=$REGION \
  --event-filters="type=google.cloud.storage.object.v1.deleted" \
  --event-filters="bucket=$BUCKET_IMAGES" \
  --service-account=$PROJECT_NUMBER-compute@developer.gserviceaccount.com

Możesz sprawdzić, czy aktywator został utworzony, za pomocą tego polecenia:

gcloud eventarc triggers list

10. Testowanie usługi

Aby sprawdzić, czy usługa działa, przejdź do zasobnika uploaded-pictures i usuń jedno ze zdjęć. W logach usługi powinno być widoczne, że usunęła ona odpowiednie zdjęcie z zasobnika thumbnails oraz jego dokument z kolekcji Firestore pictures.

519abf90e7ea4d12.png

11. Czyszczenie (opcjonalnie)

Jeśli nie zamierzasz kontynuować pracy z innymi modułami z tej serii, możesz usunąć zasoby, aby zaoszczędzić koszty i być dobrym obywatelem chmury. Zasoby możesz wyczyścić pojedynczo w ten sposób:

Usuń usługę:

gcloud run services delete $SERVICE_NAME -q

Usuń aktywator Eventarc:

gcloud eventarc triggers delete trigger-$SERVICE_NAME -q

Możesz też usunąć cały projekt:

gcloud projects delete $GOOGLE_CLOUD_PROJECT

12. Gratulacje!

Gratulacje! Udało Ci się utworzyć usługę Cloud Run, moduł czyszczący pamięć obrazów, która jest aktywowana przez Eventarc, nową usługę do odbierania zdarzeń w Cloud Run. Gdy obraz zostanie usunięty z zasobnika ze zdjęciami, usługa otrzyma zdarzenie z Eventarc. Następnie usuwa obraz z zasobnika miniatur, a także z kolekcji obrazów Firestore.

Omówione zagadnienia

  • Cloud Run
  • Cloud Storage
  • Cloud Firestore
  • Eventarc