1. Обзор
В этой практической работе вы создадите новый сервис Cloud Run, сборщик мусора изображений, который будет запускаться Eventarc – новым сервисом для получения событий в Cloud Run. Когда изображение удаляется из корзины, сервис получает событие от Eventarc. Затем оно удаляет изображение из сегмента уменьшенных изображений и из коллекции изображений Firestore.

Что вы узнаете
- Cloud Run
- Cloud Storage
- Cloud Firestore
- Eventarc
2. Настройка и требования
Самостоятельная настройка среды
- Войдите в консоль Google Cloud и создайте новый проект или используйте существующий. Если у вас нет аккаунта Gmail или Google Workspace, создайте его.



- Название проекта – это отображаемое название для участников проекта. Это строка символов, которая не используется API Google. Ее можно изменить в любое время.
- Идентификатор проекта должен быть уникальным для всех проектов Google Cloud и неизменным (его нельзя изменить после установки). Cloud Console автоматически генерирует уникальную строку. Обычно ее значение не имеет значения. В большинстве практических работ вам нужно будет ссылаться на идентификатор проекта (обычно он обозначается как
PROJECT_ID), поэтому, если он вам не нравится, сгенерируйте другой случайный идентификатор или попробуйте использовать свой собственный и посмотрите, доступен ли он. После создания проекта изменить его идентификатор нельзя. - Есть и третье значение – номер проекта, который используется некоторыми API. Подробнее об этих трех значениях рассказывается в документации.
- Затем вам нужно будет включить платежи в Cloud Console, чтобы использовать ресурсы и API Cloud. Выполнение этой практической работы не должно стоить много, если вообще что-то стоит. Чтобы отключить ресурсы и не платить за них после завершения практической работы, следуйте инструкциям по очистке в конце практической работы. Новые пользователи Google Cloud могут воспользоваться бесплатной пробной версией с бонусом в размере 300 долларов США.
Запустите Cloud Shell
Хотя Google Cloud можно управлять удаленно с ноутбука, в этой практической работе вы будете использовать Google Cloud Shell – среду командной строки, работающую в облаке.
В консоли GCP нажмите на значок Cloud Shell на панели инструментов в правом верхнем углу.

Инициализация и подключение к среде займут всего несколько минут. После завершения вы увидите примерно следующее:

На этой виртуальной машине установлены все необходимые инструменты разработки. Она предлагает постоянный домашний каталог объемом 5 ГБ и работает на платформе Google Cloud, что значительно повышает производительность сети и аутентификацию. Для выполнения всех заданий этой лабораторной работы вам понадобится только браузер.
3. Введение в Eventarc
Eventarc позволяет легко подключать сервисы Cloud Run к событиям из различных источников. Он берет на себя получение, доставку, безопасность, авторизацию и обработку ошибок.

Вы можете получать события из источников Google Cloud и пользовательских приложений, публикующих данные в Cloud Pub/Sub, и передавать их в приемники Google Cloud Run.
События из различных источников Google Cloud доставляются через журналы аудита Cloud. Задержка и доступность доставки событий из этих источников связаны с задержкой и доступностью журналов аудита Cloud Audit Logs. Каждый раз, когда активируется событие из источника Google Cloud, создается соответствующая запись в журнале аудита Cloud.
Специальные приложения, публикующие сообщения в Cloud Pub/Sub, могут публиковать сообщения в указанной теме издатель-подписчик в любом формате.
Триггеры событий – это механизм фильтрации, позволяющий указать, какие события должны передаваться в тот или иной приемник.
Все события доставляются в формате CloudEvents v1.0 для обеспечения совместимости между сервисами.
4. Подготовка
Как включить API
Для запуска сервиса Cloud Run вам понадобится сервис Eventarc. Убедитесь, что он включен:
gcloud services enable eventarc.googleapis.com
Вы должны увидеть, что операция завершилась успешно:
Operation "operations/acf.5c5ef4f6-f734-455d-b2f0-ee70b5a17322" finished successfully.
Настроить сервисные аккаунты
В триггерах будет использоваться сервисный аккаунт Compute Engine по умолчанию. Предоставьте роль eventarc.eventReceiver сервисному аккаунту Compute Engine по умолчанию:
PROJECT_NUMBER=$(gcloud projects describe $GOOGLE_CLOUD_PROJECT --format='value(projectNumber)')
gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT \
--member serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \
--role roles/eventarc.eventReceiver
Назначьте роль pubsub.publisher сервисному аккаунту Cloud Storage. Это необходимо для триггера Eventarc Cloud Storage:
SERVICE_ACCOUNT=$(gsutil kms serviceaccount -p $PROJECT_NUMBER)
gcloud projects add-iam-policy-binding $PROJECT_NUMBER \
--member serviceAccount:$SERVICE_ACCOUNT \
--role roles/pubsub.publisher
Если вы включили сервисный аккаунт Pub/Sub 8 апреля 2021 года или ранее, назначьте ему роль iam.serviceAccountTokenCreator:
gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:service-$PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \ --role roles/iam.serviceAccountTokenCreator
5. Клонирование кода
Клонируйте код, если вы ещё не сделали этого в предыдущей практической работе:
git clone https://github.com/GoogleCloudPlatform/serverless-photosharing-workshop
Затем перейдите в каталог, содержащий сервис:
cd serverless-photosharing-workshop/services/garbage-collector/nodejs
Для сервиса будет использоваться следующая структура файлов:
services
|
├── garbage-collector
|
├── nodejs
|
├── index.js
├── package.json
В папке находятся три файла:
index.jsсодержит код Node.js.package.jsonопределяет зависимости библиотеки
6. Изучите код
Зависимости
В файле package.json определены необходимые зависимости библиотек:
{
"name": "garbage_collector_service",
"version": "0.0.1",
"main": "index.js",
"scripts": {
"start": "node index.js"
},
"dependencies": {
"cloudevents": "^4.0.1",
"express": "^4.17.1",
"@google/events": "^3.1.0",
"@google-cloud/firestore": "^4.9.9",
"@google-cloud/storage": "^5.8.3"
}
}
Для удаления изображений в Cloud Storage мы используем библиотеку Cloud Storage. Мы объявляем зависимость от Cloud Firestore, чтобы также удалить метаданные изображения, которые мы сохранили ранее. Кроме того, для чтения событий CloudEvents, отправленных Eventarc, мы используем CloudEvents SDK и библиотеки Google Events. Express – это веб-фреймворк JavaScript/Node. Bluebird используется для обработки промисов.
index.js
Давайте подробнее рассмотрим код index.js:
const express = require('express');
const {Storage} = require('@google-cloud/storage');
const Firestore = require('@google-cloud/firestore');
const { HTTP } = require("cloudevents");
const {toStorageObjectData} = require('@google/events/cloud/storage/v1/StorageObjectData');
Нам потребуются различные зависимости, необходимые для работы программы: Express – веб-фреймворк Node, который мы будем использовать; Bluebird – библиотека для обработки промисов JavaScript; Storage и Firestore – для работы с Google Cloud Storage (нашими сегментами изображений) и хранилищем данных Cloud Firestore соответственно. Кроме того, нам потребуется CloudEvent, чтобы прочитать CloudEvent, отправленный Eventarc StoreObjectData из библиотеки Google Events, чтобы прочитать тело события Cloud Storage в CloudEvent.
const app = express();
app.use(express.json());
app.post('/', async (req, res) => {
try {
const cloudEvent = HTTP.toEvent({ headers: req.headers, body: req.body });
console.log(cloudEvent);
/* ... */
} catch (err) {
console.log(`Error: ${err}`);
res.status(500).send(err);
}
});
Выше показана структура обработчика Node: наше приложение отвечает на запросы POST. Она считывает CloudEvent из HTTP-запроса, и мы немного обрабатываем ошибки на случай, если что-то пойдет не так. Теперь давайте посмотрим, что находится внутри этой структуры.
Следующим шагом является извлечение и анализ тела CloudEvent и извлечение имени объекта:
const storageObjectData = toStorageObjectData(cloudEvent.data);
console.log(storageObjectData);
const objectName = storageObjectData.name;
Теперь, когда мы знаем название изображения, мы можем удалить его из сегмента thumbnails:
try {
await storage.bucket(bucketThumbnails).file(objectName).delete();
console.log(`Deleted '${objectName}' from bucket '${bucketThumbnails}'.`);
}
catch(err) {
console.log(`Failed to delete '${objectName}' from bucket '${bucketThumbnails}': ${err}.`);
}
На последнем шаге удалите метаданные изображения из коллекции Firestore:
try {
const pictureStore = new Firestore().collection('pictures');
const docRef = pictureStore.doc(objectName);
await docRef.delete();
console.log(`Deleted '${objectName}' from Firestore collection 'pictures'`);
}
catch(err) {
console.log(`Failed to delete '${objectName}' from Firestore: ${err}.`);
}
res.status(200).send(`Processed '${objectName}'.`);
Теперь нужно сделать так, чтобы наш скрипт Node прослушивал входящие запросы. Также проверьте, заданы ли необходимые переменные среды:
app.listen(PORT, () => {
if (!bucketThumbnails) throw new Error("BUCKET_THUMBNAILS not set");
console.log(`Started service on port ${PORT}`);
});
7. Локальное тестирование
Протестируйте код локально, чтобы убедиться, что он работает, прежде чем развертывать его в облаке.
В папке garbage-collector/nodejs установите зависимости npm и запустите сервер:
export BUCKET_THUMBNAILS=thumbnails-$GOOGLE_CLOUD_PROJECT npm install; npm start
Если все прошло успешно, сервер должен запуститься на порту 8080:
Started service on port 8080
Чтобы его отключить, используйте жест "CTRL-C".
8. Создание и развертывание в Cloud Run
Перед развертыванием в Cloud Run укажите один из поддерживаемых регионов Cloud Run и задайте для платформы значение managed:
REGION=europe-west1 gcloud config set run/region $REGION gcloud config set run/platform managed
Чтобы проверить, задана ли конфигурация, выполните следующие действия:
gcloud config list ... [run] platform = managed region = europe-west1
Вместо того чтобы создавать и публиковать образ контейнера вручную с помощью Cloud Build, вы можете использовать Cloud Run, чтобы создать образ контейнера с помощью Google Cloud Buildpacks.
Выполните следующую команду, чтобы создать образ контейнера с помощью Google Cloud Buildpack, а затем разверните образ контейнера в Cloud Run:
SERVICE_NAME=garbage-collector-service
gcloud run deploy $SERVICE_NAME \
--source . \
--no-allow-unauthenticated \
--update-env-vars BUCKET_THUMBNAILS=$BUCKET_THUMBNAILS
Обратите внимание на флаг –-source. Это указывает Cloud Run на необходимость использовать Google Cloud Buildpacks для создания образа контейнера без Dockerfile.. Флаг --no-allow-unauthenticated делает сервис Cloud Run внутренним сервисом, который будет запускаться только определенными сервисными аккаунтами. Позже вы создадите триггер с сервисным аккаунтом Compute Engine по умолчанию, у которого есть роль run.invoker, чтобы вызывать внутренние сервисы Cloud Run.
9. Как создать триггер
В Eventarc триггер определяет, какой сервис должен получать события определенного типа. В этом случае вы хотите, чтобы сервис получал события, когда файл удаляется в сегменте.
Укажите местоположение триггера в том же регионе, что и сегмент загруженных изображений:
gcloud config set eventarc/location eu
Создайте триггер AuditLog, чтобы отфильтровать события storage.objects.delete и отправить их в сервис Cloud Run:
BUCKET_IMAGES=uploaded-pictures-$GOOGLE_CLOUD_PROJECT gcloud eventarc triggers create trigger-$SERVICE_NAME \ --destination-run-service=$SERVICE_NAME \ --destination-run-region=$REGION \ --event-filters="type=google.cloud.storage.object.v1.deleted" \ --event-filters="bucket=$BUCKET_IMAGES" \ --service-account=$PROJECT_NUMBER-compute@developer.gserviceaccount.com
Чтобы проверить, создан ли триггер, выполните следующую команду:
gcloud eventarc triggers list
10. Протестируйте сервис
Чтобы проверить, работает ли сервис, перейдите в сегмент uploaded-pictures и удалите одно из изображений. В журналах сервиса должно быть указано, что он удалил соответствующее изображение из сегмента thumbnails и его документ из коллекции Firestore pictures.

11. Очистка (необязательно)
Если вы не планируете выполнять другие лабораторные работы из этой серии, удалите ресурсы, чтобы не платить за них и не занимать облачное пространство. Вы можете удалить ресурсы по отдельности, как описано ниже.
Удалите сервис:
gcloud run services delete $SERVICE_NAME -q
Удалите триггер Eventarc:
gcloud eventarc triggers delete trigger-$SERVICE_NAME -q
Вы также можете удалить весь проект. Для этого:
gcloud projects delete $GOOGLE_CLOUD_PROJECT
12. Поздравляем!
Поздравляем! Вы создали сервис Cloud Run, сборщик мусора изображений, который запускается Eventarc – новым сервисом для получения событий в Cloud Run. Когда изображение удаляется из корзины, сервис получает событие от Eventarc. Затем оно удаляет изображение из сегмента уменьшенных изображений и из коллекции изображений Firestore.
Что мы обсудили
- Cloud Run
- Cloud Storage
- Cloud Firestore
- Eventarc