Семинар по модернизации приложений

1. Введение

Последнее обновление: 1 ноября 2024 г.

Как модернизировать старое приложение PHP для Google Cloud?

(📽️ посмотрите 7-минутное вводное видео к этой практической работе)

Часто бывает, что локально запущены устаревшие приложения, которые нужно модернизировать. Это означает, что они должны быть масштабируемыми, безопасными и развертываемыми в различных средах.

На этом семинаре вы:

  1. Контейнеризация приложения PHP.
  2. Перейдите на управляемый сервис баз данных (Cloud SQL).
  3. Разверните в Cloud Run (это альтернатива GKE/Kubernetes, не требующая обслуживания).
  4. Защита приложения с помощью Identity and Access Management (IAM) и Secret Manager.
  5. Определите конвейер CI/CD с помощью Cloud Build. Cloud Build можно подключить к репозиторию Git, размещенному у популярного поставщика Git, например GitHub или GitLab, и запускать при любой отправке в основную ветку.
  6. Разместите изображения приложения в Cloud Storage. Это достигается за счет монтирования, и для изменения приложения не требуется код.
  7. Внедрите функции генеративного ИИ с помощью Gemini, управляемого через Cloud Functions (бессерверная архитектура).
  8. Ознакомьтесь с целями уровня обслуживания и работой обновленного приложения.

Выполнив эти шаги, вы сможете постепенно модернизировать свое PHP-приложение, повысив его масштабируемость, безопасность и гибкость развертывания. Кроме того, переход на Google Cloud позволяет использовать его мощную инфраструктуру и сервисы, чтобы обеспечить бесперебойную работу приложения в облачной среде.

Мы считаем, что знания, которые вы получите, выполнив эти простые шаги, можно применить к вашему собственному приложению и организации с другим языком/стеком и другими вариантами использования.

О приложении

Приложение (код под лицензией MIT), которое вы будете форкать, – это базовое приложение PHP 5.7 с аутентификацией MySQL. Основная идея приложения – предоставить платформу, на которой пользователи могут загружать фотографии, а администраторы могут помечать неприемлемые изображения. В приложении есть две таблицы:

  • Пользователи. Используются стандартные настройки. Новые пользователи могут зарегистрироваться.
  • Картинки В шаблон уже включено несколько изображений. Пользователи, вошедшие в аккаунт, могут загружать новые фотографии. Мы добавим сюда немного магии.

Ваша цель

Мы хотим модернизировать старое приложение, чтобы разместить его в Google Cloud. Мы будем использовать инструменты и сервисы Google Cloud, чтобы улучшить масштабируемость, повысить безопасность, автоматизировать управление инфраструктурой и интегрировать продвинутые функции, такие как обработка изображений, мониторинг и хранение данных, с помощью таких сервисов, как Cloud SQL, Cloud Run, Cloud Build, Secret Manager и других.

445f7a9ae37e9b4d.png

Мы хотим, чтобы вы поняли, как устроен процесс, поэтому будем двигаться шаг за шагом. Каждый шаг открывает новые возможности для следующего (например, модули 2 и 3, 6 и 7).

Ещё не уверены? Посмотрите это 7-минутное видео на YouTube.

Что вам понадобится

  • Компьютер с браузером и подключением к интернету.
  • Бонусы GCP. См. следующий шаг.
  • Вы будете использовать Cloud Shell. В ней есть все необходимые предустановленные команды и интегрированная среда разработки.
  • Аккаунт GitHub. Это нужно, чтобы создать ветку исходного кода 🧑🏻‍💻 gdgpescara/app-mod-workshop в вашем хранилище git. Это необходимо для создания собственного конвейера CI/CD (автоматическая фиксация -> сборка -> развертывание).

Примеры решений можно найти здесь:

Этот семинар предназначен для работы в Cloud Shell (в браузере).

Однако вы можете попробовать сделать это на своем компьютере.

2. Настройка кредита и форк

6dafc658860c0ce5.png

Как активировать бонус GCP и настроить среду GCP (необязательно)

Чтобы выполнить практическую работу, вам понадобится платежный аккаунт с положительным балансом. Чтобы начать, используйте бонусы из баннера в верхней части этой практической работы. Если вы уже подключены к платежному аккаунту, пропустите этот шаг.

Затем откройте консоль Google Cloud и создайте проект. Для этого нажмите на селектор проектов в раскрывающемся меню в левом верхнем углу, где указано "Нет организации". См. раздел ниже

bd7548f78689db0b.png

Если у вас нет проекта, создайте его, как показано на скриншоте ниже. В правом верхнем углу есть кнопка "Новый проект".

6c82aebcb9f5cd47.png

Свяжите новый проект с пробным платежным аккаунтом GCP, как описано ниже.

f202527d254893fb.png

Теперь вы можете использовать Google Cloud Platform. Если вы новичок или просто хотите сделать все в облачной среде, вы можете получить доступ к Cloud Shell и его редактору с помощью кнопки в левом верхнем углу, как показано ниже.

7d732d7bf0deb12e.png

Убедитесь, что в левом верхнем углу выбран новый проект.

Не выбрано (плохо):

c2ffd36a781b276a.png

Выбрано (хорошо):

594563c158f4f590.png

Как создать форк приложения на GitHub

  1. Перейдите к демонстрационному приложению: https://github.com/gdgpescara/app-mod-workshop.
  2. Нажмите на вилку 🍴.
  3. Если у вас нет аккаунта GitHub, создайте его.
  4. Внесите нужные изменения.

734e51bfc29ee5df.png

  1. Клонируйте код приложения с помощью
  2. git clone https://github.com/YOUR-GITHUB-USER/YOUR-REPO-NAME
  1. Откройте папку клонированного проекта в любом удобном редакторе. Если вы выбрали Cloud Shell, нажмите Open Editor (Открыть редактор), как показано ниже.

40f5977ea4c1d1cb.png

В редакторе Google Cloud Shell есть все необходимое, как показано на рисунке ниже.

a4e5ffb3e9a35e84.png

Для этого нажмите "Открыть папку" и выберите нужную папку, например app-mod-workshop в домашнем каталоге.

3. Модуль 1. Создание экземпляра SQL

645902e511a432a6.png

Создание экземпляра Google Cloud SQL

Наше приложение PHP будет подключаться к базе данных MySQL, поэтому нам нужно реплицировать его в Google Cloud для безболезненной миграции. Cloud SQL идеально подходит для этого, поскольку позволяет запускать полностью управляемую базу данных MySQL в облаке. Вот что нужно сделать:

  1. Перейдите на страницу Cloud SQL: https://console.cloud.google.com/sql/instances.
  2. Нажмите "Создать экземпляр".
  3. При необходимости нажмите Включить API. Это может занять несколько секунд.
  4. Выберите MySQL.
  5. (Мы стараемся найти для вас самый дешевый вариант, чтобы он прослужил дольше):
  • Версия: Enterprise
  • Preset (Набор настроек): development (мы пробовали Sandbox, но он нам не подошел).
  • Версия MySQL: 5.7 (да, это старая версия).
  1. Идентификатор экземпляра: выберите appmod-phpapp (если вы измените его, не забудьте также изменить будущие скрипты и решения).
  2. Пароль: любой, но запишите его как CLOUDSQL_INSTANCE_PASSWORD.
  3. Регион: выберите тот же, что и для остальных частей приложения (например, Милан – europe-west8).
  4. Zonal avail: Single Zone (we're saving money for the demo)

Нажмите кнопку "Создать экземпляр", чтобы развернуть базу данных Cloud SQL. ⌛ Это займет около 10 минут.⌛ Пока продолжайте читать документацию. Вы также можете начать работу со следующим модулем ("Контейнеризация приложения PHP"), поскольку он не зависит от этого модуля в первой части (пока вы не исправите подключение к БД).

Примечание. Этот экземпляр будет стоить около 7 долларов США в день. Не забудьте запустить его после семинара.

Создайте базу данных image_catalog и пользователя в Cloud SQL

В проекте приложения есть папка db/, которая содержит два SQL-файла:

  1. 01_schema.sql: содержит SQL-код для создания двух таблиц с данными пользователей и изображений.
  2. 02_seed.sql – содержит код SQL для заполнения созданных таблиц данными.

Эти файлы будут использоваться позже, когда будет создана база данных image_catalog. Для этого выполните следующие действия:

  1. Откройте экземпляр и перейдите на вкладку Databases (Базы данных).
  2. Нажмите "Создать базу данных".
  3. Назовите его image_catalog (как в конфигурации приложения PHP).

997ef853e5ebd857.png

Затем мы создаем пользователя базы данных. С помощью этого мы можем пройти аутентификацию в базе данных image_catalog.

  1. Перейдите на вкладку Пользователи.
  2. Нажмите "Добавить аккаунт пользователя".
  3. Пользователь: давайте создадим его.
  • Имя пользователя: appmod-phpapp-user.
  • Пароль. Выберите пароль, который вы сможете запомнить, или нажмите "Сгенерировать".
  • Оставьте значение Allow any host (%) (Разрешить любой хост (%)).
  1. Нажмите "Добавить".

Откройте базу данных для известных IP-адресов.

Обратите внимание, что все базы данных в Cloud SQL изначально изолированы. Вам нужно явно настроить сеть, из которой будет осуществляться доступ.

  1. Нажмите на свой экземпляр.
  2. Откройте меню "Подключения".
  3. Перейдите на вкладку "Сеть".
  4. Нажмите на ссылку в разделе "Авторизованные сети". Теперь добавьте сеть (подсеть).
  • Для начала выберем быстрые, но НЕБЕЗОПАСНЫЕ настройки, чтобы приложение заработало. Позже вы сможете ограничить доступ, указав только доверенные IP-адреса.
  • Название: "Все пользователи – НЕБЕЗОПАСНО".
  • Сеть: 0.0.0.0/0" (Примечание. Это НЕЗАЩИЩЕННАЯ часть.)
  • Нажмите "Готово".
  1. Нажмите "Сохранить".

Вы увидите примерно следующее:

5ccb9062a7071964.png

Примечание. Это решение – хороший компромисс, позволяющий завершить семинар за несколько часов. Однако ознакомьтесь с документом SECURITY, чтобы защитить свое решение для рабочей версии.

Проверьте подключение к базе данных

Давайте проверим, работает ли пользователь image_catalog, которого мы создали ранее.

Откройте Cloud SQL Studio в экземпляре и введите базу данных, имя пользователя и пароль для аутентификации, как показано ниже.

d56765c6154c11a4.png

Теперь вы можете открыть редактор SQL и перейти к следующему разделу.

Импорт базы данных из базы кода

Импортируйте таблицы image_catalog с данными, используя редактор SQL. Скопируйте SQL-код из файлов в репозитории (01_schema.sql, а затем 02_seed.sql) и выполните их один за другим в последовательном порядке.

После этого в image_catalog должны появиться две таблицы: users и images, как показано ниже.

65ba01e4c6c2dac0.png

Вы можете протестировать его, выполнив в редакторе следующий код: select * from images;

Также запишите общедоступный IP-адрес экземпляра Cloud SQL, он понадобится вам позже. Чтобы получить IP-адрес, перейдите на главную страницу экземпляра Cloud SQL в разделе Обзор. (Обзор > Подключиться к этому экземпляру > Общедоступный IP-адрес).

4. Модуль 2. Контейнеризация приложения PHP

e7f0e9979d8805f5.png

Мы хотим создать это приложение для облака.

Это означает упаковку кода в ZIP-файл, содержащий всю информацию для его запуска в облаке.

Есть несколько способов упаковать его:

  • Docker. Очень популярный, но довольно сложный в настройке.
  • Buildpacks. Менее популярный, но имеет тенденцию "автоматически угадывать", что создавать и что запускать. Часто этого достаточно.

В рамках этого семинара мы будем считать, что вы используете Docker.

Если вы решили использовать Cloud Shell, откройте его снова, нажав на значок в правом верхнем углу консоли.

ec6a6b90b39e03e.png

В нижней части страницы откроется удобная оболочка, в которой вы должны были создать форк кода на этапе настройки.

6999b906c0dedeb7.png

Docker

Если вы хотите контролировать процесс, это решение для вас. Это имеет смысл, когда вам нужно настроить определенные библиотеки и внедрить определенные неочевидные действия (chmod в загрузках, нестандартный исполняемый файл в вашем приложении и т. д.).

Поскольку в конечном итоге мы хотим развернуть контейнеризированное приложение в Cloud Run, ознакомьтесь с документацией. Как бы вы перенесли его из PHP 8 в PHP 5.7? Может, Gemini поможет? Вы также можете использовать следующий готовый вариант:

# Use the official PHP image: https://hub.docker.com/_/php
FROM php:5.6-apache

# Configure PHP for Cloud Run.
# Precompile PHP code with opcache.
# Install PHP's extension for MySQL
RUN docker-php-ext-install -j "$(nproc)" opcache mysqli pdo pdo_mysql && docker-php-ext-enable pdo_mysql

RUN set -ex; \
  { \
    echo "; Cloud Run enforces memory & timeouts"; \
    echo "memory_limit = -1"; \
    echo "max_execution_time = 0"; \
    echo "; File upload at Cloud Run network limit"; \
    echo "upload_max_filesize = 32M"; \
    echo "post_max_size = 32M"; \
    echo "; Configure Opcache for Containers"; \
    echo "opcache.enable = On"; \
    echo "opcache.validate_timestamps = Off"; \
    echo "; Configure Opcache Memory (Application-specific)"; \
    echo "opcache.memory_consumption = 32"; \
  } > "$PHP_INI_DIR/conf.d/cloud-run.ini"

# Copy in custom code from the host machine.
WORKDIR /var/www/html

COPY . .

# Setup the PORT environment variable in Apache configuration files: https://cloud.google.com/run/docs/reference/container-contract#port
ENV PORT=8080

# Tell Apache to use 8080 instead of 80.
RUN sed -i 's/80/${PORT}/g' /etc/apache2/sites-available/000-default.conf /etc/apache2/ports.conf

# Note: This is quite insecure and opens security breaches. See last chapter for hardening ideas.
# Uncomment at your own risk:
#RUN chmod 777 /var/www/html/uploads/

# Configure PHP for development.
# Switch to the production php.ini for production operations.
# RUN mv "$PHP_INI_DIR/php.ini-production" "$PHP_INI_DIR/php.ini"
# https://github.com/docker-library/docs/blob/master/php/README.md#configuration
RUN mv "$PHP_INI_DIR/php.ini-development" "$PHP_INI_DIR/php.ini"

# Expose the port
EXPOSE 8080

Последняя версия Dockerfile доступна здесь.

Чтобы протестировать приложение локально, нужно изменить файл config.php так, чтобы приложение PHP подключалось к базе данных MYSQL, доступной в Google CloudSQL. Основываясь на том, что вы настроили ранее, заполните пропуски:

<?php
// Database configuration
$db_host = '____________';
$db_name = '____________';
$db_user = '____________';
$db_pass = '____________';

try {
    $pdo = new PDO("mysql:host=$db_host;dbname=$db_name", $db_user, $db_pass);
    $pdo->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
} catch (PDOException $e) {
    die("Errore di connessione: " . $e->getMessage());
}

session_start();
?>
  • DB_HOST – общедоступный IP-адрес Cloud SQL, который можно найти в консоли SQL:

bd27071bf450a8d0.png

  • DB_NAME не должно измениться: image_catalog
  • DB_USER должно быть appmod-phpapp-user
  • DB_PASS – это то, что вы выбрали. Заключите его в одинарные кавычки и при необходимости используйте экранирование.

Вы также можете перевести несколько фрагментов на 🇮🇹 итальянском языке на английский с помощью Gemini.

Теперь, когда у вас есть Dockerfile и вы настроили подключение PHP-приложения к базе данных, давайте попробуем запустить его.

Если у вас нет Docker, установите его. Если вы используете Cloud Shell, то вам не нужно этого делать.

Теперь попробуйте создать и запустить контейнеризированное приложение PHP с помощью соответствующих команд docker build и run.

# Build command - don't forget the final . This works if Dockerfile is inside the code folder:
$ docker build -t my-php-app-docker .   

# Local Run command: most likely ports will be 8080:8080
$ docker run -it -p <CONTAINER_PORT>:<LOCAL_MACHINE_PORT> my-php-app-docker

Если все работает, вы должны увидеть следующую веб-страницу при подключении к локальному хосту! Теперь, когда ваше приложение работает на порту 8080, нажмите на значок "Предварительный просмотр" (браузер с глазом), а затем выберите Предварительный просмотр на порту 8080 (или "Изменить порт" для любого другого порта).

33a24673f4550454.png

Как проверить результат в браузере

Теперь ваше приложение должно выглядеть примерно так:

2718ece96b1f18b6.png

Если вы войдете в систему с учетными данными Admin/admin123, то увидите примерно следующее:

68b62048c2e86aea.png

Отлично! Если не считать итальянского текста, все работает! 🎉🎉🎉

Если докеризация выполнена правильно, но учетные данные БД неверны, вы можете получить примерно следующее:

e22f45b79bab86e1.png

Попробуйте ещё раз, вы близки к цели!

Сохранение в Artifact Registry (необязательно)

Теперь у вас должно быть работающее контейнеризированное приложение PHP, готовое к развертыванию в облаке. Теперь нам нужно место в облаке, где мы будем хранить образ Docker и откуда его можно будет развертывать в сервисах Google Cloud, таких как Cloud Run. Это решение для хранения называется Artifact Registry. Это полностью управляемый сервис Google Cloud, предназначенный для хранения артефактов приложений, включая образы контейнеров Docker, пакеты Maven, модули npm и многое другое.

Давайте создадим хранилище в Google Cloud Artifact Registry, нажав соответствующую кнопку.

e1123f0c924022e6.png

Выберите допустимое название, формат и регион, подходящий для хранения артефактов.

4e516ed209c470ee.png

Вернитесь в локальную среду разработки, добавьте тег и отправьте образ контейнера приложения в только что созданное хранилище Artifact Registry. Для этого выполните следующие команды:

  • docker tag SOURCE_IMAGE[:TAG] TARGET_IMAGE[:TAG]
  • docker push TARGET_IMAGE[:TAG]

Результат должен выглядеть так, как показано на скриншоте ниже.

1e498feb4e88be9f.png

Ура! 🎉🎉🎉 Вы можете перейти на следующий уровень. А пока потратьте пару минут на то, чтобы попробовать загрузить файл, войти в систему и выйти из нее, а также ознакомиться с конечными точками приложения.Они вам понадобятся.

Возможные ошибки

Если вы получаете ошибки контейнеризации, попробуйте использовать Gemini, чтобы объяснить и исправить ошибку, предоставив:

  • Ваш текущий файл Dockerfile
  • полученная ошибка;
  • [при необходимости] выполняемый код PHP.

Разрешения на загрузку. Также попробуйте конечную точку /upload.php и загрузите изображение. Вы можете получить сообщение об ошибке, показанное ниже. Если да, то вам нужно исправить chmod/chown в Dockerfile.

Warning: move_uploaded_file(uploads/image (3).png): failed to open stream: Permission denied in /var/www/html/upload.php on line 11

PDOException "could not find driver" (или "Errore di connessione: could not find driver"). Убедитесь, что в Dockerfile есть нужные библиотеки PDO для mysql (pdo_mysql), чтобы подключиться к базе данных. Посмотрите примеры решений.

Не удалось перенаправить запрос на серверную часть. Не удалось подключиться к серверу через порт 8080. Это означает, что вы, вероятно, открываете не тот порт. Убедитесь, что вы открываете порт, через который Apache/Nginx действительно обслуживает запросы. Это нетривиальная задача. По возможности используйте порт 8080 (это упрощает работу с Cloud Run). Если вы хотите оставить порт 80 (например, потому что он нужен Apache), используйте другую команду для запуска:

$ docker run -it -p 8080:80 # force 80

# Use the PORT environment variable in Apache configuration files.

# https://cloud.google.com/run/docs/reference/container-contract#port

RUN sed -i 's/80/${PORT}/g' /etc/apache2/sites-available/000-default.conf /etc/apache2/ports.conf

5. Модуль 3. Развертывание приложения в Cloud Run

9ffca42774f6c5d1.png

Почему Cloud Run?

Хороший вопрос! Несколько лет назад вы бы наверняка выбрали Google App Engine.

Проще говоря, сегодня Cloud Run имеет более новый набор технологий, его проще развертывать, он дешевле и уменьшает масштаб до 0, когда вы его не используете. Благодаря гибкости, позволяющей запускать любой контейнер без сохранения состояния, и интеграции с различными сервисами Google Cloud, Cloud Run идеально подходит для развертывания микросервисов и современных приложений с минимальными накладными расходами и максимальной эффективностью.

Cloud Run – это полностью управляемая платформа Google Cloud, которая позволяет запускать контейнеризованные приложения без отслеживания состояния в бессерверной среде. Она автоматически управляет всей инфраструктурой, масштабируя ее от нуля до уровня, необходимого для обработки входящего трафика, и уменьшая ее, когда она не используется. Это делает ее экономичной и эффективной. Cloud Run поддерживает любые языки и библиотеки, упакованные в контейнер, что обеспечивает высокую гибкость при разработке. Она хорошо интегрируется с другими сервисами Google Cloud и подходит для создания микросервисов, API, сайтов и приложений, управляемых событиями, без необходимости управлять серверной инфраструктурой.

Требования

Для выполнения этой задачи на вашем локальном компьютере должен быть установлен gcloud. Если нет, следуйте инструкциям. Если вы используете Google Cloud Shell, никаких действий не требуется.

Перед развертыванием

Если вы работаете в локальной среде, выполните аутентификацию в Google Cloud с помощью следующей команды:

  • $ gcloud auth login –update-adc # not needed in Cloud Shell

В браузере откроется страница аутентификации OAuth. Убедитесь, что вы вошли в Chrome с тем же аккаунтом (например, vattelapesca@gmail.com), который используется для входа в Google Cloud с включенными платежными функциями.

Включите Cloud Run API с помощью следующей команды:

  • $ gcloud services enable run.googleapis.com cloudbuild.googleapis.com

Теперь все готово к развертыванию в Cloud Run.

Разверните приложение в Cloud Run с помощью gcloud

Команда, которая позволяет развернуть приложение в Cloud Run, – gcloud run deploy. чтобы достичь поставленной цели. Минимальный набор параметров, которые можно указать в командной строке или в интерактивном режиме:

  1. Название сервиса Cloud Run, который вы хотите развернуть для своего приложения. Сервис Cloud Run вернет вам URL, который предоставляет конечную точку для вашего приложения.
  2. Регион Google Cloud, в котором будет работать ваше приложение. (--region REGION)
  3. Образ контейнера, в который упаковано приложение.
  4. Переменные среды, которые нужны приложению во время работы.
  5. Флаг Allow-Unauthenticated, который разрешает всем пользователям доступ к вашему приложению без дополнительной аутентификации.

Ознакомьтесь с документацией (или прокрутите вниз, чтобы найти возможное решение), чтобы узнать, как применить этот параметр к командной строке.

Развертывание займет несколько минут. Если все сделано правильно, в консоли Google Cloud вы увидите примерно следующее:

ef1029fb62f8de81.pngf7191d579c21ca3e.png

Нажмите на URL, предоставленный Cloud Run, и протестируйте приложение. После аутентификации вы увидите примерно следующее:

d571a90cd5a373f9.png

"gcloud run deploy" без аргументов

Вы могли заметить, что gcloud run deploy задает вам правильные вопросы и заполняет пробелы, которые вы оставили. Это потрясающе!

Однако в некоторых модулях мы добавим эту команду в триггер сборки Cloud Build, поэтому мы не можем позволить себе интерактивные вопросы. Нам нужно заполнить все параметры в команде. Итак, вы хотите создать золотой предмет "gcloud run deploy --option1 blah --foo bar --region your-fav-region". Как реализовать концепцию?

  1. Повторяйте шаги 2–4, пока gcloud не перестанет задавать вопросы.
  2. [LOOP] Найдено gcloud run deploy с вариантами.
  3. [LOOP] systems ask for option X
  4. [LOOP] Поищите в общедоступных документах, как настроить X из CLI, добавив параметр --my-option [my-value].
  5. Если gcloud завершит работу без дополнительных вопросов, вернитесь к шагу 2.
  6. Эта команда gcloud run deploy BLAH BLAH BLAH просто супер! Сохраните команду, она понадобится вам позже для шага Cloud Build.

Возможное решение описано здесь. Документация доступна здесь.

Ура! 🎉🎉🎉 Вы успешно развернули приложение в Google Cloud, сделав первый шаг к модернизации.

6. Модуль 4. Удаление пароля с помощью Secret Manager

95cd57b03b4e3c73.png

На предыдущем шаге мы успешно развернули и запустили приложение в Cloud Run. Однако мы сделали это с нарушением правил безопасности: предоставили некоторые секреты в виде открытого текста.

Первая итерация: обновите файл config.php, чтобы использовать ENV

Вы могли заметить, что мы поместили пароль базы данных прямо в код в файле config.php. Это подходит для тестирования и проверки работы приложения. Но вы не можете использовать такой код в рабочей среде. Пароль и другие параметры подключения к базе данных должны считываться динамически и передаваться приложению во время выполнения. Измените файл config.php, чтобы он считывал параметры базы данных из переменных ENV. Если это не удается, попробуйте задать значения по умолчанию. Это полезно на случай, если не удастся загрузить ENV, так как вывод страницы сообщит вам, используются ли значения по умолчанию. Заполните пустые поля и замените код в файле config.php.

<?php
// Database configuration with ENV variables. Set default values as well 
$db_host = getenv('DB_HOST') ?: 'localhost';
$db_name = getenv('DB_NAME') ?: 'image_catalog';
$db_user = getenv('DB_USER') ?: 'appmod-phpapp-user';
$db_pass = getenv('DB_PASS') ?: 'wrong_password';
// Note getenv() is PHP 5.3 compatible
try {
    $pdo = new PDO("mysql:host=$db_host;dbname=$db_name", $db_user, $db_pass);
    $pdo->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
} catch (PDOException $e) {
    die("Errore di connessione: " . $e->getMessage());
}

session_start();
?>

Поскольку ваше приложение контейнеризировано, вам нужно предоставить способ передачи переменных ENV в приложение. Это можно сделать несколькими способами:

  • Во время сборки в Dockerfile. Добавьте в предыдущий файл Dockerfile четыре параметра, используя синтаксис ENV DB_VAR=ENV_VAR_VALUE. Это позволит задать значения по умолчанию, которые можно будет переопределить во время выполнения. Например, здесь можно задать значения DB_NAME и DB_USER.
  • Во время выполнения. Вы можете настроить эти переменные для Cloud Run как в CLI, так и в пользовательском интерфейсе. Здесь нужно указать все четыре переменные (если вы не хотите использовать значения по умолчанию, заданные в Dockerfile).

На локальном хосте вы можете поместить переменные ENV в файл .env (см. папку solutions).

Также убедитесь, что файл .env добавлен в .gitignore, чтобы не передавать секретные данные в GitHub.

echo .env >> .gitignore

После этого вы можете протестировать экземпляр локально:

docker run -it -p 8080:8080 --env-file .env my-php-app-docker

Теперь вы сделали следующее:

  1. Ваше приложение будет динамически считывать переменную из ENV.
  2. Вы повысили безопасность, удалив пароль базы данных из кода.

Теперь вы можете развернуть новую версию в Cloud Run. Давайте перейдем в интерфейс и зададим переменные среды вручную.

  • Перейдите на страницу https://console.cloud.google.com/run.
  • Нажмите на приложение.
  • Нажмите "Изменить и развернуть новую версию".
  • На первой вкладке "Контейнеры" нажмите на нижнюю вкладку "Переменные и секреты".
  • Нажмите "+ Добавить переменную" и добавьте все нужные переменные. Должно получиться примерно следующее:

7a5fbfa448544d3.pngf2780c35585388ca.png

Это идеально? Нет, ваш проездной по-прежнему виден большинству операторов. Эту проблему можно решить с помощью Google Cloud Secret Manager.

Вторая итерация: Secret Manager

Пароли исчезли из вашего кода. Победа! Но подождите, мы уже в безопасности?

Ваши пароли по-прежнему видны всем, у кого есть доступ к консоли Google Cloud. Вы можете получить его из файла развертывания YAML в Cloud Run. Если вы попытаетесь изменить или развернуть новую версию Cloud Run, пароль будет виден в разделе Variables & Secrets (Переменные и секреты), как показано на скриншотах ниже.

Google Cloud Secret Manager – это безопасный централизованный сервис для управления конфиденциальной информацией, такой как ключи API, пароли, сертификаты и другие секреты.

Он позволяет хранить секреты, управлять ими и получать к ним доступ с помощью детализированных разрешений и надежного шифрования. Secret Manager интегрирован с Google Cloud Identity and Access Management (IAM), что позволяет вам контролировать, кто может получать доступ к определенным секретам, обеспечивая защиту данных и соблюдение нормативных требований.

Он также поддерживает автоматическую ротацию и управление версиями секретов, упрощая управление их жизненным циклом и повышая безопасность приложений в сервисах Google Cloud.

Чтобы открыть Secret Manager, в меню в виде трех горизонтальных полосок выберите Security (Безопасность) и найдите нужный сервис в разделе Data Protection (Защита данных), как показано на скриншоте ниже.

6df83a1c3cb757f6.png

Включите Secret Manager API, как показано на изображении ниже.

a96c312e2c098db1.png

  • Нажмите Create a secret (Создать секрет). Назовите его так, чтобы было понятно, что это:
  • Название: php-amarcord-db-pass
  • Значение секрета: пароль от базы данных (пропустите раздел "Загрузить файл").
  • Добавьте аннотацию к этой секретной ссылке. Она должна выглядеть так: projects/123456789012/secrets/php-amarcord-db-pass. Это уникальный указатель на ваш секрет (для Terraform, Cloud Run и других). Это уникальный номер вашего проекта.

Совет. Попробуйте использовать единые правила именования секретов, например:cloud-devrel-phpamarcord-dbpass

  • Организация (в компании)
  • Команда (в организации)
  • Приложение (внутри команды)
  • Название переменной (в приложении)

Это позволит вам использовать простые регулярные выражения для поиска всех секретов одного приложения.

Как создать новую версию Cloud Run

Теперь, когда у нас есть новый секретный ключ, нам нужно избавиться от переменной среды DB_PASS и заменить ее новым секретным ключом. Допустим, к примеру, что вы отправили следующую строку:

  • Доступ к Cloud Run через консоль Google Cloud.
  • Выберите приложение.
  • Нажмите "Изменить и развернуть новую версию".
  • найдите вкладку Variables & Secrets (Переменные и секреты).
  • Нажмите кнопку "+ Reference a Secret" (+ Ссылка на секрет), чтобы сбросить переменную среды DB_PASS.
  • Используйте один и тот же пароль DB_PASS для секретов, на которые ссылаетесь, и используйте последнюю версию.

9ed4e35be7654dcb.png

После этого вы должны получить следующую ошибку:

da0ccd7af39b04ed.png

Попробуйте разобраться, как устранить проблему. Чтобы решить эту проблему, перейдите в раздел IAM и администрирование и измените разрешения. Желаем успехов!

После этого вернитесь в Cloud Run и повторно разверните новую версию. Результат должен выглядеть так:

e89f9ca780169b6b.png

Совет. В Developer Console (UI) удобно отслеживать проблемы с разрешениями. Попробуйте перейти по всем ссылкам для объектов Cloud.

7. Модуль 5. Настройка CI/CD с помощью Cloud Build

ba49b033c11be94c.png

Зачем нужен конвейер CI/CD?

К этому моменту вы уже несколько раз ввели gcloud run deploy, возможно, отвечая на один и тот же вопрос снова и снова.

Надоело вручную развертывать приложение с помощью gcloud run deploy? Было бы здорово, если бы ваше приложение могло автоматически развертываться каждый раз, когда вы отправляете новое изменение в репозиторий Git?

Чтобы использовать конвейер CI/CD, вам понадобятся две вещи:

  1. Личное хранилище Git. На шаге 2 вы должны были создать форк хранилища семинара в своем аккаунте GitHub. Если нет, вернитесь и выполните этот шаг. Ваш форкнутый репозиторий должен выглядеть следующим образом: https://github.com/<YOUR_GITHUB_USER>/app-mod-workshop
  2. Cloud Build. Этот потрясающий и недорогой сервис позволяет настраивать автоматизацию сборки практически для всего: Terraform, приложений в контейнерах Docker и т. д.

В этом разделе мы рассмотрим настройку Cloud Build.

Cloud Build

Для этого мы будем использовать Cloud Build:

  • создать источник (с помощью Dockerfile). Это своего рода большой ZIP-архив, в котором есть все необходимое для сборки и запуска приложения (артефакт сборки).
  • отправьте этот объект в Artifact Registry (AR).
  • Затем разверните приложение php-amarcord из AR в Cloud Run.
  • Это создаст новую версию существующего приложения (представьте себе слой с новым кодом), и мы настроим его так, чтобы трафик перенаправлялся на новую версию, если отправка пройдет успешно.

Вот примеры сборок для моего приложения php-amarcord:

f30f42d4571ad5e2.png

Как мы это делаем?

  1. Создав один идеальный YAML-файл: cloudbuild.yaml
  2. Создав триггер сборки Cloud Build.
  3. Подключитесь к нашему репозиторию GitHub через интерфейс Cloud Build.

Создание триггера (и подключение хранилища)

  • Перейдите на страницу https://console.cloud.google.com/cloud-build/triggers.
  • Нажмите "Создать триггер".
  • Компиляция:
  • Название: что-то понятное, например on-git-commit-build-php-app.
  • Событие: отправка в ветку.
  • Источник: "Подключить новое хранилище" альтернативный текст
  • Справа откроется окно "Подключить хранилище".
  • Поставщик источника: GitHub (первый).
  • "Продолжить"
  • При нажатии на кнопку "Аутентифицировать" откроется окно GitHub для перекрестной аутентификации. Будьте терпеливы и следуйте инструкциям. Если у вас много репозиториев, это может занять некоторое время.
  • Нажмите "Select repo (Выбрать репозиторий)", выберите аккаунт или репозиторий и установите флажок "I understand... (Я понимаю...)".
  • Если вы получили сообщение об ошибке "Приложение GitHub не установлено ни в одном из ваших хранилищ", нажмите "Установить Google Cloud Build" и следуйте инструкциям.
  • 23e0e0f1219afea3.pngНажмите "Подключить".
  • bafd904ec07122d2.png
  • Верно! Репозиторий подключен.
  • Вернемся к триггеру.
  • Конфигурация: Автоматическое определение (*)
  • Дополнительно: выберите сервисный аккаунт [PROJECT_NUMBER]-compute@developer.gserviceaccount.com.
  • xxxxx – идентификатор проекта.
  • Сервисный аккаунт Compute Engine по умолчанию подходит для лабораторных работ, но не используйте его в рабочей среде. Подробнее…
  • Остальные настройки оставьте без изменений.
  • Нажмите кнопку "Создать".

(*) Это самый простой способ, поскольку он проверяет наличие Dockerfile или cloudbuild.yaml. Однако cloudbuild.yaml дает вам реальную возможность решать, что делать на каждом шаге.

У меня есть сила!

Теперь триггер не будет работать, пока вы не предоставите сервисному аккаунту Cloud Build (что такое сервисный аккаунт? Адрес электронной почты "робота", который действует от вашего имени при выполнении задачи (в данном случае – при создании объектов в Cloud).

Ваш SA не сможет создать и развернуть его, если вы не предоставите ему такую возможность. К счастью, это просто!

  • Перейдите в раздел Cloud Build > Settings (Настройки).
  • Сервисный аккаунт [PROJECT_NUMBER]-compute@developer.gserviceaccount.com
  • Установите флажки:
  • Cloud Run
  • Secret Manager
  • Сервисные аккаунты
  • Cloud Build
  • Также установите флажок "Сделать предпочтительным сервисным аккаунтом".

8715acca72286a46.png

Где находится YAML-файл Cloud Build?

Мы настоятельно рекомендуем вам потратить некоторое время на создание собственного YAML-файла Cloud Build.

Если у вас нет времени или желания, вы можете найти вдохновение в папке .solutions.

Теперь вы можете отправить изменение в GitHub и посмотреть, как Cloud Build выполнит свою часть работы.

Настройка Cloud Build может быть сложной. Будьте готовы к тому, что вам придется:

  • Проверка журналов на странице https://console.cloud.google.com/cloud-build/builds;region=global
  • Поиск ошибки.
  • Исправление в коде и повторная отправка git commit / git push.
  • Иногда ошибка кроется не в коде, а в конфигурации. В этом случае вы можете запустить новую сборку в интерфейсе (Cloud Build > Triggers (Триггеры) > Run (Запустить)).

97acd16980a144ab.png

Обратите внимание, что если вы используете это решение, вам все равно нужно будет выполнить некоторые действия. Например, вам нужно установить переменные ENV для вновь созданных конечных точек dev/prod:

3da8723e4ff80c0a.png

Это можно сделать двумя способами:

  • Через интерфейс, повторно задав переменные ENV.
  • Через CLI, создав для вас идеальный скрипт. Пример можно найти здесь: gcloud-run-deploy.sh. Вам нужно будет изменить несколько параметров, например конечную точку и номер проекта. Номер проекта можно найти в обзоре Cloud.

Как зафиксировать код в GitHub?

В рамках этого семинара мы не будем учить вас, как лучше всего git push в GitHub. Однако если вы застряли и находитесь в Cloud Shell, есть два способа:

  1. CLI. Добавьте SSH-ключ локально и добавьте удаленный репозиторий с помощью git@github.com:YOUR_USER/app-mod-workshop.git (вместо http).
  2. VSCode. Если вы используете редактор Cloud Shell, откройте вкладку Source control (Ctrl + Shift + G), нажмите Sync changes (Синхронизировать изменения) и следуйте инструкциям. Вы должны иметь возможность выполнить аутентификацию своей учетной записи github в vscode, и оттуда pull/push станет проще простого.

f0d53f839c7fa3b6.png

Не забудьте добавить git add clodubuild.yaml к другим файлам, иначе ничего не получится.

Глубокое и поверхностное соответствие между средами разработки и производства [необязательно]

Если вы скопировали версию модели отсюда, у вас будут две идентичные версии: DEV и PROD. Это здорово и соответствует правилу 10 методологии Twelve-Factor App.

Однако мы используем две разные конечные точки, чтобы приложение указывало на одну и ту же базу данных. Для семинара этого достаточно, но в реальной жизни вам нужно будет потратить некоторое время на создание надлежащей рабочей среды. Это означает, что у вас есть две базы данных (одна для разработки и одна для производства), а также выбор места их размещения для аварийного восстановления/высокой доступности. Это выходит за рамки нашего семинара, но дает пищу для размышлений.

Если у вас есть время на глубокую локализацию, не забудьте, что вам нужно будет продублировать все ресурсы, например:

  • База данных Cloud SQL (и, возможно, экземпляр SQL).
  • Сегмент GCS
  • Функция Cloud Functions.
  • Вы можете использовать Gemini 1.5 Flash в качестве модели в разработке (дешевле, быстрее) и Gemini 1.5 Pro (мощнее).

В целом, каждый раз, когда вы что-то делаете с приложением, критически подумайте: должно ли производство иметь такое же значение или нет? Если нет, удвойте усилия. Конечно, это намного проще сделать с помощью Terraform, где вы можете добавить свою среду (-dev, -prod) в качестве суффикса к своим ресурсам.

8. Модуль 6. Переход на Google Cloud Storage

a680e0f287dd2dfb.png

Хранилище

dc3a4b8ea92aaef6.png

Сейчас приложение хранит состояние в контейнере Docker. Если машина сломается, приложение взорвется или вы просто загрузите новую версию, будет запланирована новая версия с новым пустым хранилищем: 🙈

Как это исправить? Есть несколько подходов.

  1. Хранить изображения в базе данных. Именно так я и поступил со своим предыдущим приложением на PHP. Это самое простое решение, которое не усложняет работу. Но это точно увеличивает задержку и нагрузку на базу данных.
  2. Перенесите приложение Cloud Run в решение, поддерживающее хранение данных, например GCE + Persistent disk. Может, GKE + Storage? Примечание. Чем больше у вас контроля, тем меньше гибкости.
  3. Перейдите в GCS. Google Cloud Storage – это лучшее в своем классе хранилище для всей платформы Google Cloud и наиболее идиоматичное облачное решение. Однако для этого нам придется поработать с библиотеками PHP. Есть ли у нас библиотеки PHP 5.7 для GCS? Поддерживает ли PHP 5.7 версию Composer (похоже, что PHP 5.3.2 – самая ранняя версия, поддерживаемая Composer)?
  4. Может быть, использовать вспомогательный контейнер Docker?
  5. или точки монтирования Cloud Run. Звучит потрясающе.

🤔 Перенос хранилища (открытый вопрос)

[Открытый вопрос] В этом упражнении вам нужно найти способ переместить изображения так, чтобы они сохранялись.

Приемочное тестирование

Я не хочу предлагать решение, но хочу, чтобы произошло следующее:

  1. Вы загружаете newpic.jpg. Вы видите его в приложении.
  2. Вы обновляете приложение до новой версии.
  3. newpic.jpg по-прежнему виден.

💡 Возможное решение (точки подключения томов GCS Cloud Run)

Это очень элегантное решение, которое позволяет нам загружать файлы с сохранением состояния, вообще не затрагивая код (кроме показа описания изображения, но это тривиально и просто для удовлетворения глаз).

Это позволит вам подключить папку из Cloud Run к GCS, чтобы:

  1. Все загрузки в GCS будут видны в вашем приложении.
  2. Все файлы, загружаемые в приложение, на самом деле будут загружаться в GCS.
  3. Объекты, загруженные в GCS, будут обработаны (глава 7).

Примечание. Ознакомьтесь с примечаниями к FUSE. Это НЕ подходит, если производительность имеет значение.

Как создать сегмент GCS

GCS – это сервис хранения данных в Google Cloud. Она проверена в боевых условиях и используется всеми сервисами GCP, которым требуется хранилище.

Обратите внимание, что Cloud Shell экспортирует PROJECT_ID как GOOGLE_CLOUD_PROJECT:

$ export PROJECT_ID=$GOOGLE_CLOUD_PROJECT

#!/bin/bash

set -euo pipefail

# Your Cloud Run Service Name, eg php-amarcord-dev
SERVICE_NAME='php-amarcord-dev'
BUCKET="${PROJECT_ID}-public-images"
GS_BUCKET="gs://${BUCKET}"

# Create bucket
gsutil mb -l "$GCP_REGION" -p "$PROJECT_ID" "$GS_BUCKET/"

# Copy original pictures there - better if you add an image of YOURS before.
gsutil cp ./uploads/*.png "$GS_BUCKET/"

Настройте Cloud Run, чтобы подключить сегмент в папке /uploads/

Теперь перейдем к элегантной части. Мы создаем том php_uploads и указываем Cloud Run выполнить монтирование FUSE в MOUNT_PATH (что-то вроде /var/www/html/uploads/):

#!/bin/bash

set -euo pipefail

# .. keep variables from previous script..

# Uploads folder within your docker container.
# Tweak it for your app code.
MOUNT_PATH='/var/www/html/uploads/'

# Inject a volume mount to your GCS bucket in the right folder.
gcloud --project "$PROJECT_ID" beta run services update "$SERVICE_NAME" \
    --region $GCP_REGION \
    --execution-environment gen2 \
    --add-volume=name=php_uploads,type=cloud-storage,bucket="$BUCKET"  \
    --add-volume-mount=volume=php_uploads,mount-path="$MOUNT_PATH"

Повторите этот шаг для всех конечных точек, которые вы хотите направить в Cloud Storage.

Вы также можете сделать это в интерфейсе.

  1. На вкладке Volumes (Тома) создайте Volume Mounts (Точки подключения томов), указывающие на ваш сегмент, типа Cloud Storage bucket (Сегмент Cloud Storage), например с названием php_uploads.
  2. В разделе "Контейнеры > Подключения томов" подключите только что созданный том к точке подключения, запрашиваемой приложением. Это зависит от файла dockerfile, но может выглядеть как var/www/html/uploads/ .

В любом случае, если все работает, при редактировании новой версии Cloud Run вы должны увидеть примерно следующее:

6c2bb98fc1b0e077.png

Теперь протестируйте новое приложение, загрузив одно новое изображение в конечную точку /upload.php.

Изображения должны без проблем передаваться в GCS без написания ни одной строки PHP:

70032b216afee2d7.png

Что произошло?

Произошло что-то волшебное.

Старое приложение со старым кодом по-прежнему выполняет свою работу. Новый, модернизированный стек позволяет нам хранить все изображения и картинки из приложения в сегменте Cloud Bucket с сохранением состояния. Теперь у вас есть множество возможностей:

  • Хотите отправлять электронное письмо каждый раз, когда приходит изображение с пометкой "опасное" или "обнаженная натура"? Для этого не нужно менять код PHP.
  • Хотите использовать мультимодальную модель Gemini, чтобы описывать каждое поступающее изображение и загружать его в базу данных вместе с описанием? Для этого не нужно менять код PHP. Не веришь? Продолжайте читать главу 7.

Мы только что открыли для себя огромные возможности.

9. Модуль 7. Как улучшить приложение с помощью Google Gemini

c00425f0ad83b32c.png

Теперь у вас есть современное, блестящее новое PHP-приложение (как Fiat 126 2024 года) с облачным хранилищем.

Для каких целей его можно использовать

Требования

В предыдущей главе мы рассмотрели решение, которое позволяет монтировать изображения /uploads/ в GCS, де-факто отделяя логику приложения от хранилища изображений.

В этом упражнении вам нужно:

  • Успешно выполнено упражнение в главе 6 (хранилище).
  • У вас есть сегмент GCS с загруженными изображениями, куда пользователи загружают изображения в вашем приложении, и изображения передаются в ваш сегмент.

Как настроить функцию Cloud Functions (на Python)

Вы когда-нибудь задумывались, как реализовать приложение, управляемое событиями? Например:

  • когда происходит <событие> => отправить электронное письмо.
  • когда происходит <событие> => если <условие> выполняется, обновить базу данных.

Событием может быть что угодно: от новой записи в BigQuery до изменения объекта в папке в GCS или нового сообщения в очереди в Pub/Sub.

Google Cloud поддерживает несколько парадигм для достижения этой цели. В частности:

  • EventArc. Подробнее о том, как получать события GCS… Отлично подходит для создания направленных ациклических графов и организации действий на основе условных операторов в облаке.
  • Cloud Scheduler. Например, это удобно для выполнения заданий cron в облаке в полночь.
  • Cloud Workflows. Как и Event Arc, позволяет
  • Функции Cloud Run (ранее известные как lambdas).
  • Cloud Composer. По сути, это версия Apache Airflow от Google, которая также отлично подходит для DAG.

В этом упражнении мы углубимся в Cloud Function, чтобы достичь впечатляющего результата. И мы предоставим вам дополнительные упражнения.

Обратите внимание, что образец кода предоставляется в соответствии с .solutions/.

Как настроить функцию Cloud Functions (🐍 Python)

Мы пытаемся создать очень амбициозный GCF.

  1. Когда в GCS создается новое изображение… (вероятно, потому что кто-то загрузил его в приложение, но не только).
  2. …вызвать Gemini, чтобы получить текстовое описание изображения… (было бы неплохо проверить MIME и убедиться, что это изображение, а не PDF, MP3 или текст)
  3. …и обновите базу данных, добавив это описание. (для этого может потребоваться добавить столбец description в таблицу images).

Исправьте базу данных, чтобы добавить description к изображениям.

  1. Откройте Cloud SQL Studio:

b92b07c4cba658ef.png

  1. Введите имя пользователя и пароль для базы данных изображений.
  2. Вставьте этот SQL-код, который добавляет столбец для описания изображения:

ALTER TABLE images ADD COLUMN description TEXT;

3691aced78a6389.png

И бинго! Проверьте, работает ли это:

SELECT * FROM images;

Вы должны увидеть новый столбец с описанием:

bed69d6ad0263114.png

Напишите функцию f(x) для Gemini.

Примечание. Эта функция была создана с помощью Gemini Code Assist.

Примечание. При создании этой функции могут возникнуть ошибки, связанные с разрешениями IAM. Некоторые из них описаны ниже в разделе "Возможные ошибки".

  1. Включение API
  2. Перейдите на страницу https://console.cloud.google.com/functions/list.
  3. Нажмите "Создать функцию".
  4. Включите API с помощью мастера API:

d22b82658cfd4c48.png

Вы можете создать GCF в интерфейсе или командной строке. В этом примере мы будем использовать командную строку.

Возможный код можно найти в разделе .solutions/.

  1. Создайте папку для кода, например gcf/. Откройте папку.
  2. Создайте файл requirements.txt:
google-cloud-storage
google-cloud-aiplatform
pymysql
  1. Создайте функцию Python. Образец кода: gcf/main.py.
#!/usr/bin/env python

"""Complete this"""

from google.cloud import storage
from google.cloud import aiplatform
import vertexai
from vertexai.generative_models import GenerativeModel, Part
import os
import pymysql
import pymysql.cursors

# Replace with your project ID
PROJECT_ID = "your-project-id"
GEMINI_MODEL = "gemini-1.5-pro-002"
DEFAULT_PROMPT = "Generate a caption for this image: "

def gemini_describe_image_from_gcs(gcs_url, image_prompt=DEFAULT_PROMPT):
    pass

def update_db_with_description(image_filename, caption, db_user, db_pass, db_host, db_name):
    pass

def generate_caption(event, context):
    """
    Cloud Function triggered by a GCS event.
    Args:
        event (dict): The dictionary with data specific to this type of event.
        context (google.cloud.functions.Context): The context parameter contains
                                                event metadata such as event ID
                                                and timestamp.
    """
    pass
  1. Нажмите на функцию. Вы можете использовать скрипт, похожий на этот: gcf/push-to-gcf.sh.

Примечание 1. Убедитесь, что вы указали правильные значения переменных среды, или просто добавьте их в начало (GS_BUCKET=blah, ..):

Примечание 2. Это позволит отправить весь локальный код (.). Убедитесь, что ваш код находится в определенной папке, и используйте .gcloudignore, чтобы не отправлять огромные библиотеки. (пример).

#!/bin/bash

set -euo pipefail

# add your logic here, for instance:
source .env || exit 2 

echo "Pushing ☁️ f(x)☁ to 🪣 $GS_BUCKET, along with DB config.. (DB_PASS=$DB_PASS)"

gcloud --project "$PROJECT_ID" functions deploy php_amarcord_generate_caption \
    --runtime python310 \
    --region "$GCP_REGION" \
    --trigger-event google.cloud.storage.object.v1.finalized \
    --trigger-resource "$BUCKET" \
    --set-env-vars "DB_HOST=$DB_HOST,DB_NAME=$DB_NAME,DB_PASS=$DB_PASS,DB_USER=$DB_USER" \
    --source . \
    --entry-point generate_caption \
    --gen2

Примечание. В этом примере будет вызван метод generate_caption, и функция Cloud Functions передаст ему событие GCS со всей необходимой информацией (название сегмента, название объекта и т. д.). Уделите время отладке этого словаря Python для событий.

Тестирование функции

Модульные тесты

Функция состоит из множества движущихся частей. Вы можете протестировать все отдельные объявления.

Пример можно найти в файле gcf/test.py.

Интерфейс Cloud Functions

Также уделите время изучению функции в пользовательском интерфейсе. Каждая вкладка заслуживает внимания, особенно Source (моя любимая), Variables, Trigger и Logs. На вкладке Logs вы будете проводить много времени, устраняя ошибки (см. также возможные ошибки внизу этой страницы). Также обязательно загляните в Permissions.

cf3ded30d532a2c7.png

Сквозное тестирование

Теперь протестируйте функцию вручную.

  1. Откройте приложение и войдите в аккаунт.
  2. Загрузите изображение (не слишком большое, так как с большими изображениями могут возникнуть проблемы).
  3. Проверьте в интерфейсе, загружено ли изображение.
  4. В Cloud SQL Studio проверьте, что описание обновлено. Войдите в систему и выполните запрос SELECT * FROM images.

43a680b12dbbdda0.png

И это работает! Мы также можем обновить интерфейс, чтобы показать это описание.

Обновите PHP, чтобы показывать [необязательно]

Мы доказали, что приложение работает. Однако было бы неплохо, если бы пользователи тоже могли видеть это описание.

Чтобы добавить описание в файл index.php, не нужно быть экспертом по PHP. Вот что должен делать этот код (да, его тоже написал Gemini):

<?php if (!empty($image['description'])): ?>
    <p class="font-bold">Gemini Caption:</p>
    <p class="italic"><?php echo $image['description']; ?></p>
<?php endif; ?>

Разместите этот код внутри тега foreach по своему усмотрению.

На следующих шагах мы также увидим более красивую версию интерфейса, созданную с помощью Gemini Code Assist. Вот как может выглядеть отформатированная версия:

fdc12de0c88c4464.png

Выводы

Вы настроили функцию Cloud Functions, которая срабатывает при появлении новых объектов в GCS, аннотирует содержимое изображения, как это сделал бы человек, и автоматически обновляет базу данных. Вау!

Что дальше? Вы можете следовать той же логике, чтобы получить две отличные функции.

[Необязательно] Добавьте другие функции Cloud Functions [открытый вопрос]

Мне приходят на ум ещё несколько функций.

📩 Триггер электронной почты

Триггер электронной почты, который отправляет вам письмо каждый раз, когда кто-то отправляет изображение.

  • Слишком часто? Добавьте ещё одно ограничение: БОЛЬШОЕ изображение или изображение, в описании которого Gemini использует слова "обнаженный", "нагота" или "насилие".
  • Проверьте EventArc.

🚫 Автоматическая модерация неприемлемых изображений

Сейчас администратор помечает изображения как неприемлемые. Как насчет того, чтобы Gemini взял на себя тяжелую работу и модерировал чат-группу? Добавьте тест, чтобы помечать неприемлемый контент триггера и обновлять базу данных, как мы узнали из предыдущей функции. Это означает, что нужно взять предыдущую функцию, изменить запрос и обновить БД на основе ответа.

Важное примечание. Результаты работы генеративного искусственного интеллекта непредсказуемы. Убедитесь, что креативы, созданные Gemini, соответствуют вашим требованиям. Вы можете запросить детерминированный ответ, например оценку достоверности от 0 до 1, JSON и т. д. Это можно сделать разными способами, например: * С помощью библиотек Python pydantic, langchain и т. д. * С помощью структурированного вывода Gemini.

Совет. Вы можете использовать НЕСКОЛЬКО функций или один запрос, который требует ответа в формате JSON (отлично работает с Gemini Structured Output, как описано выше), например:

Какой запрос нужно составить, чтобы получить такой результат?

{
    "description": "This is the picture of an arrosticino",
    "suitable": TRUE
}

Вы можете добавить в запрос дополнительные поля, чтобы получить информацию, например: есть ли в этом что-то хорошее? Плохо? Вы узнаете это место? Есть ли текст (оптическое распознавание символов стало проще):

  • goods: "Похоже на вкусную еду"
  • bads: "Похоже на нездоровую пищу"
  • OCR: "Da consumare preferibilmente prima del 10 Novembre 2024"
  • location: "Pescara, Lungomare"

Обычно лучше иметь N функций для N результатов, но невероятно приятно сделать одну, которая делает 10 вещей. Узнайте, как это сделать, из статьи Риккардо.

Возможные ошибки (в основном IAM/разрешения)

Когда я впервые разрабатывал это решение, я столкнулся с некоторыми проблемами с разрешениями IAM. Я добавлю их сюда, чтобы проявить эмпатию и дать несколько идей о том, как устранить проблему.

Ошибка: недостаточно разрешений для сервисного аккаунта

  1. Обратите внимание, что для развертывания функции GCF, которая прослушивает сегмент GCS, необходимо настроить соответствующие разрешения для сервисного аккаунта, который вы используете для задания, как показано на рисунке:

22f51012fa6b4a24.png

Возможно, вам также потребуется включить EventArc API. Подождите несколько минут, пока они не станут полностью доступны.

Ошибка: отсутствует вызывающий объект Cloud Run

  1. Ещё один комментарий из интерфейса для предоставления разрешений GCF (роль Cloud Run Invoker):

be72e17294f2d3f3.png

Эту ошибку можно исправить, выполнив команду на изображении, которая похожа на fix-permissions.sh.

Эта проблема описана на странице https://cloud.google.com/functions/docs/securing/authenticating.

Ошибка: превышен лимит памяти

При первом запуске в журналах может появиться сообщение "Превышен лимит памяти 244 МиБ, использовано 270 МиБ. Попробуйте увеличить лимит памяти. Подробнее: https://cloud.google.com/functions/docs/configuring/memory". Добавьте ОЗУ в GCF. Это очень просто сделать в интерфейсе. Вот возможная проблема:

bed69d6ad0263114.png

Вы также можете исправить скрипт развертывания Cloud Run, чтобы увеличить объем памяти или мощность процессора. Это займет немного больше времени.

Ошибка: PubSub Published

При создании триггера с помощью GCF v1 однажды возникла следующая ошибка:

e5c338ee35ad4c24.png

Чтобы исправить это, перейдите в IAM и назначьте сервисному аккаунту роль Pub/Sub Publisher.

Ошибка: Vertex AI не использовался

Если вы видите эту ошибку:

Permission Denied: 403 Vertex AI API has not been used in project YOUR_PROJECT before or it is disabled. Чтобы включить его, перейдите по ссылке https://console.developers.google.com/apis/api/aiplatform.googleapis.com/overview?project=YOR_PROJECT.

Вам нужно только включить Vertex AI API. Самый простой способ включить ВСЕ необходимые API:

  1. https://console.cloud.google.com/vertex-ai
  2. Нажмите "Включить все рекомендуемые API".

492f05ac377f3630.png

Ошибка: триггер EventArc не найден.

Если вы видите это сообщение, разверните функцию повторно.

8ec4fc11833d7420.png

Ошибка 400: агенты сервиса подготавливаются

400. Идет инициализация сервисных агентов (https://cloud.google.com/vertex-ai/docs/general/access-control#service-agents). Они нужны, чтобы прочитать предоставленный файл Cloud Storage. Повторите попытку через несколько минут.

Если это произойдет, подождите некоторое время или обратитесь к сотруднику Google.

10. Модуль 8. Создание SLO доступности

В этой главе мы попытаемся достичь следующего:

  1. Создание SLI
  2. Создание SLO на основе SLI
  3. Создание оповещений на основе SLO

f63426182c052123.png

Эта тема очень близка автору, поскольку Риккардо работает в области SRE/DevOps в Google Cloud.

(open-ended) Create SLIs and SLOs for this app

Как понять, что приложение работает, если вы не можете определить, когда оно не работает?

Что такое SLO?

Удивительно! SLO придумали в Google. Чтобы узнать больше, рекомендую прочитать:

Шаг 1. Создайте SLI/SLO доступности

Начнем с SLO доступности, так как это самый простой и, возможно, самый важный показатель, который вы хотите измерить.

К счастью, Cloud Run поставляется со встроенной поддержкой SLO благодаря Istio.

После того как ваше приложение будет запущено в Cloud Run, сделать это будет очень просто. У меня это занимает 30 секунд.

  • Перейдите на страницу Cloud Run.
  • Выберите приложение.
  • Выберите вкладку SLOs.
  • Нажмите "+ Создать SLO".
  • Доступность, на основе запросов
  • Продолжить
  • Календарный месяц/99 %
  • Нажмите "Создать SLO".

e471c7ebdc56cdf6.png

Шаг 2. Настройте оповещения для этой цели SLO

Рекомендую создать два оповещения:

  1. Один с низкой скоростью расходования ("Slowburn") для оповещения по электронной почте (имитирует запрос с низким приоритетом).
  2. Один с высокой скоростью расходования ("Fastburn"), чтобы оповещать вас по SMS (имитирует тикет с высоким приоритетом/пейджер).

Вернитесь в SLO tab.

Выполните следующие действия дважды:

314bfd6b9ef0a260.png

  • Нажмите "Создать оповещение SLO" (кнопка 🔔 с плюсом внутри справа).
  • Период ретроспективного анализа, пороговое значение скорости расходования бюджета:
  • [FAST]. Первый: 60 мин. / 10 x
  • [SLOW]. Второй: 720 мин. / 2 x
  • Канал уведомлений: нажмите "Управление каналами уведомлений".
  • Сначала "Электронная почта" -> "Добавить" -> ..
  • Затем выберите "SMS" -> "Добавить" -> "Подтвердить на телефоне".
  • Совет: в названиях можно использовать эмодзи. Это забавно для демонстраций.
  • Когда закончите, нажмите на большой крестик в правом верхнем углу.
  • Сначала выберите телефон (быстро), затем электронную почту (медленно).
  • Добавьте примеры документов, например:
  • [PHP Amarcord] Riccardo told me to type sudo reboot or to check documentation in http://example.com/playbooks/1.php but I guess he was joking.

Верно!

Итоговый результат

Упражнение можно считать выполненным, когда у вас есть одна рабочая SLO и два оповещения о доступности, которые приходят на электронную почту и телефон.

При желании вы можете добавить задержку (настоятельно рекомендуем это сделать) или даже более сложный параметр. Выберите задержку, которую считаете приемлемой. Если вы не уверены, выберите 200 мс.

11. Дальнейшие действия

Вы выполнили ВСЕ задания. Чего не хватает?

Вот несколько идей:

Играйте вместе с Gemini

Gemini можно использовать двумя способами:

  1. Vertex AI. Корпоративный способ, связанный с GCP, который мы рассмотрели в главе 7 (GCF + Gemini). Все аутентификации работают как по волшебству, а сервисы прекрасно взаимодействуют друг с другом.
  2. ИИ от Google. "Потребительский путь". Вы получаете ключ Gemini API здесь и начинаете создавать небольшие скрипты, которые можно привязать к любой рабочей нагрузке, которая у вас уже есть (проприетарная работа, другие облака, локальный хост и т. д.). Вы просто подставляете свой ключ API, и код начинает волшебным образом работать.

Мы рекомендуем вам попробовать изучить (2) на примере собственных проектов.

Обновление интерфейса

Я не разбираюсь в интерфейсах. Но Gemini может! Вы можете взять одну страницу PHP и написать что-то вроде этого:

I have a VERY old PHP application. I want to touch it as little as possible. Can you help me:

1. add some nice CSS to it, a single static include for tailwind or similar, whatever you prefer
2. Transform the image print with description into cards, which fit 4 per line in the canvas?

Here's the code:

-----------------------------------
[Paste your PHP page, for instance index.php - mind the token limit!]

Вы можете легко получить его менее чем за 5 минут, всего в одном Cloud Build! :)

Ответ Gemini был идеальным (мне не пришлось ничего менять):

8a3d5fe37ec40bf8.png

А вот как выглядит новый макет в личном приложении автора:

81620eb90ae3229a.png

Примечание. Код вставлен в виде изображения, потому что мы не хотим, чтобы вы его копировали. Попросите Gemini написать код для вас с учетом ваших собственных ограничений по интерфейсу и внешнему виду. Поверьте, после этого вам останется внести очень незначительные изменения.

Безопасность

Обеспечение надлежащей безопасности этого приложения не является целью этого 4-часового семинара, поскольку это увеличило бы время его завершения на 1–2 порядка.

Однако эта тема очень важна! Мы собрали несколько идей в SECURITY.

12. Поздравляем!

Поздравляем! 🎉🎉🎉 Вы успешно модернизировали устаревшее приложение PHP с помощью Google Cloud.

24cb9a39b1841fbd.png

В этой практической работе вы узнали:

  • Как развернуть базу данных в Google Cloud SQL и перенести в нее существующую базу данных.
  • Как контейнеризировать приложение PHP с помощью Docker и Buildpacks и сохранить его образ в Google Cloud Artifact Registry.
  • Как развернуть контейнеризованное приложение в Cloud Run и запустить его с Cloud SQL
  • Как хранить и использовать конфиденциальные параметры конфигурации (например, пароль базы данных) с помощью Google Secret Manager
  • Как настроить конвейер непрерывной интеграции и непрерывной поставки (CI/CD) с помощью Google Cloud Build, чтобы автоматически создавать и развертывать приложение PHP при любой отправке кода в хранилище GitHub.
  • Как использовать Cloud Storage для переноса ресурсов приложения в облако
  • Как использовать бессерверные технологии для создания рабочих процессов в Google Cloud без изменения кода приложения.
  • Используйте мультимодальные возможности Gemini для подходящего варианта использования.
  • Применение принципов SRE в Google Cloud

Это отличное начало вашего пути к модернизации приложений с помощью Google Cloud!

🔁 Отзывы

Если вы хотите поделиться своим мнением об этом семинаре, заполните форму обратной связи.

Мы будем рады вашим отзывам и запросам на включение кода, которым вы особенно гордитесь.

🙏 Спасибо!

Автор выражает благодарность Мирко Джилиоли (Mirko Gilioli) и Маурицио Ипсале (Maurizio Ipsale) из компании Datatonic за помощь в подготовке статьи и тестировании решения.