App Mod 研讨会

1. 简介

上次更新日期:2024 年 11 月 1 日

如何将旧版 PHP 应用现代化改造到 Google Cloud?

(📽️ 观看此 Codelab 的 7 分钟简介视频)

通常,企业会有一些在本地运行的旧版应用需要进行现代化改造。这意味着要让这些模型具备可扩缩性、安全性和在不同环境中部署的能力。

在本研讨会中,您将:

  1. 容器化 PHP 应用。
  2. 改用代管式数据库服务 (Cloud SQL)。
  3. 部署到 Cloud Run(它是 GKE/Kubernetes 的零运维替代方案)。
  4. 使用 Identity and Access Management (IAM) 和 Secret Manager 保护应用。
  5. 通过 Cloud Build 定义 CI/CD 流水线。Cloud Build 可以与托管在 GitHub 或 GitLab 等热门 Git 提供商上的 Git 代码库连接,并在每次推送到主分支时触发。
  6. 将应用图片托管在 Cloud Storage 上。这是通过装载实现的,无需更改应用代码。
  7. 通过 Gemini 引入生成式 AI 功能,并通过 Cloud Functions(无服务器)进行编排。
  8. 熟悉 SLO 并运行新刷新的应用。

通过这些步骤,您可以逐步实现 PHP 应用的现代化改造,从而提高其可伸缩性、安全性和部署灵活性。此外,迁移到 Google Cloud 后,您可以利用其强大的基础设施和服务,确保应用在云原生环境中顺畅运行。

我们相信,您通过这些简单步骤学到的知识可以应用于您自己的应用和组织,并适用于不同的语言/堆栈和不同的用例。

关于应用

您将分叉的应用(代码,采用 MIT 许可)是一个基本的 PHP 5.7 应用,具有 MySQL 身份验证功能。该应用的主要功能是提供一个平台,让用户可以上传照片,并让管理员能够标记不当图片。该应用有两个表:

  • 用户。已预先编译,包含管理员。新用户可以注册。
  • 图片。随附了一些示例图片。已登录的用户可以上传新照片。我们将在此处添加一些魔法。

您的目标

我们希望对旧应用进行现代化改造,以便将其部署到 Google Cloud。我们将利用其工具和服务来提高可扩缩性、增强安全性、自动执行基础设施管理,并使用 Cloud SQL、Cloud Run、Cloud Build、Secret Manager 等服务集成图片处理、监控和数据存储等高级功能。

445f7a9ae37e9b4d.png

更重要的是,我们希望循序渐进地完成这些步骤,以便您了解每个步骤背后的思考过程,并且通常每个步骤都会为后续步骤带来新的可能性(例如:单元 2 -> 3,以及单元 6 -> 7)。

还不确定?观看 YouTube 上的 7 分钟视频。

所需条件

  • 一台已连接到互联网且安装了浏览器的计算机。
  • 一些 GCP 赠金。请参阅后续步骤。
  • 您将使用 Cloud Shell。它预安装了您需要的所有命令,并提供了一个 IDE。
  • GitHub 账号。您需要使用此令牌将原始代码 🧑🏻‍💻 gdgpescara/app-mod-workshop 分支到您自己的 Git 代码库中。您需要拥有自己的 CI/CD 流水线(自动提交 -> 构建 -> 部署)

示例解决方案可在此处找到:

本研讨会旨在通过 Cloud Shell(在浏览器中)完成。

不过,您也可以尝试从本地计算机进行连接。

2. 设置和复刻 Credit

6dafc658860c0ce5.png

兑换 GCP 赠金并设置 GCP 环境 [可选]

如需参加此研讨会,您需要一个有一定赠金的结算账号。使用本 Codelab 顶部横幅中的赠金即可开始。如果您已关联到结算账号,则可以跳过此步骤。

完成后,打开 Google Cloud 控制台,然后点击左上角下拉菜单(显示“无组织”)中的“项目选择器”来创建新项目。如下所示

bd7548f78689db0b.png

如果您还没有项目,请创建一个新项目,如以下屏幕截图所示。右上角有一个“新建项目”选项。

6c82aebcb9f5cd47.png

请务必按照以下步骤将新项目与 GCP 试用结算账号相关联。

f202527d254893fb.png

您已准备就绪,可以使用 Google Cloud Platform 了。如果您是初学者,或者只想在 Cloud 环境中完成所有操作,则可以通过左上角的以下按钮访问 Cloud Shell 及其编辑器,如下所示。

7d732d7bf0deb12e.png

确保在左上角选择了您的新项目:

未选择(不佳):

c2ffd36a781b276a.png

已选择(良好):

594563c158f4f590.png

从 GitHub 复刻应用

  1. 前往演示版应用:https://github.com/gdgpescara/app-mod-workshop
  2. 点击 🍴 fork。
  3. 如果您没有 GitHub 账号,则需要创建一个新账号。
  4. 根据需要进行修改。

734e51bfc29ee5df.png

  1. 使用以下命令克隆应用代码
  2. git clone https://github.com/YOUR-GITHUB-USER/YOUR-REPO-NAME
  1. 使用您喜欢的编辑器打开克隆的项目文件夹。如果您选择 Cloud Shell,可以点击“打开编辑器”来执行此操作,如下所示。

40f5977ea4c1d1cb.png

您已拥有 Google Cloud Shell 编辑器所需的一切,如下图所示

a4e5ffb3e9a35e84.png

您可以通过点击“打开文件夹”并选择相应文件夹(可能是主文件夹中的 app-mod-workshop)来直观地完成此操作。

3. 单元 1:创建 SQL 实例

645902e511a432a6.png

创建 Google Cloud SQL 实例

我们的 PHP 应用将连接到 MySQL 数据库,因此我们需要将其复制到 Google Cloud,以便轻松完成迁移。Cloud SQL 是理想之选,因为它允许您在云端运行全托管式 MySQL 数据库。具体步骤如下:

  1. 前往 Cloud SQL 页面:https://console.cloud.google.com/sql/instances
  2. 点击“创建实例”
  3. 启用 API(如果需要)。此过程可能需要几秒钟的时间。
  4. 选择 MySQL。
  5. (我们正在努力为您提供最便宜的版本,以便其使用寿命更长):
  • 版本:企业版
  • 预设:开发(我们尝试过沙盒,但对我们来说不起作用)
  • MySQL 版本:5.7(哇,这可是老古董了!)
  1. 实例 ID:选择 appmod-phpapp(如果您更改此设置,请务必相应地更改未来的脚本和解决方案)。
  2. 密码:任意密码,但请记下该密码,并将其命名为 CLOUDSQL_INSTANCE_PASSWORD
  3. 区域:与您为应用的其他部分选择的区域保持一致(例如,米兰 = europe-west8)
  4. 可用区级可用性:单可用区(我们正在为演示节省费用)

点击“创建实例”按钮以部署 Cloud SQL 数据库;⌛大约需要 10 分钟才能完成⌛。在此期间,请继续阅读文档;您也可以开始解决下一个模块(“将 PHP 应用容器化”),因为该模块在第一部分中不依赖于此模块(直到您修复数据库连接)。

注意:此实例的费用约为每天 7 美元。请务必在研讨会结束后将其剥离。

在 Cloud SQL 中创建 image_catalog 数据库和用户

应用项目附带一个 db/ 文件夹,其中包含两个 SQL 文件:

  1. 01_schema.sql:包含用于创建两个表(分别包含用户和图片数据)的 SQL 代码。
  2. 02_seed.sql:包含用于将数据植入先前创建的表的 SQL 代码。

这些文件将在 image_catalog 数据库创建后使用。为此,您可以执行以下步骤:

  1. 打开您的实例,然后点击“数据库”标签页:
  2. 点击“创建数据库”
  3. 将其命名为 image_catalog(如 PHP 应用配置中所示)。

997ef853e5ebd857.png

然后,我们创建数据库用户。这样,我们就可以对 image_catalog 数据库进行身份验证。

  1. 现在,点击用户标签页
  2. 点击“添加用户账号”。
  3. 用户:我们来创建一个:
  • 用户名:appmod-phpapp-user
  • 密码:选择一个您能记住的密码,或点击“生成”
  • 保留“允许任何主机 (%)”。
  1. 点击“添加”。

向已知 IP 开放数据库。

请注意,Cloud SQL 中的所有数据库都是“隔离”的。您需要明确设置可供访问的网络。

  1. 点击您的实例
  2. 打开“连接”菜单
  3. 点击“网络”标签页。
  4. 点击“已获授权的网络”下的相应位置。现在,添加一个网络(即子网)。
  • 现在,我们选择一个快速但不安全的设置,以便让应用正常运行。您可能希望稍后将其限制为您信任的 IP:
  • 名称:“Everyone in the world - INSECURE”。
  • 网络:“0.0.0.0/0"”(注意:这是不安全的部分!)
  • 点击“完成”
  1. 点击“保存”。

您应会看到类似下图的界面:

5ccb9062a7071964.png

注意:此解决方案是一个很好的折衷方案,可在 O(小时) 内完成研讨会。不过,请查看 SECURITY 文档,以帮助确保您的解决方案在生产环境中的安全性!

现在该测试数据库连接了!

我们来看看之前创建的 image_catalog 用户是否有效。

访问实例内的“Cloud SQL Studio”,然后输入要进行身份验证的数据库、用户和密码,如下所示:

d56765c6154c11a4.png

现在,您已进入该页面,可以打开 SQL 编辑器并继续执行下一部分。

从代码库导入数据库

使用 SQL 编辑器导入 image_catalog 表及其数据。从代码库中的文件(01_schema.sql,然后是 02_seed.sql)复制 SQL 代码,并按顺序依次执行。

之后,您应该会在 image_catalog 中看到两个表,即 users 和 images,如下所示:

65ba01e4c6c2dac0.png

您可以在编辑器中运行以下命令来测试该脚本:select * from images;

另外,请务必记下 Cloud SQL 实例的公共 IP 地址,稍后您会用到它。如需获取 IP,请前往概览页面下的 Cloud SQL 实例主页面。(概览 > 连接到此实例 > 公共 IP 地址)。

4. 模块 2:将 PHP 应用容器化

e7f0e9979d8805f5.png

我们希望为云端构建此应用。

这意味着需要将代码打包成某种 ZIP 文件,其中包含在云端运行代码所需的所有信息。

您可以通过以下几种方式打包:

  • Docker。 非常受欢迎,但要正确设置却相当复杂。
  • Buildpack。不太常用,但往往会“自动猜测”要构建和运行的内容。通常情况下,它都能正常运行!

在本研讨会中,我们假设您使用的是 Docker。

如果您选择使用 Cloud Shell,现在可以重新打开它(点击 Cloud 控制台右上角)。

ec6a6b90b39e03e.png

这应该会在页面底部打开一个便捷的 shell,您应该已在设置步骤中将代码分叉到该 shell。

6999b906c0dedeb7.png

Docker

如果您希望拥有控制权,这就是适合您的解决方案。当您需要配置特定库并注入某些不明显的行为(上传中的 chmod、应用中的非标准可执行文件等)时,这种方法很有用。

由于我们最终要将容器化应用部署到 Cloud Run,因此请参阅以下文档。如何将其从 PHP 8 向后移植到 PHP 5.7?也许你可以用 Gemini 来完成。或者,您也可以使用以下预制版本:

# Use the official PHP image: https://hub.docker.com/_/php
FROM php:5.6-apache

# Configure PHP for Cloud Run.
# Precompile PHP code with opcache.
# Install PHP's extension for MySQL
RUN docker-php-ext-install -j "$(nproc)" opcache mysqli pdo pdo_mysql && docker-php-ext-enable pdo_mysql

RUN set -ex; \
  { \
    echo "; Cloud Run enforces memory & timeouts"; \
    echo "memory_limit = -1"; \
    echo "max_execution_time = 0"; \
    echo "; File upload at Cloud Run network limit"; \
    echo "upload_max_filesize = 32M"; \
    echo "post_max_size = 32M"; \
    echo "; Configure Opcache for Containers"; \
    echo "opcache.enable = On"; \
    echo "opcache.validate_timestamps = Off"; \
    echo "; Configure Opcache Memory (Application-specific)"; \
    echo "opcache.memory_consumption = 32"; \
  } > "$PHP_INI_DIR/conf.d/cloud-run.ini"

# Copy in custom code from the host machine.
WORKDIR /var/www/html

COPY . .

# Setup the PORT environment variable in Apache configuration files: https://cloud.google.com/run/docs/reference/container-contract#port
ENV PORT=8080

# Tell Apache to use 8080 instead of 80.
RUN sed -i 's/80/${PORT}/g' /etc/apache2/sites-available/000-default.conf /etc/apache2/ports.conf

# Note: This is quite insecure and opens security breaches. See last chapter for hardening ideas.
# Uncomment at your own risk:
#RUN chmod 777 /var/www/html/uploads/

# Configure PHP for development.
# Switch to the production php.ini for production operations.
# RUN mv "$PHP_INI_DIR/php.ini-production" "$PHP_INI_DIR/php.ini"
# https://github.com/docker-library/docs/blob/master/php/README.md#configuration
RUN mv "$PHP_INI_DIR/php.ini-development" "$PHP_INI_DIR/php.ini"

# Expose the port
EXPOSE 8080

您可以点击此处获取最新 Dockerfile 版本。

为了在本地测试应用,我们需要更改 config.php 文件,以便 PHP 应用连接到 Google CloudSQL 上的 MySQL 数据库。根据您之前设置的内容,填写空白处:

<?php
// Database configuration
$db_host = '____________';
$db_name = '____________';
$db_user = '____________';
$db_pass = '____________';

try {
    $pdo = new PDO("mysql:host=$db_host;dbname=$db_name", $db_user, $db_pass);
    $pdo->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
} catch (PDOException $e) {
    die("Errore di connessione: " . $e->getMessage());
}

session_start();
?>
  • DB_HOST 是 Cloud SQL 公共 IP 地址,您可以在 SQL 控制台中找到它:

bd27071bf450a8d0.png

  • DB_NAME 应保持不变:image_catalog
  • DB_USER 应为 appmod-phpapp-user
  • DB_PASS是您选择的内容。请将其用单引号括起来,并根据需要进行转义。

此外,您还可以借助 Gemini 将少数 🇮🇹 意大利语内容翻译成英语!

好了,现在您已经有了 Dockerfile,并且已将 PHP 应用配置为连接到数据库,让我们来试试吧!

如果您尚未安装 Docker,请进行安装(链接)。如果您使用的是 Cloud Shell,则无需执行此操作(是不是很棒?)。

现在,尝试使用适当的 docker build 和 run 命令构建并运行容器化 PHP 应用。

# Build command - don't forget the final . This works if Dockerfile is inside the code folder:
$ docker build -t my-php-app-docker .   

# Local Run command: most likely ports will be 8080:8080
$ docker run -it -p <CONTAINER_PORT>:<LOCAL_MACHINE_PORT> my-php-app-docker

如果一切正常,您应该能够在连接到本地主机时看到以下网页!现在,您的应用正在端口 8080 上运行,请点击“网页预览”图标(带眼睛的浏览器),然后点击在端口 8080 上预览(或点击“更改端口”以使用其他端口)

33a24673f4550454.png

在浏览器中测试结果

现在,您的应用应如下所示:

2718ece96b1f18b6.png

如果您使用 Admin/admin123 登录,应该会看到如下内容。

68b62048c2e86aea.png

太棒了!!!除了意大利语文本之外,其他文本都正常!🎉🎉🎉

如果 Docker 化没问题,但数据库凭据有误,您可能会看到如下内容:

e22f45b79bab86e1.png

再试一次,就快成功了!

保存到 Artifact Registry [可选]

现在,您应该已经有一个可正常运行的容器化 PHP 应用,可以随时部署到云端。接下来,我们需要在云端找个地方来存储 Docker 映像,并使其可供部署到 Cloud Run 等 Google Cloud 服务。此存储解决方案名为 Artifact Registry,是一项全托管式 Google Cloud 服务,专为存储应用制品而设计,包括 Docker 容器映像、Maven 软件包、npm 模块等。

我们来使用相应的按钮在 Google Cloud Artifact Registry 中创建一个代码库。

e1123f0c924022e6.png

选择一个有效的名称、格式以及适合存储工件的区域。

4e516ed209c470ee.png

返回本地开发环境,为应用容器映像添加标记,并将其推送到刚刚创建的 Artifact Registry 代码库。为此,请完成以下命令。

  • docker tag SOURCE_IMAGE[:TAG] TARGET_IMAGE[:TAG]
  • docker push TARGET_IMAGE[:TAG]

结果应如以下屏幕截图所示。

1e498feb4e88be9f.png

太棒了 🎉🎉🎉 您可以进入下一关了。在此之前,您可能需要花 2 分钟时间尝试上传/登录/退出,并熟悉应用端点。您稍后会用到它们。

可能出现的错误

如果您遇到容器化错误,请尝试使用 Gemini 来解释和修复错误,并提供以下信息:

  • 您当前的 Dockerfile
  • 收到的错误
  • [if needed] the PHP code being executed.

上传权限。此外,请尝试使用 /upload.php 端点并尝试上传图片。您可能会收到以下错误。如果是,您需要在 Dockerfile 中进行一些 chmod/chown 修复。

Warning: move_uploaded_file(uploads/image (3).png): failed to open stream: Permission denied in /var/www/html/upload.php on line 11

PDOException“could not find driver”(或“Errore di connessione: could not find driver”)。确保您的 Dockerfile 具有适用于 mysql (pdo_mysql) 的适当 PDO 库,以便连接到数据库。点击此处,从解决方案中获取灵感。

无法将您的请求转发到后端。无法连接到端口 8080 上的服务器。这意味着您可能公开了错误的端口。确保您公开了 Apache/Nginx 实际提供服务的端口。这并非易事。如果可能,请尝试使用端口 8080(这样可以更轻松地使用 Cloud Run)。如果您想保留端口 80(例如,因为 Apache 需要该端口),请使用其他命令来运行它:

$ docker run -it -p 8080:80 # force 80

# Use the PORT environment variable in Apache configuration files.

# https://cloud.google.com/run/docs/reference/container-contract#port

RUN sed -i 's/80/${PORT}/g' /etc/apache2/sites-available/000-default.conf /etc/apache2/ports.conf

5. 单元 3:将应用部署到 Cloud Run

9ffca42774f6c5d1.png

为何选择 Cloud Run?

这个问题问得好!几年前,您肯定会选择 Google App Engine。

简单来说,如今的 Cloud Run 拥有更新的技术栈,更易于部署,成本更低,并且在不使用时可缩容至 0。Cloud Run 能够灵活运行任何无状态容器,并与各种 Google Cloud 服务集成,因此非常适合以最低的开销和最高的效率部署微服务和现代应用。

更具体地说,Cloud Run 是 Google Cloud 提供的一个全托管式平台,可让您在无服务器环境中运行无状态容器化应用。它会自动处理所有基础设施,从零开始扩容以应对传入流量,并在空闲时缩容,从而实现高性价比和高效率。Cloud Run 支持任何语言或库,只要它们打包在容器中即可,这为开发提供了极大的灵活性。它与其他 Google Cloud 服务完美集成,适合构建微服务、API、网站和事件驱动型应用,而无需管理服务器基础设施。

前提条件

如需完成此任务,您应在本地机器上安装 gcloud。如果未看到,请参阅此处的说明。如果您使用的是 Google Cloud Shell,则无需执行任何操作。

部署前…

如果您在本地环境中工作,请使用以下命令向 Google Cloud 进行身份验证

  • $ gcloud auth login –update-adc # not needed in Cloud Shell

这应该会通过浏览器上的 OAuth 登录对您进行身份验证。确保您通过 Chrome 登录时使用的用户(例如 vattelapesca@gmail.com)与登录 Google Cloud 且已启用结算功能的用户相同。

使用以下命令启用 Cloud Run API:

  • $ gcloud services enable run.googleapis.com cloudbuild.googleapis.com

此时,一切都已准备就绪,可以部署到 Cloud Run。

通过 gcloud 将应用部署到 Cloud Run

用于在 Cloud Run 上部署应用的命令是 gcloud run deploy。您可以通过设置多个选项来实现目标。最少选项集(您可以通过命令行提供,也可以在工具显示交互式提示时提供)如下:

  1. 您要为应用部署的 Cloud Run 服务的名称。Cloud Run 服务会向您返回一个网址,该网址会为您的应用提供一个端点。
  2. 应用将在其中运行的 Google Cloud 区域。(--region 个区域)
  3. 封装应用的容器映像。
  4. 您的应用在执行期间需要使用的环境变量。
  5. Allow-Unauthenticated 标志,允许所有人访问您的应用,而无需进一步进行身份验证。

请参阅文档(或向下滚动查看可能的解决方案),了解如何将此选项应用于命令行。

部署需要几分钟时间。如果一切正常,您应该会在 Google Cloud 控制台中看到类似下图的内容。

ef1029fb62f8de81.pngf7191d579c21ca3e.png

点击 Cloud Run 提供的网址,然后测试您的应用。通过身份验证后,您应该会看到类似下图的内容。

d571a90cd5a373f9.png

不带参数的“gcloud run deploy”

您可能已经注意到,gcloud run deploy会向您提出恰当的问题,并填补您留下的空白。太棒了!

不过,在接下来的几个模块中,我们会将此命令添加到 Cloud Build 构建触发器中,因此无法使用互动式问题。我们需要填写命令中的每个选项。你想制作金色gcloud run deploy --option1 blah --foo bar --region your-fav-region。如何实现?

  1. 重复第 2-3-4 步,直到 gcloud 停止提问:
  2. [LOOP] gcloud run deploy with options found so far
  3. [LOOP] systems ask for option X
  4. [LOOP] Search in public docs how to set up X from CLI adding option --my-option [my-value].
  5. 现在返回第 2 步,除非 gcloud 完成且没有其他问题。
  6. 这个 gcloud run deploy BLAH BLAH BLAH 太棒了!将该命令保存到某个位置,稍后在 Cloud Build 步骤中会用到它!

此处提供了一种可能的解决方案。文档位于此处。

太棒了 🎉🎉🎉 您已成功在 Google Cloud 中部署应用,完成了现代化改造的第一步。

6. 单元 4:使用 Secret Manager 清理密码

95cd57b03b4e3c73.png

在上一步中,我们成功在 Cloud Run 中部署并运行了应用。不过,我们采用了一种不安全的做法:以明文形式提供一些 Secret。

第一次迭代:更新 config.php 以使用 ENV

您可能已经注意到,我们直接将数据库密码放入了 config.php 文件中的代码内。这对于测试和查看应用是否正常运行来说已经足够。但您不能在生产环境中提交/使用此类代码。密码(和其他数据库连接参数)应动态读取,并在运行时提供给应用。更改 config.php 文件,使其从 ENV 变量中读取数据库参数。如果失败,您应考虑设置默认值。这样,如果您未能加载 ENV,页面输出就会告诉您它是否使用了默认值。填写空白并替换 config.php 中的代码。

<?php
// Database configuration with ENV variables. Set default values as well 
$db_host = getenv('DB_HOST') ?: 'localhost';
$db_name = getenv('DB_NAME') ?: 'image_catalog';
$db_user = getenv('DB_USER') ?: 'appmod-phpapp-user';
$db_pass = getenv('DB_PASS') ?: 'wrong_password';
// Note getenv() is PHP 5.3 compatible
try {
    $pdo = new PDO("mysql:host=$db_host;dbname=$db_name", $db_user, $db_pass);
    $pdo->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
} catch (PDOException $e) {
    die("Errore di connessione: " . $e->getMessage());
}

session_start();
?>

由于您的应用已容器化,因此您需要提供一种方法来向应用提供 ENV 变量。这可以通过以下几种方式完成:

  • 在 Dockerfile 的构建时。使用 ENV DB_VAR=ENV_VAR_VALUE 语法将这 4 个参数添加到之前的 Dockerfile 中。这将设置默认值,这些值可在运行时被覆盖。例如,您可以在此处设置“DB_NAME”和“DB_USER”,而不能在其他任何位置设置。
  • 在运行时。您可以通过 CLI 或界面为 Cloud Run 设置这些变量。这是放置所有 4 个变量的正确位置(除非您想保留 Dockerfile 中设置的默认值)。

在 localhost 中,您可能需要将 ENV 变量放入 .env 文件中(查看 solutions 文件夹)。

此外,请确保将 .env 添加到 .gitignore:您肯定不希望将自己的 Secret 推送到 GitHub!

echo .env >> .gitignore

之后,您可以在本地测试实例:

docker run -it -p 8080:8080 --env-file .env my-php-app-docker

现在,您已实现以下目标:

  1. 您的应用将从 ENV 中动态读取变量
  2. 您已从代码中移除数据库密码,因此提高了安全性

现在,您可以将新修订版本部署到 Cloud Run。让我们进入界面并手动设置环境变量:

  • 前往 https://console.cloud.google.com/run
  • 点击您的应用
  • 点击“修改和部署新修订版本”
  • 在第一个标签页“容器”中,点击下级标签页“变量和 Secret”
  • 点击“+ 添加变量”,然后添加所有需要的变量。最终应该会看到如下所示的内容:

7a5fbfa448544d3.pngf2780c35585388ca.png

这是否完美?不会。大多数运营商仍能看到您的 PASS。您可以使用 Google Cloud Secret Manager 来缓解这一问题。

第二次迭代:Secret Manager

密码已从您自己的代码中消失:大功告成!不过,等一下,我们现在安全了吗?

任何有权访问 Google Cloud 控制台的人仍然可以看到您的密码。事实上,如果您访问 Cloud Run YAML 部署文件,就能够检索到该文件。或者,如果您尝试修改或部署新的 Cloud Run 修订版本,则密码会显示在“变量和 Secret”部分中,如以下屏幕截图所示。

Google Cloud Secret Manager 是一项安全、集中的服务,用于管理 API 密钥、密码、证书和其他 Secret 等敏感信息。

它使您能够通过精细权限和强大的加密功能来存储、管理和访问密文。Secret Manager 与 Google Cloud 的 Identity and Access Management (IAM) 集成,可让您控制哪些用户可以访问特定 Secret,从而确保数据安全和监管合规。

它还支持自动轮替和版本控制,可简化 Secret 生命周期管理,并增强 Google Cloud 服务中应用的安全性。

如需访问 Secret Manager,请从汉堡式菜单中前往安全性服务,然后在数据保护部分下找到该服务,如以下屏幕截图所示。

6df83a1c3cb757f6.png

进入该页面后,请按照下图所示启用 Secret Manager API。

a96c312e2c098db1.png

  • 现在,点击“Create a secret”(创建 Secret):我们给它起个合理的名字:
  • 名称:php-amarcord-db-pass
  • Secret 值:‘your DB password’(忽略“上传文件”部分)。
  • annotate this secret link, should look like projects/123456789012/secrets/php-amarcord-db-pass. 这是指向您的密钥的唯一指针(适用于 Terraform、Cloud Run 等)。该编号是您的唯一项目编号。

提示:请尝试为您的 Secret 使用一致的命名规范,从左到右进行特化,例如:cloud-devrel-phpamarcord-dbpass

  • 组织(与公司)
  • 团队(组织内)
  • 应用(团队内)
  • 变量名称(在应用内)

这样,您就可以使用简单的正则表达式来查找单个应用的所有 Secret。

创建新的 Cloud Run 修订版本

现在,我们已经有了新的 Secret,接下来需要移除 DB_PASS 环境变量,并将其替换为新的 Secret。因此:

  • 使用 Google Cloud 控制台访问 Cloud Run
  • 选择相应应用。
  • 点击“修改和部署新修订版本”
  • 找到“变量和密钥”标签页。
  • 使用“+ 引用 Secret”按钮重置 DB_PASS 环境变量。
  • 对引用的 Secret 使用相同的“DB_PASS”,并使用最新版本。

9ed4e35be7654dcb.png

完成后,您应该会收到以下错误

da0ccd7af39b04ed.png

尝试找出解决方法。如需解决此问题,您需要访问 IAM 和管理部分,并更改授予权限。祝您调试顺利!

找出问题后,返回 Cloud Run 并重新部署新修订版本。结果应如下图所示:

e89f9ca780169b6b.png

提示:开发者控制台 (UI) 非常适合指出权限问题。请花点时间浏览您的 Cloud 实体的所有链接!

7. 第 5 单元:使用 Cloud Build 设置 CI/CD

ba49b033c11be94c.png

为何要使用 CI/CD 流水线?

到目前为止,您应该已经输入过几次 gcloud run deploy,可能还反复回答了同一个问题。

厌倦了使用 gcloud run deploy 手动部署应用?如果每次您将新更改推送到 Git 代码库时,应用都能自动部署,那该有多好?

如需使用 CI/CD 流水线,您需要做好以下两项准备:

  1. 个人 Git 代码库:幸运的是,您应该已经在第 2 步中将研讨会代码库复刻到了您的 GitHub 账号。如果没有,请返回并完成该步骤。您的复刻代码库应如下所示:https://github.com/<YOUR_GITHUB_USER>/app-mod-workshop
  2. Cloud Build。这项服务不仅出色,而且价格实惠,可让您为几乎所有内容配置构建自动化:Terraform、Docker 化应用等。

本部分将重点介绍如何设置 Cloud Build。

Cloud Build 闪亮登场!

我们将使用 Cloud Build 来执行此操作:

  • 构建源代码(使用 Dockerfile)。您可以将其视为一个“大型 .zip 文件”,其中包含构建和运行应用所需的一切(即“构建工件”)。
  • 将此制品推送到 Artifact Registry (AR)。
  • 然后,将应用“php-amarcord”从 AR 部署到 Cloud Run
  • 这将创建现有应用的新版本(“修订版本”)(可以将其视为包含新代码的层),并且我们会将其配置为在推送成功后将流量转移到新版本。

以下是我的 php-amarcord 应用的一些 build 示例:

f30f42d4571ad5e2.png

我们如何做到这一切?

  1. 通过精心编写一个完美的 YAML 文件:cloudbuild.yaml
  2. 通过创建 Cloud Build 构建触发器。
  3. 通过 Cloud Build 界面连接到我们的 GitHub 代码库。

创建触发器(并连接代码库)

  • 前往 https://console.cloud.google.com/cloud-build/triggers
  • 点击“创建触发器”。
  • 编译:
  • 名称:有意义的名称,例如 on-git-commit-build-php-app
  • 事件:推送至分支
  • 来源:“关联新代码库”替代文本
  • 这会在右侧打开一个窗口:“连接代码库”
  • 源代码提供商:“Github”(第一个)
  • “继续”
  • “Authenticate”(身份验证)会在 GitHub 上打开一个窗口,以便进行交叉身份验证。顺其自然,保持耐心。如果您有许多代码库,则可能需要一些时间。
  • “Select repo”(选择代码库)选择您的账号/代码库,然后勾选“I understand…”(我了解…)部分。
  • 如果您收到错误:未针对您的任何代码库安装 GitHub 应用,请继续点击“安装 Google Cloud Build”,然后按照说明操作。
  • 23e0e0f1219afea3.png点击“连接”
  • bafd904ec07122d2.png
  • 答对了!您的代码库现已连接。
  • 回到触发器部分…
  • 配置:自动检测 (*)
  • 高级:选择服务账号“[PROJECT_NUMBER]- compute@developer.gserviceaccount.com”
  • xxxxx 是您的项目 ID
  • 默认计算服务账号适用于实验环境,但请勿在生产环境中使用!(了解详情)。
  • 其他所有选项均可保留原样。
  • 点击“创建”按钮。

(*) 这是最简单的方法,因为它会检查 Dockerfile 或 cloudbuild.yaml。不过,cloudbuild.yaml 可让您真正掌控在哪个步骤执行什么操作。

我拥有了力量!

现在,除非您向 Cloud Build 服务账号(什么是服务账号?代表您执行任务(在本例中是在 Cloud 中构建内容)的“机器人”的电子邮件地址。

除非您授权 SA,否则 SA 将无法构建和部署。幸运的是,这很容易!

  • 前往“Cloud Build”>“设置”。
  • “[PROJECT_NUMBER]-compute@developer.gserviceaccount.com”服务账号
  • 勾选以下复选框:
  • Cloud Run
  • Secret Manager
  • 服务账号
  • Cloud Build
  • 同时勾选“设置为首选服务账号”

8715acca72286a46.png

Cloud Build YAML 在哪里?

我们强烈建议您花一些时间创建自己的 Cloud Build YAML。

不过,如果您没有时间,或者不想花时间,可以从以下解决方案文件夹中获取一些灵感:.solutions

现在,您可以将更改推送到 GitHub,并观察 Cloud Build 的执行情况。

设置 Cloud Build 可能会很棘手。预计会通过以下方式进行一些沟通:

  • 正在 https://console.cloud.google.com/cloud-build/builds;region=global 中检查日志
  • 查找错误。
  • 在代码中修复问题,然后重新发出 git commit / git push。
  • 有时,错误不在代码中,而是在某些配置中。在这种情况下,您可以通过界面(Cloud Build >“触发器”>“运行”)发布新 build

97acd16980a144ab.png

请注意,如果您使用此解决方案,仍有一些工作要做。例如,您需要为新创建的开发/生产端点设置 ENV 变量:

3da8723e4ff80c0a.png

可以通过以下两种方法实现此目的:

  • 通过界面 - 再次设置 ENV 变量
  • 通过 CLI,为您编写“完美”脚本。您可以在此处找到示例:gcloud-run-deploy.sh。您需要调整一些内容,例如端点和项目编号;您可以在 Cloud 概览中找到项目编号。

如何将代码提交到 GitHub?

本研讨会不涉及如何以最佳方式向 GitHub git push。不过,如果您在 Cloud Shell 中遇到问题,可以通过以下两种方式解决:

  1. CLI。在本地添加 SSH 密钥,并使用 git@github.com:YOUR_USER/app-mod-workshop.git(而非 http)添加远程代码库
  2. VSCode。如果您使用 Cloud Shell 编辑器,则可以使用“源代码控制”(ctrl-shift-G) 标签页,点击“同步更改”,然后按照说明操作。您应该能够通过 VS Code 对 GitHub 账号进行身份验证,然后就可以轻松地从 VS Code 中拉取/推送代码。

f0d53f839c7fa3b6.png

请记得git add clodubuild.yaml,否则它将无法正常运行。

深度与浅度“开发/生产一致性”[可选]

如果您从此处复制了模型版本,则会得到两个相同的 DEV 和 PROD 版本。这很酷,并且符合十二要素应用的第 10 条规则。

不过,我们使用两个不同的 Web 端点来让应用指向同一个数据库。这对于研讨会来说已经足够了;但在实际应用中,您需要花一些时间来创建适当的生产环境。这意味着需要有两个数据库(一个用于开发,一个用于生产),并且还要选择将它们放在哪里,以实现灾难恢复/高可用性。这超出了本研讨会的范围,但值得思考。

如果您有时间制作“深度”版本,请务必复制所有必要的资源,例如:

  • Cloud SQL 数据库(可能还有 SQL 实例)。
  • GCS 存储桶
  • Cloud Functions。
  • 您可以在开发阶段使用 Gemini 1.5 Flash 模型(更便宜、更快速),在生产阶段使用 Gemini 1.5 Pro 模型(更强大)。

一般来说,每次您对应用执行操作时,请批判性地思考:生产环境是否应该具有相同的值?如果不是,请加倍努力。使用 Terraform 可以更轻松地完成此操作,您可以在其中将环境(-dev、-prod)作为后缀注入到资源中。

8. 模块 6:改用 Google Cloud Storage

a680e0f287dd2dfb.png

存储

dc3a4b8ea92aaef6.png

目前,该应用将状态存储在 Docker 容器中。如果机器损坏、应用崩溃,或者您只是推送了新修订版本,系统就会安排一个新修订版本,并为其分配一个空存储空间:🙈

如何解决这一问题?有多种方法。

  1. 将图片存储在数据库中。这就是我最终对我之前的 PHP 应用所做的。这是最简单的解决方案,因为它不会增加复杂性。但它肯定会增加数据库的延迟时间和负载!
  2. 将 Cloud Run 应用迁移到存储友好型解决方案:GCE + 永久性磁盘?GKE + 存储?注意:您在控制方面获得的优势,会以敏捷性方面的劣势为代价。
  3. 移至 GCS。Google Cloud Storage 为整个 Google Cloud 提供卓越的存储服务,是最符合云端习惯的解决方案。不过,这需要我们深入了解 PHP 库。我们是否有适用于 GCS 的 PHP 5.7 库?PHP 5.7 是否支持 Composer(Composer 支持的最早版本似乎是 PHP 5.3.2)?
  4. 也许可以使用 Docker 边车?
  5. 或者,您也可以使用 GCS Cloud Run 卷装载。这听起来很棒。

🤔 迁移存储空间(开放式问题)

[Open Ended] In this exercise, we want you to find a solution to move your images in a way which is persisted in some way.

验收测试

我不想直接告诉你解决方案,但我希望实现以下效果:

  1. 您上传 newpic.jpg。您可以在应用中看到它。
  2. 您将应用升级到新版本。
  3. newpic.jpg 仍然存在,清晰可见。

💡 可能的解决方案(GCS Cloud Run 卷装载)

这是一个非常优雅的解决方案,让我们能够在完全不修改代码的情况下实现有状态文件上传(除了显示图片说明,但这很简单,只是为了视觉效果)。

这样,您应该能够将 Cloud Run 中的文件夹装载到 GCS,因此:

  1. 上传到 GCS 的所有内容实际上都会在您的应用中显示。
  2. 所有上传到您应用的文件实际上都会上传到 GCS
  3. 上传到 GCS 的对象将发生神奇的变化(第 7 章)。

注意:请阅读 FUSE 细则。如果性能是一个问题,则不建议这样做。

创建 GCS 存储桶

GCS 是 Google Cloud 的无处不在的存储服务。它经过实战检验,每个需要存储空间的 GCP 服务都会使用它。

请注意,Cloud Shell 会将 PROJECT_ID 导出为 GOOGLE_CLOUD_PROJECT:

$ export PROJECT_ID=$GOOGLE_CLOUD_PROJECT

#!/bin/bash

set -euo pipefail

# Your Cloud Run Service Name, eg php-amarcord-dev
SERVICE_NAME='php-amarcord-dev'
BUCKET="${PROJECT_ID}-public-images"
GS_BUCKET="gs://${BUCKET}"

# Create bucket
gsutil mb -l "$GCP_REGION" -p "$PROJECT_ID" "$GS_BUCKET/"

# Copy original pictures there - better if you add an image of YOURS before.
gsutil cp ./uploads/*.png "$GS_BUCKET/"

配置 Cloud Run,将存储桶装载到 /uploads/ 文件夹中

现在,我们来看看优雅的部分。我们创建一个卷 php_uploads,并指示 Cloud Run 在 MOUNT_PATH(类似于 /var/www/html/uploads/)上执行 FUSE 装载:

#!/bin/bash

set -euo pipefail

# .. keep variables from previous script..

# Uploads folder within your docker container.
# Tweak it for your app code.
MOUNT_PATH='/var/www/html/uploads/'

# Inject a volume mount to your GCS bucket in the right folder.
gcloud --project "$PROJECT_ID" beta run services update "$SERVICE_NAME" \
    --region $GCP_REGION \
    --execution-environment gen2 \
    --add-volume=name=php_uploads,type=cloud-storage,bucket="$BUCKET"  \
    --add-volume-mount=volume=php_uploads,mount-path="$MOUNT_PATH"

现在,针对您要指向 Cloud Storage 的所有端点重复此步骤。

您也可以通过界面实现相同的效果

  1. 在“卷”标签页下,创建一个指向您的存储桶的卷装载,类型为“Cloud Storage 存储桶”,例如名称为“php_uploads”。
  2. 在“容器”>“卷装载”下,将您刚刚创建的卷装载到应用请求的卷装载点。这取决于 Dockerfile,但可能类似于 var/www/html/uploads/。

无论采用哪种方式,如果操作成功,修改新的 Cloud Run 修订版本时,您应该会看到如下所示的内容:

6c2bb98fc1b0e077.png

现在,通过将一张新图片上传到 /upload.php 端点来测试新应用。

图片应在 GCS 上无缝流动,无需编写任何 PHP 代码:

70032b216afee2d7.png

刚刚发生了什么?

发生了一件非常神奇的事情。

一个使用旧代码的旧应用仍在运行。借助全新的现代化堆栈,我们可以将应用中的所有图片/照片轻松存储在有状态的 Cloud 存储桶中。现在,一切皆有可能:

  • 想要在每次收到包含“危险”或“裸露”内容的图片时发送电子邮件?您无需修改 PHP 代码即可完成此操作。
  • 想要在每次收到图片时都使用多模态 Gemini 模型来描述图片,并将图片及其描述上传到数据库?您无需修改 PHP 代码即可完成此操作。你不相信我?请继续阅读第 7 章。

我们刚刚在这里解锁了一个巨大的机遇空间。

9. 第 7 单元:使用 Google Gemini 赋能应用

c00425f0ad83b32c.png

现在,您拥有了一个经过现代化改造、焕然一新的 PHP 应用(就像 2024 年的 Fiat 126),并采用了云端存储。

您可以用它来做些什么呢?

前提条件

在上一章中,我们通过一个模型解决方案将图片 /uploads/ 装载到 GCS 上,实际上将应用逻辑与图片存储分离开来。

本练习要求您执行以下操作:

  • 已成功完成第 6 章(存储)中的练习。
  • 拥有一个包含上传图片的 GCS 存储桶,用户在您的应用中上传图片,图片会流入您的存储桶。

设置 Cloud Functions 函数(使用 Python)

您是否曾想过如何实现事件驱动型应用?比如我会这么写

  • 当<事件>发生时 => 发送电子邮件
  • 当 <event> 发生时 => 如果 <condition> 为 true,则更新数据库。

事件可以是任何内容,例如 BigQuery 中有新记录、GCS 文件夹中的新对象发生更改,或 Pub/Sub 队列中有新消息在等待。

Google Cloud 支持多种范式来实现这一目标。最值得注意的是:

在本练习中,我们将深入探讨 Cloud Functions 函数,以实现非常惊艳的结果。我们还会为您提供选做练习。

请注意,示例代码在 .solutions/ 下提供

设置 Cloud Functions 函数 (🐍 python)

我们正在努力制定一个非常宏伟的 GCF。

  1. 在 GCS 上创建新图片时…(可能是因为有人在应用中上传了该内容,但不仅限于此)
  2. .. call Gemini to describe it and get a textual description of the image ..(最好检查 MIME,确保它是图片,而不是 PDF、MP3 或文本)
  3. …并使用此说明更新数据库。(这可能需要修补数据库,以便向 images 表添加 description 列)。

修补数据库,向图片添加 description

  1. 打开 Cloud SQL Studio:

b92b07c4cba658ef.png

  1. 输入 Images 数据库的用户名和密码
  2. 注入以下 SQL 语句,以添加一个用于存储图片说明的列:

ALTER TABLE images ADD COLUMN description TEXT;

3691aced78a6389.png

Bingo!现在,请尝试检查是否有效:

SELECT * FROM images;

您应该会看到新的说明列:

bed69d6ad0263114.png

编写 Gemini f(x)

注意:此函数实际上是在 Gemini Code Assist 的帮助下创建的。

注意:创建此函数可能会导致 IAM 权限错误。下文的“可能出现的错误”段落中记录了其中一些错误。

  1. 启用 API
  2. 前往 https://console.cloud.google.com/functions/list
  3. 点击“创建函数”
  4. 通过 API 向导启用 API:

d22b82658cfd4c48.png

您可以通过界面或命令行创建 GCF。在这里,我们将使用命令行。

您可以在 .solutions/ 下找到可能的代码

  1. 创建一个文件夹来托管您的代码,例如“gcf/”。进入文件夹。
  2. 创建 requirements.txt 文件:
google-cloud-storage
google-cloud-aiplatform
pymysql
  1. 创建 Python 函数。示例代码:gcf/main.py。
#!/usr/bin/env python

"""Complete this"""

from google.cloud import storage
from google.cloud import aiplatform
import vertexai
from vertexai.generative_models import GenerativeModel, Part
import os
import pymysql
import pymysql.cursors

# Replace with your project ID
PROJECT_ID = "your-project-id"
GEMINI_MODEL = "gemini-1.5-pro-002"
DEFAULT_PROMPT = "Generate a caption for this image: "

def gemini_describe_image_from_gcs(gcs_url, image_prompt=DEFAULT_PROMPT):
    pass

def update_db_with_description(image_filename, caption, db_user, db_pass, db_host, db_name):
    pass

def generate_caption(event, context):
    """
    Cloud Function triggered by a GCS event.
    Args:
        event (dict): The dictionary with data specific to this type of event.
        context (google.cloud.functions.Context): The context parameter contains
                                                event metadata such as event ID
                                                and timestamp.
    """
    pass
  1. 推送函数。您可以使用类似于 gcf/push-to-gcf.sh 的脚本。

备注 1:请务必使用正确的值来设置环境变量,或直接在顶部添加它们(GS_BUCKET=blah、…):

备注 2:这会推送所有本地代码 (.),因此请务必将代码放在特定文件夹中,并像专业人士一样使用 .gcloudignore,以避免推送大型库。(示例)。

#!/bin/bash

set -euo pipefail

# add your logic here, for instance:
source .env || exit 2 

echo "Pushing ☁️ f(x)☁ to 🪣 $GS_BUCKET, along with DB config.. (DB_PASS=$DB_PASS)"

gcloud --project "$PROJECT_ID" functions deploy php_amarcord_generate_caption \
    --runtime python310 \
    --region "$GCP_REGION" \
    --trigger-event google.cloud.storage.object.v1.finalized \
    --trigger-resource "$BUCKET" \
    --set-env-vars "DB_HOST=$DB_HOST,DB_NAME=$DB_NAME,DB_PASS=$DB_PASS,DB_USER=$DB_USER" \
    --source . \
    --entry-point generate_caption \
    --gen2

注意:在此示例中,generate_caption 将是被调用的方法,Cloud Functions 函数会将 GCS 事件及其所有相关信息(存储桶名称、对象名称等)传递给该方法。请花一些时间调试该事件 Python 字典。

测试函数

单元测试

该函数包含许多可变部分。您可能希望能够测试所有单个测试。

gcf/test.py 中有一个示例。

Cloud Functions 界面

此外,您还可以花一些时间在界面上探索您的函数。每个标签页都值得探索,尤其是Source(我的最爱)、Variables、Trigger和Logs;您会花很多时间在Logs中排查错误(另请参阅本页底部的可能错误)。此外,请务必查看Permissions。

cf3ded30d532a2c7.png

端到端测试

现在可以手动测试函数了!

  1. 前往您的应用并登录
  2. 上传图片(不要太大,我们发现大图片会出现问题)
  3. 在界面上检查图片是否已上传。
  4. 在 Cloud SQL Studio 中检查说明是否已更新。登录并运行以下查询:SELECT * FROM images。

43a680b12dbbdda0.png

效果非常好!我们可能还需要更新前端,以显示该说明。

Update PHP to show [optional]

我们已经证明该应用可以正常运行。不过,如果用户也能看到该说明,那就更好了。

我们不需要成为 PHP 专家,也能将说明添加到 index.php。这段代码应该可以实现(没错,这也是 Gemini 帮我写的!):

<?php if (!empty($image['description'])): ?>
    <p class="font-bold">Gemini Caption:</p>
    <p class="italic"><?php echo $image['description']; ?></p>
<?php endif; ?>

根据自己的喜好将此代码放置在 foreach 中。

在接下来的步骤中,我们还将看到一个更美观的界面版本,这要归功于 Gemini Code Assist。美化后的版本可能如下所示:

fdc12de0c88c4464.png

结论

您有一个 Cloud Functions 函数,它会在新对象上传到 GCS 时触发,能够像人类一样为图片内容添加注释,并自动更新数据库。哇哦!

接下来该怎么做?您可以按照相同的思路来实现两个强大的功能。

[optional] Add further Cloud Functions [open ended]

我想到了另外几项功能。

📩 电子邮件触发器

电子邮件触发器:每当有人发送图片时,该触发器都会向您发送一封电子邮件。

  • 太频繁?添加进一步的限制:大图片,或 Gemini 内容包含“裸体/裸露/暴力”字样的图片。
  • 请考虑检查 EventArc。

🚫 自动审核不当图片

目前,人工管理员会将图片标记为“不当”。让 Gemini 承担繁重的工作并管理聊天室,怎么样?添加一个测试,用于标记不当触发器内容并更新数据库,如我们在上一个函数中所学。这基本上意味着,您需要采用之前的函数,更改提示,并根据回答更新数据库。

注意事项。生成式 AI 的输出结果不可预测。确保 Gemini 的“创意输出”符合规范。您可能会要求提供确定性的答案,例如 0 到 1 之间的置信度分数、JSON 等。您可以通过多种方式实现此目的,例如:* 使用 Python 库 pydantic、langchain 等。* 使用 Gemini 结构化输出。

提示:您可以设置多个函数,也可以设置一个强制要求以 JSON 格式回答的提示(如上文所述,与“Gemini 结构化输出”搭配使用效果极佳),例如:

要生成此内容,应使用什么提示?

{
    "description": "This is the picture of an arrosticino",
    "suitable": TRUE
}

您可以在提示中添加其他字段,以获取更多数据分析,例如:它有什么优点?有什么不好?您认得这个地方吗?是否有文字(OCR 从未如此简单):

  • goods:“看起来很好吃”
  • bads:“看起来像是不健康食品”
  • OCR:“Da consumare preferibilmente prima del 10 Novembre 2024”
  • location:“Pescara, Lungomare”

虽然通常最好是让 N 个函数对应 N 个结果,但如果能让一个函数完成 10 件事,那将非常有成就感。请参阅 Riccardo 撰写的这篇文章,了解具体方法。

可能出现的错误(主要是 IAM/权限)

在首次开发此解决方案时,我遇到了一些 IAM 权限问题。我将在此处添加这些问题,以示同理心,并提供一些解决方法。

错误:服务账号权限不足

  1. 请注意,如需部署监听 GCS 存储桶的 GCF 函数,您需要为用于该作业的服务账号设置适当的权限,如图所示:

22f51012fa6b4a24.png

您可能还需要启用 EventArc API - 请等待几分钟,直到它们完全可用。

错误:缺少 Cloud Run Invoker

  1. 关于 GCF 权限设置,界面中还有一条注释(Cloud Run Invoker 角色):

be72e17294f2d3f3.png

可通过在映像中运行命令来修复此错误,该命令类似于 fix-permissions.sh

此问题在以下网址中进行了说明:https://cloud.google.com/functions/docs/securing/authenticating

错误:已超出内存上限

第一次运行时,我的日志可能会显示:“‘内存用量为 270 MiB,超出了 244 MiB 的内存上限。请考虑提高内存上限,请参阅 https://cloud.google.com/functions/docs/configuring/memory'"。同样,为 GCF 添加 RAM。在界面中,这非常容易做到。以下是可能遇到的问题:

bed69d6ad0263114.png

或者,您也可以修复 Cloud Run 部署脚本,以增加内存/CPU。这需要多一点时间。

错误:PubSub 已发布

使用 GCF v1 创建触发器时,曾出现过以下错误:

e5c338ee35ad4c24.png

同样,这个问题也很容易解决,只需前往 IAM 并为您的服务账号授予“Pub/Sub Publisher”角色即可。

错误:未使用 Vertex AI

如果您收到此错误:

Permission Denied: 403 Vertex AI API has not been used in project YOUR_PROJECT before or it is disabled. 要启用此 API,请访问 https://console.developers.google.com/apis/api/aiplatform.googleapis.com/overview?project=YOR_PROJECT

您只需启用 Vertex AI API 即可。如需启用所有必需的 API,最简单的方法如下:

  1. https://console.cloud.google.com/vertex-ai
  2. 点击“启用所有推荐的 API”。

492f05ac377f3630.png

错误:未找到 EventArc 触发器。

如果您收到此消息,请重新部署该函数。

8ec4fc11833d7420.png

错误:400 正在预配服务代理

400 Service agents are being provisioned ( https://cloud.google.com/vertex-ai/docs/general/access-control#service-agents ). Service agents are needed to read the Cloud Storage file provided. 请过几分钟后再试。

如果发生这种情况,请稍等片刻或咨询 Google 员工。

10. 第 8 单元:创建可用性 SLO

在本章中,我们将尝试实现以下目标:

  1. 创建 SLI
  2. 根据 SLI 创建 SLO
  3. 基于 SLO 创建提醒

f63426182c052123.png

这是作者非常关注的主题,因为 Riccardo 在 Google Cloud 的 SRE/DevOps 领域工作。

(开放式问题)为此应用创建 SLI 和 SLO

如果无法判断应用何时宕机,那么应用再好又有什么用?

什么是 SLO?

噢,太巧了!SLO 是 Google 发明的!如需详细了解,我建议您参阅:

第 1 步:创建可用性 SLI/SLO

我们先从可用性 SLO 开始,因为它是最简单、也可能是您最想衡量的指标。

幸运的是,得益于 Istio,Cloud Run 提供了预构建的 SLO 支持。

应用部署到 Cloud Run 后,只需 30 秒即可轻松实现。

  • 前往 Cloud Run 页面。
  • 点击/选择您的应用。
  • 选择 SLOs 标签。
  • 点击“+ 创建 SLO”。
  • 可用性,基于请求
  • 继续
  • 每日历月 / 99%。
  • 点击“创建 SLO”。

e471c7ebdc56cdf6.png

第 2 步:为此 SLO 设置提醒

我建议创建 2 个提醒:

  1. 一个消耗率较低(“慢速消耗”),通过电子邮件向您发出提醒(模拟低优先级工单)。
  2. 一个具有高消耗率(“Fastburn”),用于通过短信向您发出提醒(模拟高优先级工单/寻呼机)

前往您之前的SLO tab。

执行以下操作两次:

314bfd6b9ef0a260.png

  • 点击“创建 SLO 提醒”(右侧带加号的 🔔 按钮)
  • 回溯期、消耗率阈值:
  • [FAST]。首次:60 分钟/10 次
  • [慢]。第二:720 分钟/2 次
  • 通知渠道:点击“管理通知渠道”
  • 首先,依次点击“电子邮件”->“添加新电子邮件”-> ..
  • 第二步,“短信”-> 添加新号码 -> 在手机上验证。
  • 提示:我喜欢在名称中使用表情符号!演示起来很有趣。
  • 完成后,点击右上角的大 X。
  • 先选择电话(快速),再选择电子邮件(慢速)。
  • 添加一些示例文档,例如:
  • [PHP Amarcord] Riccardo told me to type sudo reboot or to check documentation in http://example.com/playbooks/1.php but I guess he was joking。

答对了!

最终结果

当您拥有 1 个可用的 SLO + 2 个可用性提醒,并且这些提醒会发送到您的邮箱和手机时,我们就可以认为此练习已完成。

如果您愿意,可以添加延迟时间(我强烈建议您这样做),甚至可以添加更复杂的指标。对于延迟时间,请选择您认为合理的延迟时间;如果不确定,请选择 200 毫秒。

11. 后续步骤

您已完成所有任务,还缺什么?

以下是一些值得思考的问题:

游戏期间使用 Gemini

您可以通过以下两种方式使用 Gemini:

  1. Vertex AI。“企业方式”与您的 GCP 紧密相连,我们在第 7 章(GCF + Gemini)中对此进行了探讨。所有身份验证都会自动完成,服务之间也会完美互连。
  2. Google AI。“消费者方式”。您可以从此处获取 Gemini API 密钥,并开始构建可与您已有的任何工作负载(专有工作、其他云、本地主机等)相关联的小型脚本。您只需替换 API 密钥,代码就会开始神奇地运行。

我们鼓励您尝试使用自己的宠物项目探索 (2)。

界面提升

我不擅长设计界面。但 Gemini 可以!您可以只使用一个 PHP 页面,并编写如下代码:

I have a VERY old PHP application. I want to touch it as little as possible. Can you help me:

1. add some nice CSS to it, a single static include for tailwind or similar, whatever you prefer
2. Transform the image print with description into cards, which fit 4 per line in the canvas?

Here's the code:

-----------------------------------
[Paste your PHP page, for instance index.php - mind the token limit!]

只需使用 Cloud Build,不到 5 分钟即可轻松完成!:)

Gemini 的回答非常完美(也就是说,我不需要做任何修改):

8a3d5fe37ec40bf8.png

以下是作者个人应用中的新布局:

81620eb90ae3229a.png

注意:代码是以图片形式粘贴的,因为我们不希望您直接复制这些代码,而是希望您让 Gemini 根据您自己的创意界面/前端限制条件为您编写代码;相信我,之后您只需要进行非常细微的更改。

安全性

正确保护此应用并非本 4 小时研讨会的目标,因为这会将完成本研讨会的时间增加 1-2 个数量级。

不过,这个主题非常重要!我们在 SECURITY 中收集了一些想法。

12. 恭喜!

恭喜 🎉🎉🎉,您已成功使用 Google Cloud 对旧版 PHP 应用进行了现代化改造。

24cb9a39b1841fbd.png

总结一下,在此 Codelab 中,您学习了以下内容:

  • 如何在 Google Cloud SQL 中部署数据库,以及如何将现有数据库迁移到其中。
  • 如何使用 Docker 和 Buildpack 将 PHP 应用容器化,并将其映像存储到 Google Cloud Artifact Registry
  • 如何将容器化应用部署到 Cloud Run 并使其与 Cloud SQL 搭配运行
  • 如何使用 Google Secret Manager 秘密存储/使用敏感配置参数(例如数据库密码)
  • 如何使用 Google Cloud Build 设置 CI/CD 流水线,以便在每次向 GitHub 代码库推送代码时自动构建和部署 PHP 应用。
  • 如何使用 Cloud Storage 将应用资源“云化”
  • 如何利用无服务器技术在 Google Cloud 上构建出色的工作流,而无需修改应用代码。
  • 针对合适的应用场景使用多模态 Gemini 功能。
  • 在 Google Cloud 中实施 SRE 原则

这是您借助 Google Cloud 开启应用现代化改造之旅的良好开端!

🔁 反馈

如果您想向我们分享您参与此研讨会的体验,请考虑填写此反馈表单。

欢迎您提供反馈,也欢迎您针对自己特别满意的代码提交 PR。

🙏 谢谢

作者在此感谢 Datatonic 的 Mirko Gilioli 和 Maurizio Ipsale 帮助撰写和测试解决方案。