使用 Cloud Workstations 和 Python 进行 InnerLoop 开发

1. 概览

本实验将演示旨在简化软件工程师在容器化环境中开发 Python 应用的开发工作流程的功能。典型的容器开发需要用户了解容器和容器构建流程的详细信息。此外，开发者通常必须中断工作流程，离开 IDE 以在远程环境中测试和调试应用。借助本教程中提到的工具和技术，开发者无需离开 IDE 即可高效处理容器化应用。

学习内容

在本实验中，您将学习在 GCP 中使用容器进行开发的各种方法，包括：

  • 创建新的 Python 初始应用
  • 浏览开发流程
  • 开发简单的 CRUD REST 服务
  • 部署到 GKE
  • 调试错误状态
  • 利用断点 / 日志
  • 将更改热部署回 GKE

58a4cdd3ed7a123a.png

2. 设置和要求

自定进度的环境设置

  1. 登录 Google Cloud 控制台，然后创建一个新项目或重复使用现有项目。如果您还没有 Gmail 或 Google Workspace 账号，则必须创建一个。

b35bf95b8bf3d5d8.png

a99b7ace416376c4.png

bd84a6d3004737c5.png

  • 项目名称是此项目参与者的显示名称。它是 Google API 尚未使用的字符串。您可以随时更新。
  • 项目 ID 在所有 Google Cloud 项目中是唯一的，并且是不可变的（一经设置便无法更改）。Cloud 控制台会自动生成一个唯一字符串；通常情况下，您无需关注该字符串。在大多数 Codelab 中，您都需要引用项目 ID（通常用 PROJECT_ID 标识）。如果您不喜欢生成的 ID，可以再随机生成一个 ID。或者，您也可以尝试自己的项目 ID，看看是否可用。完成此步骤后便无法更改该 ID，并且此 ID 在项目期间会一直保留。
  • 此外，还有第三个值，即部分 API 使用的项目编号，供您参考。如需详细了解所有这三个值，请参阅文档。
  1. 接下来，您需要在 Cloud 控制台中启用结算功能，以便使用 Cloud 资源/API。运行此 Codelab 应该不会产生太多的费用（如果有费用的话）。若要关闭资源以避免产生超出本教程范围的结算费用，您可以删除自己创建的资源或删除整个项目。Google Cloud 的新用户符合参与 $300 USD 免费试用计划的条件。

启动 Cloudshell 编辑器

本实验经过精心设计和测试，可与 Google Cloud Shell 编辑器搭配使用。如需访问编辑器，请执行以下操作：

  1. 访问您的 Google 项目：https://console.cloud.google.com。
  2. 点击右上角的 Cloud Shell 编辑器图标

8560cc8d45e8c112.png

  1. 系统会在窗口底部打开一个新窗格
  2. 点击“打开编辑器”按钮

9e504cb98a6a8005.png

  1. 编辑器将打开，右侧显示资源管理器，中央区域显示编辑器
  2. 屏幕底部还应显示一个终端窗格
  3. 如果终端未打开，请使用 `ctrl+`` 组合键打开新的终端窗口

环境设置

在 Cloud Shell 中，为您的项目设置项目 ID 和项目编号。将它们保存为 PROJECT_ID 和 PROJECT_ID 变量。

export PROJECT_ID=$(gcloud config get-value project)
export PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID \
    --format='value(projectNumber)')

预配本实验中使用的基础设施

在本实验中，您将把代码部署到 GKE，并访问存储在 Spanner 数据库中的数据。您还将使用 Cloud Workstations 作为 IDE。下面的设置脚本会为您准备此基础架构。

  1. 下载设置脚本并使其可执行。
wget https://raw.githubusercontent.com/GoogleCloudPlatform/container-developer-workshop/main/labs/python/setup_with_cw.sh
chmod +x setup_with_cw.sh
  1. 打开 setup_with_cw.sh 文件，并修改当前设置为 CHANGEME 的密码值
  2. 运行设置脚本，以启动您将在本实验中使用的 GKE 集群和 Spanner 数据库
./setup_with_cw.sh &

Cloud Workstations 集群

  1. 在 Cloud 控制台中打开 Cloud Workstations。等待集群处于 READY 状态。

305e1a3d63ac7ff6.png

创建工作站配置

  1. 如果您的 Cloud Shell 会话已断开连接，请点击“重新连接”，然后运行 gcloud CLI 命令来设置项目 ID。在运行命令之前，请将下面的示例项目 ID 替换为您的 Qwiklabs 项目 ID。
gcloud config set project qwiklabs-gcp-project-id
  1. 在终端中下载并运行以下脚本，以创建 Cloud Workstations 配置。
wget https://raw.githubusercontent.com/GoogleCloudPlatform/container-developer-workshop/main/labs/python/workstation_config_setup.sh
chmod +x workstation_config_setup.sh
./workstation_config_setup.sh
  1. 验证“配置”部分下的结果。需要 2 分钟才能转换为 READY 状态。

2e23c2e9983d1ccf.png

  1. 在控制台中打开 Cloud Workstations 并创建新实例。

a53adeeac81a78c8.png

  1. 将名称更改为 my-workstation，然后选择现有配置：codeoss-python。

f052cd47701ec774.png

  1. 验证“工作站”部分下的结果。

启动工作站

  1. 启动并发布工作站。启动工作站需要几分钟时间。

682f8a307032cba3.png

  1. 点击地址栏中的相应图标，允许使用第三方 Cookie。1b8923e2943f9bc4.png

fcf9405b6957b7d7.png

  1. 点击“网站无法正常运行？”。

36a84c0e2e3b85b.png

  1. 点击“允许使用 Cookie”。

2259694328628fba.png

  1. 工作站启动后，您会看到 Code OSS IDE 启动。在工作站 IDE 的“开始使用”页面上，点击“标记为完成”

94874fba9b74cc22.png

3. 创建新的 Python 初始应用

在本部分中，您将创建一个新的 Python 应用。

  1. 打开新终端。

c31d48f2e4938c38.png

  1. 新建一个目录并将其作为工作区打开
mkdir music-service && cd music-service

code-oss-cloud-workstations -r --folder-uri="$PWD"

如果您看到此消息，请点击“允许”按钮，以便您将内容复制并粘贴到工作站中。

58149777e5cc350a.png

  1. 创建一个名为 requirements.txt 的文件，并将以下内容复制到其中

789e8389170bd900.png

Flask
gunicorn
google-cloud-spanner
ptvsd==4.3.2
  1. 创建名为 app.py 的文件，并将以下代码粘贴到其中
import os
from flask import Flask, request, jsonify
from google.cloud import spanner

app = Flask(__name__)

@app.route("/")
def hello_world():
    message="Hello, World!"
    return message

if __name__ == '__main__':
    server_port = os.environ.get('PORT', '8080')
    app.run(debug=False, port=server_port, host='0.0.0.0')
  1. 创建一个名为 Dockerfile 的文件，并将以下内容粘贴到其中
FROM python:3.8
ARG FLASK_DEBUG=0
ENV FLASK_DEBUG=$FLASK_DEBUG
ENV FLASK_APP=app.py
WORKDIR /app
COPY requirements.txt .
RUN pip install --trusted-host pypi.python.org -r requirements.txt
COPY . .
ENTRYPOINT ["python3", "-m", "flask", "run", "--port=8080", "--host=0.0.0.0"]

注意：FLASK_DEBUG=1 可让您自动重新加载对 Python Flask 应用的代码更改。此 Dockerfile 允许您将此值作为 build 参数传递。

生成清单

在终端中执行以下命令，以生成默认的 skaffold.yaml 和 deployment.yaml

  1. 使用以下命令初始化 Skaffold
skaffold init --generate-manifests

当系统提示您使用箭头键移动光标并使用空格键选择选项时，请按提示操作。

选择：

  • 8080 表示端口
  • y 保存配置

更新 Skaffold 配置

  • 更改默认应用名称
  • 打开“skaffold.yaml”
  • 选择当前设置为 dockerfile-image 的图片名称
  • 右键点击，然后选择“更改所有匹配项”
  • 以 python-app 格式输入新名称
  • 进一步修改 build 部分，以
  • 将 docker.buildArgs 添加到卡券 FLASK_DEBUG=1
  • 同步设置，以将对 *.py 文件的任何更改从 IDE 加载到正在运行的容器

修改后，skaffold.yaml 文件中的 build 部分将如下所示：

build:
 artifacts:
 - image: python-app
   docker:
     buildArgs:
       FLASK_DEBUG: "1"
     dockerfile: Dockerfile
   sync:
     infer:
     - '**/*.py'

修改 Kubernetes 配置文件

  1. 更改默认名称
  • 打开 deployment.yaml 文件
  • 选择当前设置为 dockerfile-image 的图片名称
  • 右键点击，然后选择“更改所有匹配项”
  • 以 python-app 格式输入新名称

4. 开发流程概览

添加业务逻辑后，您现在可以部署和测试应用了。下一部分将展示如何使用 Cloud Code 插件。除其他功能外，此插件还与 skaffold 集成，可简化您的开发流程。在以下步骤中部署到 GKE 时，Cloud Code 和 Skaffold 会自动构建您的容器映像，将其推送到 Container Registry，然后将 your 应用部署到 GKE。此过程在后台进行，不会让开发者流程察觉到相关细节。

登录 Google Cloud

  1. 点击 Cloud Code 图标，然后选择“登录 Google Cloud”：

1769afd39be372ff.png

  1. 点击“Proceed to sign in”（继续登录）。

923bb1c8f63160f9.png

  1. 在终端中查看输出，然后打开链接：

517fdd579c34aa21.png

  1. 使用您的 Qwiklabs 学生凭据登录。

db99b345f7a8e72c.png

  1. 选择“允许”：

a5376553c430ac84.png

  1. 复制验证码，然后返回到工作站标签页。

6719421277b92eac.png

  1. 粘贴验证码，然后按 Enter 键。

e9847cfe3fa8a2ce.png

添加 Kubernetes 集群

  1. 添加集群

62a3b97bdbb427e5.png

  1. 选择 Google Kubernetes Engine：

9577de423568bbaa.png

  1. 选择项目。

c5202fcbeebcd41c.png

  1. 选择在初始设置中创建的“python-cluster”。

719c2fc0a7f9e84f.png

  1. 现在，该集群会显示在 Cloud Code 下的 Kubernetes 集群列表中。您可在此处浏览和探索集群。

7e5f50662d4eea3c.png

使用 gcloud CLI 设置当前项目 ID

  1. 从 Qwiklabs 页面复制本实验的项目 ID。

fcff2d10007ec5bc.png

  1. 在终端中，运行 gcloud CLI 命令以设置项目 ID。在运行命令之前，请替换示例项目 ID。在运行以下命令之前，请先替换项目 ID。
gcloud config set project qwiklabs-gcp-project-id

将容器部署到 Kubernetes

  1. 在 Cloud Shell Editor 底部的窗格中，选择 Cloud Code 

d99a88992e15fea9.png

  1. 在顶部显示的面板中，选择 Run on Kubernetes（在 Kubernetes 上运行）。如果系统提示您，请选择“是”以使用当前的 Kubernetes 上下文。

bfd65e9df6d4a6cb.png

此命令会启动源代码的 build，然后运行测试。构建和测试需要几分钟才能运行。这些测试包括单元测试和验证步骤，用于检查为部署环境设置的规则。此验证步骤已配置完毕，可确保您仍在开发环境中工作时收到有关部署问题的警告。

  1. 首次运行该命令时，屏幕顶部会显示一个提示，询问您是否需要当前 Kubernetes 上下文，请选择“是”以接受并使用当前上下文。
  2. 接下来，系统会显示一个提示，询问要使用哪个容器注册表。按 Enter 键接受提供的默认值
  3. 选择下方窗格中的“输出”标签页，查看进度和通知。使用下拉菜单选择“Kubernetes: Run/Debug”

9c87ccbf5d06f50a.png

  1. 在右侧的渠道下拉菜单中选择“Kubernetes：运行/调试 - 详细”，以查看其他详细信息和从容器实时传输的日志

804abc8833ffd571.png

构建和测试完成后，“Kubernetes：运行/调试”视图的“输出”标签页日志中会列出网址 http://localhost:8080。

  1. 在 Cloud Code 终端中，将光标悬停在输出中的第一个网址 (http://localhost:8080) 上，然后在显示的工具提示中选择“打开网页预览”。
  2. 系统会打开一个新的浏览器标签页，并显示消息 Hello, World!

热重载

  1. 打开 app.py 文件
  2. 将问候语消息更改为 Hello from Python

请注意，在 Output 窗口的 Kubernetes: Run/Debug 视图中，监视器会立即将更新后的文件与 Kubernetes 中的容器同步

Update initiated
Build started for artifact python-app
Build completed for artifact python-app

Deploy started
Deploy completed

Status check started
Resource pod/python-app-6f646ffcbb-tn7qd status updated to In Progress
Resource deployment/python-app status updated to In Progress
Resource deployment/python-app status completed successfully
Status check succeeded
...
  1. 如果您切换到 Kubernetes: Run/Debug - Detailed 视图，会发现它会识别文件更改，然后构建并重新部署应用
files modified: [app.py]
Syncing 1 files for gcr.io/veer-pylab-01/python-app:3c04f58-dirty@sha256:a42ca7250851c2f2570ff05209f108c5491d13d2b453bb9608c7b4af511109bd
Copying files:map[app.py:[/app/app.py]]togcr.io/veer-pylab-01/python-app:3c04f58-dirty@sha256:a42ca7250851c2f2570ff05209f108c5491d13d2b453bb9608c7b4af511109bd
Watching for changes...
[python-app] * Detected change in '/app/app.py', reloading
[python-app] * Restarting with stat
[python-app] * Debugger is active!
[python-app] * Debugger PIN: 744-729-662
  1. 刷新之前显示结果的浏览器标签页，即可查看更新后的结果。

调试

  1. 前往“调试”视图，然后停止当前线程 647213126d7a4c7b.png。如果系统询问，您可以选择在每次运行后进行清理。
  2. 70d6bd947d04d1e6.png
  3. 点击底部菜单中的 Cloud Code，然后选择 Debug on Kubernetes 以在 debug 模式下运行应用。
  • 在 Output 窗口的 Kubernetes Run/Debug - Detailed 视图中，请注意 skaffold 将以调试模式部署此应用。
  1. 流程完成时。您会看到调试器已附加，并且“输出”标签页显示：Attached debugger to container "python-app-8476f4bbc-h6dsl" successfully.，同时列出了网址 http://localhost:8080。
Port forwarding pod/python-app-8bd64cf8b-cskfl in namespace default, remote port 5678 -> http://127.0.0.1:5678
  1. 底部状态栏的颜色从蓝色变为橙色，表示处于调试模式。
  2. 在 Kubernetes Run/Debug 视图中，请注意，可调试容器已启动
**************URLs*****************
Forwarded URL from service python-app: http://localhost:8080
Debuggable container started pod/python-app-8bd64cf8b-cskfl:python-app (default)
Update succeeded
***********************************

利用断点

  1. 打开 app.py 文件
  2. 找到显示 return message 的语句
  3. 点击行号左侧的空白处，为该行添加一个断点。系统会显示一个红色指示器，表明已设置断点
  4. 首次运行此命令时，系统会提示您指定容器内的来源位置。此值与 Dockerfile 中的目录相关。

按 Enter 键接受默认值

fccc866f32b5ed86.png

应用需要几分钟时间才能构建和部署完毕。

  1. 重新加载浏览器，并注意调试程序会在断点处停止进程，以便您调查在 GKE 中远程运行的应用的变量和状态
  2. 向下点击进入“变量”部分
  3. 点击“Locals”，您会看到 "message" 变量。
  4. 双击变量名称“message”，然后在弹出式窗口中将值更改为其他值，例如 "Greetings from Python"
  5. 点击调试控制面板中的“继续”按钮 607c33934f8d6b39.png
  6. 在浏览器中查看响应，其中现在显示了您刚刚输入的更新后的值。
  7. 按停止按钮 647213126d7a4c7b.png 停止“调试”模式，然后再次点击断点以移除断点。

5. 开发简单的 CRUD REST 服务

至此，您的应用已完全配置好，可以进行容器化开发，并且您已通过 Cloud Code 完成了基本开发工作流程。在以下部分中，您将通过添加连接到 Google Cloud 中托管式数据库的 REST 服务端点来练习所学知识。

对其余服务进行编码

以下代码创建了一个简单的 REST 服务，该服务使用 Spanner 作为支持应用的数据库。通过将以下代码复制到应用中来创建应用。

  1. 通过将 app.py 替换为以下内容来创建主应用
import os
from flask import Flask, request, jsonify
from google.cloud import spanner


app = Flask(__name__)


instance_id = "music-catalog"

database_id = "musicians"

spanner_client = spanner.Client()
instance = spanner_client.instance(instance_id)
database = instance.database(database_id)


@app.route("/")
def hello_world():
    return "<p>Hello, World!</p>"

@app.route('/singer', methods=['POST'])
def create():
    try:
        request_json = request.get_json()
        singer_id = request_json['singer_id']
        first_name = request_json['first_name']
        last_name = request_json['last_name']
        def insert_singers(transaction):
            row_ct = transaction.execute_update(
                f"INSERT Singers (SingerId, FirstName, LastName) VALUES" \
                f"({singer_id}, '{first_name}', '{last_name}')"
            )
            print("{} record(s) inserted.".format(row_ct))

        database.run_in_transaction(insert_singers)

        return {"Success": True}, 200
    except Exception as e:
        return e



@app.route('/singer', methods=['GET'])
def get_singer():

    try:
        singer_id = request.args.get('singer_id')
        def get_singer():
            first_name = ''
            last_name = ''
            with database.snapshot() as snapshot:
                results = snapshot.execute_sql(
                    f"SELECT SingerId, FirstName, LastName FROM Singers " \
                    f"where SingerId = {singer_id}",
                    )
                for row in results:
                    first_name = row[1]
                    last_name = row[2]
                return (first_name,last_name )
        first_name, last_name = get_singer()  
        return {"first_name": first_name, "last_name": last_name }, 200
    except Exception as e:
        return e


@app.route('/singer', methods=['PUT'])
def update_singer_first_name():
    try:
        singer_id = request.args.get('singer_id')
        request_json = request.get_json()
        first_name = request_json['first_name']
        
        def update_singer(transaction):
            row_ct = transaction.execute_update(
                f"UPDATE Singers SET FirstName = '{first_name}' WHERE SingerId = {singer_id}"
            )

            print("{} record(s) updated.".format(row_ct))

        database.run_in_transaction(update_singer)
        return {"Success": True}, 200
    except Exception as e:
        return e


@app.route('/singer', methods=['DELETE'])
def delete_singer():
    try:
        singer_id = request.args.get('singer')
    
        def delete_singer(transaction):
            row_ct = transaction.execute_update(
                f"DELETE FROM Singers WHERE SingerId = {singer_id}"
            )
            print("{} record(s) deleted.".format(row_ct))

        database.run_in_transaction(delete_singer)
        return {"Success": True}, 200
    except Exception as e:
        return e

port = int(os.environ.get('PORT', 8080))
if __name__ == '__main__':
    app.run(threaded=True, host='0.0.0.0', port=port)

添加数据库配置

如需安全地连接到 Spanner，请将应用设置为使用工作负载身份。这样一来，您的应用就可以充当自己的服务账号，并在访问数据库时拥有单独的权限。

  1. 更新 deployment.yaml。将以下代码添加到文件末尾（确保保留以下示例中的 Tab 缩进）
      serviceAccountName: python-ksa
      nodeSelector:
        iam.gke.io/gke-metadata-server-enabled: "true"

更改后，规范部分应如下所示

   spec:
     containers:
     - name: python-app
       image: python-app
     serviceAccountName: python-ksa
     nodeSelector:
       iam.gke.io/gke-metadata-server-enabled: "true"

部署和验证应用

  1. 在 Cloud Shell 编辑器底部的窗格中，选择 Cloud Code，然后选择屏幕顶部的 Debug on Kubernetes。
  2. 构建和测试完成后，“输出”标签页将显示 Resource deployment/python-app status completed successfully，并列出网址：“Forwarded 网址 from service python-app: http://localhost:8080”
  3. 添加几个条目。

在 Cloud Shell 终端中，运行以下命令

curl -X POST http://localhost:8080/singer -H 'Content-Type: application/json' -d '{"first_name":"Cat","last_name":"Meow", "singer_id": 6}'
  1. 在终端中运行以下命令，测试 GET
curl -X GET http://localhost:8080/singer?singer_id=6
  1. 测试删除：现在，尝试运行以下命令来删除条目。根据需要更改 item-id 的值。
curl -X DELETE http://localhost:8080/singer?singer_id=6

    This throws an error message

500 Internal Server Error

找出并解决问题

  1. 调试模式并找到问题。请参考以下提示：
  • 我们知道 DELETE 存在问题，因为它未返回所需的结果。因此，您需要在 delete_singer 方法中的 app.py 中设置断点。
  • 逐步执行并观察每个步骤中的变量，以查看左侧窗口中的局部变量值。
  • 如需在调试器中观察特定值（例如 singer_id 和 request.args），请将这些变量添加到“监视”窗口。
  1. 请注意，分配给 singer_id 的值为 None。更改代码以解决问题。

修正后的代码段如下所示。

@app.route('/delete-singer', methods=['DELETE', 'GET'])
def delete_singer():
    try:
        singer_id = request.args.get('singer_id')
  1. 应用重启后，请尝试删除，再次进行测试。
  2. 点击调试工具栏中的红色方块 647213126d7a4c7b.png，停止调试会话

6. 清理

恭喜！在本实验中，您从头开始创建了一个新的 Python 应用，并将其配置为可与容器有效搭配使用。然后，您按照传统应用堆栈中相同的开发者流程，将应用部署到远程 GKE 集群并进行调试。

如需在完成实验后进行清理，请执行以下操作：

  1. 删除实验中使用的文件
cd ~ && rm -rf ~/music-service
  1. 删除项目以移除所有相关基础架构和资源