使用 AlloyDB AI 和 LangChain 建構 LLM 和 RAG 聊天應用程式

1. 簡介

在本程式碼研究室中，您將瞭解如何部署 GenAI 資料庫擷取服務，並使用已部署的環境建立互動式應用程式範例。

98c2676cc78880e.png

如要進一步瞭解 GenAI Retrieval Service 和應用程式範例，請參閱本文。

必要條件

  • 對 Google Cloud 控制台有基本瞭解
  • 指令列介面和 Google Cloud Shell 的基本技能

課程內容

  • 如何部署 AlloyDB 叢集
  • 如何連線至 AlloyDB
  • 如何設定及部署 GenAI 資料庫擷取服務
  • 如何使用已部署的服務部署範例應用程式

軟硬體需求

  • Google Cloud 帳戶和 Google Cloud 專案
  • 網路瀏覽器，例如 Chrome

2. 設定和需求

自修環境設定

  1. 登入 Google Cloud 控制台，然後建立新專案或重複使用現有專案。如果您還沒有 Gmail 或 Google Workspace 帳戶，請務必建立帳戶。

fbef9caa1602edd0.png

a99b7ace416376c4.png

5e3ff691252acf41.png

  • 「專案名稱」是這項專案參與者的顯示名稱。這是 Google API 不會使用的字元字串。您隨時可以更新。
  • 專案 ID 在所有 Google Cloud 專案中都是不重複的值，且無法變更 (設定後即無法變更)。Cloud 控制台會自動產生專屬字串，您通常不需要理會這個字串。在大多數程式碼研究室中，您都需要參照專案 ID (通常會以 PROJECT_ID 表示)。如果您不喜歡系統產生的 ID，可以產生另一個隨機 ID。或者，您也可以自行嘗試，看看是否可用。在這個步驟完成後就無法變更，且會在整個專案期間維持不變。
  • 資訊中的第三個值是專案編號，部分 API 會使用這個編號。如要進一步瞭解這三個值，請參閱說明文件。
  1. 接下來，您需要在 Cloud 控制台中啟用計費功能，才能使用 Cloud 資源/API。執行這個程式碼研究室不會產生太多費用，甚至可能完全不會產生費用。如要關閉資源，避免在本教學課程結束後繼續產生費用，您可以刪除已建立的資源或專案。Google Cloud 新使用者可享有價值 $300 美元的免費試用期。

啟動 Cloud Shell

雖然 Google Cloud 可透過筆記型電腦遠端操作，但在本程式碼研究室中，您將使用 Google Cloud Shell，這是在雲端運作的指令列環境。

在 Google Cloud 控制台中，按一下右上方工具列的 Cloud Shell 圖示：

55efc1aaa7a4d3ad.png

佈建並連線至環境的作業需要一些時間才能完成。完成後，您應該會看到類似下方的內容：

7ffe5cbb04455448.png

這個虛擬機器會載入您需要的所有開發工具。提供永久的 5 GB 主目錄，而且在 Google Cloud 中運作，因此能大幅提升網路效能和驗證效率。您可以在瀏覽器中完成本程式碼研究室的所有工作。您不需要安裝任何東西。

3. 事前準備

啟用 API

輸出：

在 Cloud Shell 中，請確認您已設定專案 ID：

通常，Cloud Shell 的命令提示會在括號內顯示專案 ID，如下圖所示：

fa6ee779963405d5.png

gcloud config set project [YOUR-PROJECT-ID]

接著，將 PROJECT_ID 環境變數設為 Google Cloud 專案 ID：

PROJECT_ID=$(gcloud config get-value project)

啟用所有必要服務：

gcloud services enable alloydb.googleapis.com \
                       compute.googleapis.com \
                       cloudresourcemanager.googleapis.com \
                       servicenetworking.googleapis.com \
                       vpcaccess.googleapis.com \
                       aiplatform.googleapis.com \
                       cloudbuild.googleapis.com \
                       artifactregistry.googleapis.com \
                       run.googleapis.com \
                       iam.googleapis.com

預期的輸出內容：

student@cloudshell:~ (gleb-test-short-004)$ gcloud services enable alloydb.googleapis.com \
                       compute.googleapis.com \
                       cloudresourcemanager.googleapis.com \
                       servicenetworking.googleapis.com \
                       vpcaccess.googleapis.com \
                       aiplatform.googleapis.com \
                       cloudbuild.googleapis.com \
                       artifactregistry.googleapis.com \
                       run.googleapis.com \
                       iam.googleapis.com
Operation "operations/acf.p2-404051529011-664c71ad-cb2b-4ab4-86c1-1f3157d70ba1" finished successfully.

4. 部署 AlloyDB 叢集

建立 AlloyDB 叢集之前，我們需要虛擬私有雲中的可用私人 IP 範圍，供日後的 AlloyDB 執行個體使用。如果沒有，我們需要建立，並指派給內部 Google 服務使用，之後才能建立叢集和執行個體。

建立私人 IP 範圍

我們必須在虛擬私有雲中，為 AlloyDB 設定私人服務存取權設定。在此假設，專案中已有「預設」虛擬私有雲網路，且會用於所有動作。

建立私人 IP 範圍：

gcloud compute addresses create psa-range \
    --global \
    --purpose=VPC_PEERING \
    --prefix-length=24 \
    --description="VPC private service access" \
    --network=default

使用分配的 IP 範圍建立私人連線：

gcloud services vpc-peerings connect \
    --service=servicenetworking.googleapis.com \
    --ranges=psa-range \
    --network=default

預期的控制台輸出內容：

student@cloudshell:~ (test-project-402417)$ gcloud compute addresses create psa-range \
    --global \
    --purpose=VPC_PEERING \
    --prefix-length=24 \
    --description="VPC private service access" \
    --network=default
Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/global/addresses/psa-range].

student@cloudshell:~ (test-project-402417)$ gcloud services vpc-peerings connect \
    --service=servicenetworking.googleapis.com \
    --ranges=psa-range \
    --network=default
Operation "operations/pssn.p24-4470404856-595e209f-19b7-4669-8a71-cbd45de8ba66" finished successfully.

student@cloudshell:~ (test-project-402417)$

建立 AlloyDB 叢集

在 us-central1 區域中建立 AlloyDB 叢集。

定義 postgres 使用者的密碼。您可以自行定義密碼，也可以使用隨機函式產生密碼

export PGPASSWORD=`openssl rand -hex 12`

預期的控制台輸出內容：

student@cloudshell:~ (test-project-402417)$ export PGPASSWORD=`openssl rand -hex 12`

請記下 PostgreSQL 密碼，以供日後使用：

echo $PGPASSWORD

預期的控制台輸出內容：

student@cloudshell:~ (test-project-402417)$ echo $PGPASSWORD
bbefbfde7601985b0dee5723

定義區域和 AlloyDB 叢集名稱。我們將使用 us-central1 區域，並將 alloydb-aip-01 做為叢集名稱：

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01

執行指令來建立叢集：

gcloud alloydb clusters create $ADBCLUSTER \
    --password=$PGPASSWORD \
    --network=default \
    --region=$REGION

預期的主控台輸出內容：

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
gcloud alloydb clusters create $ADBCLUSTER \
    --password=$PGPASSWORD \
    --network=default \
    --region=$REGION
Operation ID: operation-1697655441138-6080235852277-9e7f04f5-2012fce4
Creating cluster...done.

建立 AlloyDB 主要執行個體

在同一個 Cloud Shell 工作階段中，為叢集建立 AlloyDB 主要執行個體。如果連線中斷，您必須重新定義地區和叢集名稱環境變數。

gcloud alloydb instances create $ADBCLUSTER-pr \
    --instance-type=PRIMARY \
    --cpu-count=2 \
    --region=$REGION \
    --cluster=$ADBCLUSTER

預期的控制台輸出內容：

student@cloudshell:~ (test-project-402417)$ gcloud alloydb instances create $ADBCLUSTER-pr \
    --instance-type=PRIMARY \
    --cpu-count=2 \
    --region=$REGION \
    --availability-type ZONAL \
    --cluster=$ADBCLUSTER
Operation ID: operation-1697659203545-6080315c6e8ee-391805db-25852721
Creating instance...done.

5. 準備 GCE 虛擬機器

建立服務帳戶

我們會使用 VM 部署 GenAI 資料庫擷取服務並代管範例應用程式，因此第一步是建立 Google 服務帳戶 (GSA)。GSA 會由 GCE VM 使用，因此我們需要授予必要權限，讓它能夠與其他服務搭配運作。

在 Cloud Shell 中執行：

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts create compute-aip --project $PROJECT_ID
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/cloudbuild.builds.editor"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/artifactregistry.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/storage.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/run.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/iam.serviceAccountUser"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/alloydb.viewer"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/aiplatform.user"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/serviceusage.serviceUsageConsumer"

部署 GCE VM

在與 AlloyDB 叢集相同的區域和 VPC 中建立 GCE VM。

請在 Cloud Shell 中執行下列指令：

export ZONE=us-central1-a
gcloud compute instances create instance-1 \
    --zone=$ZONE \
    --create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
  --service-account=compute-aip@$PROJECT_ID.iam.gserviceaccount.com

預期的主控台輸出內容：

student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
gcloud compute instances create instance-1 \
    --zone=$ZONE \
    --create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
    --scopes=https://www.googleapis.com/auth/cloud-platform

Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/zones/us-central1-a/instances/instance-1].
NAME: instance-1
ZONE: us-central1-a
MACHINE_TYPE: n1-standard-1
PREEMPTIBLE: 
INTERNAL_IP: 10.128.0.2
EXTERNAL_IP: 34.71.192.233
STATUS: RUNNING

安裝 Postgres 用戶端

在已部署的 VM 上安裝 PostgreSQL 用戶端軟體

連線至 VM：

gcloud compute ssh instance-1 --zone=us-central1-a

預期的控制台輸出內容：

student@cloudshell:~ (test-project-402417)$ gcloud compute ssh instance-1 --zone=us-central1-a
Updating project ssh metadata...working..Updated [https://www.googleapis.com/compute/v1/projects/test-project-402417].                                                                                                                                                         
Updating project ssh metadata...done.                                                                                                                                                                                                                                              
Waiting for SSH key to propagate.
Warning: Permanently added 'compute.5110295539541121102' (ECDSA) to the list of known hosts.
Linux instance-1 5.10.0-26-cloud-amd64 #1 SMP Debian 5.10.197-1 (2023-09-29) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
student@instance-1:~$

在 VM 中安裝執行軟體的指令：

sudo apt-get update
sudo apt-get install --yes postgresql-client

預期的控制台輸出內容：

student@instance-1:~$ sudo apt-get update
sudo apt-get install --yes postgresql-client
Get:1 file:/etc/apt/mirrors/debian.list Mirrorlist [30 B]
Get:4 file:/etc/apt/mirrors/debian-security.list Mirrorlist [39 B]
Hit:7 https://packages.cloud.google.com/apt google-compute-engine-bookworm-stable InRelease
Get:8 https://packages.cloud.google.com/apt cloud-sdk-bookworm InRelease [1652 B]
Get:2 https://deb.debian.org/debian bookworm InRelease [151 kB]
Get:3 https://deb.debian.org/debian bookworm-updates InRelease [55.4 kB]
...redacted...
update-alternatives: using /usr/share/postgresql/15/man/man1/psql.1.gz to provide /usr/share/man/man1/psql.1.gz (psql.1.gz) in auto mode
Setting up postgresql-client (15+248) ...
Processing triggers for man-db (2.11.2-2) ...
Processing triggers for libc-bin (2.36-9+deb12u7) ...

連線至執行個體

使用 psql 從 VM 連線至主要執行個體。

使用已開啟的 SSH 工作階段連線至 VM。如果您已中斷連線，請使用上述相同的指令重新連線。

使用先前記下的 $PGASSWORD 和叢集名稱，從 GCE VM 連線至 AlloyDB：

export PGPASSWORD=<Noted password>

export PROJECT_ID=$(gcloud config get-value project)
export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
export INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)")
psql "host=$INSTANCE_IP user=postgres sslmode=require"

預期的控制台輸出內容：

student@instance-1:~$ export PGPASSWORD=P9...
student@instance-1:~$ export REGION=us-central1
student@instance-1:~$ export ADBCLUSTER=alloydb-aip-01
student@instance-1:~$ export INSTANCE_IP=export INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)")
student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres sslmode=require"
psql (13.11 (Debian 13.11-0+deb11u1), server 14.7)
WARNING: psql major version 13, server major version 14.
         Some psql features might not work.
SSL connection (protocol: TLSv1.3, cipher: TLS_AES_256_GCM_SHA384, bits: 256, compression: off)
Type "help" for help.

postgres=>

結束 psql 工作階段，讓 SSH 連線保持連線：

exit

預期的控制台輸出內容：

postgres=> exit
student@instance-1:~$

6. 初始化資料庫

我們將使用用戶端 VM 做為平台，為資料庫填入資料並代管應用程式。第一步是建立資料庫，並填入資料。

建立資料庫

建立名為「assistantdemo」的資料庫。

在 GCE VM 工作階段中，執行以下動作：

psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE assistantdemo"

預期的控制台輸出內容：

student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE assistantdemo"
CREATE DATABASE
student@instance-1:~$

啟用 pgVector 擴充功能。

psql "host=$INSTANCE_IP user=postgres dbname=assistantdemo" -c "CREATE EXTENSION vector"

預期的主控台輸出內容：

student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres dbname=assistantdemo" -c "CREATE EXTENSION vector"
CREATE EXTENSION
student@instance-1:~$

準備 Python 環境

為了繼續進行，我們要使用 GitHub 存放區中已備妥的 Python 指令碼，但在執行前，我們必須安裝必要的軟體。

在 GCE VM 中執行：

sudo apt install -y python3.11-venv git
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade pip

預期的控制台輸出內容：

student@instance-1:~$ sudo apt install -y python3.11-venv git
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade pip
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
The following additional packages will be installed:
  git-man liberror-perl patch python3-distutils python3-lib2to3 python3-pip-whl python3-setuptools-whl
Suggested packages:
  git-daemon-run | git-daemon-sysvinit git-doc git-email git-gui gitk gitweb git-cvs git-mediawiki git-svn ed diffutils-doc
The following NEW packages will be installed:
  git git-man liberror-perl patch python3-distutils python3-lib2to3 python3-pip-whl python3-setuptools-whl python3.11-venv
0 upgraded, 9 newly installed, 0 to remove and 2 not upgraded.
Need to get 12.4 MB of archives.
After this operation, 52.2 MB of additional disk space will be used.
Get:1 file:/etc/apt/mirrors/debian.list Mirrorlist [30 B]
...redacted...
Installing collected packages: pip
  Attempting uninstall: pip
    Found existing installation: pip 23.0.1
    Uninstalling pip-23.0.1:
      Successfully uninstalled pip-23.0.1
Successfully installed pip-24.0
(.venv) student@instance-1:~$

驗證 Python 版本。

在 GCE VM 中，執行下列指令：

python -V

預期的控制台輸出內容：

(.venv) student@instance-1:~$ python -V
Python 3.11.2
(.venv) student@instance-1:~$

填入資料庫

複製 GitHub 存放區，其中包含擷取服務和範例應用程式的程式碼。

在 GCE VM 中執行：

git clone https://github.com/GoogleCloudPlatform/genai-databases-retrieval-app.git

預期的控制台輸出內容：

student@instance-1:~$ git clone https://github.com/GoogleCloudPlatform/genai-databases-retrieval-app.git
Cloning into 'genai-databases-retrieval-app'...
remote: Enumerating objects: 525, done.
remote: Counting objects: 100% (336/336), done.
remote: Compressing objects: 100% (201/201), done.
remote: Total 525 (delta 224), reused 179 (delta 135), pack-reused 189
Receiving objects: 100% (525/525), 46.58 MiB | 16.16 MiB/s, done.
Resolving deltas: 100% (289/289), done.

準備設定檔

在 GCE VM 中，執行下列指令：

cd genai-databases-retrieval-app/retrieval_service
cp example-config.yml config.yml
sed -i s/127.0.0.1/$INSTANCE_IP/g config.yml
sed -i s/my-password/$PGPASSWORD/g config.yml
sed -i s/my_database/assistantdemo/g config.yml
sed -i s/my-user/postgres/g config.yml
cat config.yml

預期的控制台輸出內容：

student@instance-1:~$ cd genai-databases-retrieval-app/retrieval_service
cp example-config.yml config.yml
sed -i s/127.0.0.1/$INSTANCE_IP/g config.yml
sed -i s/my-password/$PGPASSWORD/g config.yml
sed -i s/my_database/assistantdemo/g config.yml
sed -i s/my-user/postgres/g config.yml
cat config.yml
host: 0.0.0.0
# port: 8080
datastore:
  # Example for AlloyDB
  kind: "postgres"
  host: 10.65.0.2
  # port: 5432
  database: "assistantdemo"
  user: "postgres"
  password: "P9..."

將範例資料集填入資料庫。第一項指令是將所有必要套件新增至 Python 虛擬環境，第二個指令就是在資料庫中填入資料。

在 GCE VM 中執行：

pip install -r requirements.txt
python run_database_init.py

預期的控制台輸出內容(經過遮蓋)：

student@instance-1:~/genai-databases-retrieval-app/retrieval_service$ pip install -r requirements.txt
python run_database_init.py
Collecting asyncpg==0.28.0 (from -r requirements.txt (line 1))
  Obtaining dependency information for asyncpg==0.28.0 from https://files.pythonhosted.org/packages/77/a4/88069f7935b14c58534442a57be3299179eb46aace2d3c8716be199ff6a6/asyncpg-0.28.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata
  Downloading asyncpg-0.28.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata (4.3 kB)
Collecting fastapi==0.101.1 (from -r requirements.txt (line 2))
...
database init done.
student@instance-1:~/genai-databases-retrieval-app/retrieval_service$

7. 將擷取服務部署至 Cloud Run

我們現在可以將擷取服務部署至 Cloud Run。這項服務負責與資料庫互動，並根據 AI 應用程式的要求，從資料庫中擷取必要資訊。

建立服務帳戶

為擷取服務建立服務帳戶，並授予必要權限。

使用頂端的「+」符號開啟另一個 Cloud Shell 分頁。

4ca978f5142bb6ce.png

在新的 Cloud Shell 分頁中執行：

export PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts create retrieval-identity
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/aiplatform.user"

預期的主控台輸出內容：

student@cloudshell:~ (gleb-test-short-003)$ gcloud iam service-accounts create retrieval-identity
Created service account [retrieval-identity].

在分頁中執行「exit」指令，關閉分頁：

exit

部署擷取服務

在第一個分頁中繼續操作，透過 SSH 連線至 VM，然後部署服務。

在 VM SSH 工作階段中執行以下指令：

cd ~/genai-databases-retrieval-app
gcloud alpha run deploy retrieval-service \
    --source=./retrieval_service/\
    --no-allow-unauthenticated \
    --service-account retrieval-identity \
    --region us-central1 \
    --network=default \
    --quiet

預期的控制台輸出內容：

student@instance-1:~/genai-databases-retrieval-app$ gcloud alpha run deploy retrieval-service \
    --source=./retrieval_service/\
    --no-allow-unauthenticated \
    --service-account retrieval-identity \
    --region us-central1 \
    --network=default
This command is equivalent to running `gcloud builds submit --tag [IMAGE] ./retrieval_service/` and `gcloud run deploy retrieval-service --image [IMAGE]`

Building using Dockerfile and deploying container to Cloud Run service [retrieval-service] in project [gleb-test-short-003] region [us-central1]
X Building and deploying... Done.
  ✓ Uploading sources...
  ✓ Building Container... Logs are available at [https://console.cloud.google.com/cloud-build/builds/6ebe74bf-3039-4221-b2e9-7ca8fa8dad8e?project=1012713954588].
  ✓ Creating Revision...
  ✓ Routing traffic...
    Setting IAM Policy...
Completed with warnings:
  Setting IAM policy failed, try "gcloud beta run services remove-iam-policy-binding --region=us-central1 --member=allUsers --role=roles/run.invoker retrieval-service"
Service [retrieval-service] revision [retrieval-service-00002-4pl] has been deployed and is serving 100 percent of traffic.
Service URL: https://retrieval-service-onme64eorq-uc.a.run.app
student@instance-1:~/genai-databases-retrieval-app$

驗證服務

我們現在可以檢查服務是否正常執行，以及 VM 是否可存取端點。我們使用 gcloud 公用程式取得擷取服務端點。或者，您也可以在 Cloud 控制台中查看，並在 curl 指令中將 "$(gcloud run services list –filter="(retrieval-service)" 替換為該值。

在 VM SSH 工作階段中執行以下指令：

curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" $(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

預期的控制台輸出內容：

student@instance-1:~/genai-databases-retrieval-app$ curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" $(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")
{"message":"Hello World"}student@instance-1:~/genai-databases-retrieval-app$

如果我們看到「Hello World」訊息，表示服務已啟用並提供要求。

8. 部署範例應用程式

擷取服務啟動並執行後，我們就可以部署要使用該服務的範例應用程式。應用程式可部署至 VM 或任何其他服務 (例如 Cloud Run、Kubernetes，甚至是筆電上的本機)。我們將說明如何在 VM 上部署這項服務。

準備環境

我們會繼續使用相同的 SSH 工作階段處理虛擬機器。如要執行應用程式，我們需要新增一些 Python 模組。系統會在相同 Python 虛擬環境中的應用程式目錄中執行這項指令。

在 VM SSH 工作階段中執行以下指令：

cd ~/genai-databases-retrieval-app/llm_demo
pip install -r requirements.txt

預期的輸出內容 (已遮蓋)：

student@instance-1:~$ cd ~/genai-databases-retrieval-app/llm_demo
pip install -r requirements.txt
Collecting fastapi==0.104.0 (from -r requirements.txt (line 1))
  Obtaining dependency information for fastapi==0.104.0 from https://files.pythonhosted.org/packages/db/30/b8d323119c37e15b7fa639e65e0eb7d81eb675ba166ac83e695aad3bd321/fastapi-0.104.0-py3-none-any.whl.metadata
  Downloading fastapi-0.104.0-py3-none-any.whl.metadata (24 kB)
...

準備用戶端 ID

如要使用應用程式的預訂功能，請務必透過 Cloud 控制台備妥 OAuth 2.0 用戶端 ID。預訂服務會使用用戶端憑證，在資料庫中記錄預訂資料，因此我們會在登入應用程式時取得這些憑證。

在 Cloud 控制台中，前往「API 和服務」並點選「OAuth 同意畫面」，然後選擇「內部」使用者。

2400e5dcdb93eab8.png

然後按一下「建立」，並按照下一個畫面上的指示操作。

6c34d235156e571f.png

您必須填寫「應用程式名稱」和「使用者支援電子郵件」等必填欄位。您也可以新增要在同意畫面上顯示的網域，最後再加入「開發人員聯絡資訊」。

2b7cd51aff915072.png

接著，您按下頁面底部的「儲存並繼續」按鈕，即可前往下一頁。

d90c10c88fd347f9.png

除非您想指定範圍，否則不需要變更任何內容。最後，再次按一下「儲存並繼續」按鈕確認。這樣就能設定應用程式同意畫面。

下一步是建立用戶端 ID。在左側面板中，按一下「憑證」，即可前往 OAuth2 憑證。

7ad97432390f224c.png

請按一下頂端的「Create Credentials」(建立憑證)，然後選擇「OAuth ClientID」。系統會開啟另一個畫面。

325a926431c8f16d.png

從應用程式類型下拉式清單中選取「網路應用程式」，然後將應用程式網址 (和埠 - 選用) 設為「已授權的 JavaScript 來源」。您必須在「已授權的重新導向 URI」中新增應用程式主機，並在結尾加上「/login/google」，才能使用授權彈出式視窗。如上圖所示，我使用 http://localhost 做為基礎應用程式 URI。

點選「建立」按鈕後，畫面上會出現顯示用戶端憑證的彈出式視窗。

e91adf03ec31cd15.png

稍後我們需要使用用戶端 ID (以及選擇性的用戶端密碼)，才能與應用程式搭配使用

執行 Google 助理應用程式

在啟動應用程式之前，我們需要設定一些環境變數。應用程式的基本功能 (例如查詢航班和機場設施) 只需要 BASE_URL，即可將應用程式導向擷取服務。我們可以使用 gcloud 指令取得該值。

在 VM SSH 工作階段中執行以下指令：

export BASE_URL=$(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

預期輸出內容 (經過遮蓋)：

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ export BASE_URL=$(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

如要使用應用程式的進階功能 (例如預訂和變更航班)，我們需要使用 Google 帳戶登入應用程式，因此我們需要使用「準備用戶端 ID」一節中的 OAuth 用戶端 ID，提供 CLIENT_ID 環境變數：

export CLIENT_ID=215....apps.googleusercontent.com

預期輸出內容 (經過遮蓋)：

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ export CLIENT_ID=215....apps.googleusercontent.com

我們現在可以執行應用程式了：

python run_app.py

預期輸出內容：

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ python main.py
INFO:     Started server process [28565]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8081 (Press CTRL+C to quit)

連線至應用程式

您可以透過多種方式連線至在 VM 上執行的應用程式。舉例來說，您可以使用 VPC 中的防火牆規則，在 VM 上開啟通訊埠 8081，或是建立具有公開 IP 的負載平衡器。我們將使用 SSH 通道連線至 VM，將本機通訊埠 8080 轉譯為 VM 通訊埠 8081。

從本機連線

如要從本機電腦連線，就必須執行 SSH 通道。您可以使用 gcloud compute ssh 執行這項操作：

gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8081:localhost:8081

預期輸出內容：

student-macbookpro:~ student$ gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081
Warning: Permanently added 'compute.7064281075337367021' (ED25519) to the list of known hosts.
Linux instance-1.us-central1-c.c.gleb-test-001.internal 6.1.0-21-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.90-1 (2024-05-03) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
student@instance-1:~$

現在，我們可以開啟瀏覽器並使用 http://localhost:8081 連線到應用程式。我們應該會看到應用程式畫面。

c667b9013afac3f9.png

透過 Cloud Shell 連線

或者，您也可以使用 Cloud Shell 進行連線。使用頂端的「+」符號開啟另一個 Cloud Shell 分頁。

4ca978f5142bb6ce.png

在新的 Cloud Shell 中，取得執行 gcloud 指令的網路用戶端來源和重新導向 URI：

echo "origin:"; echo "https://8080-$WEB_HOST"; echo "redirect:"; echo "https://8080-$WEB_HOST/login/google"

預期的輸出內容如下：

student@cloudshell:~ echo "origin:"; echo "https://8080-$WEB_HOST"; echo "redirect:"; echo "https://8080-$WEB_HOST/login/google"
origin:
https://8080-cs-35704030349-default.cs-us-east1-rtep.cloudshell.dev
redirect:
https://8080-cs-35704030349-default.cs-us-east1-rtep.cloudshell.dev/login/google

並將來源和 URI 的重新導向做為「已授權的 JavaScript 來源」和「已授權的重新導向 URI」使用，為在「準備用戶端 ID」章節中建立的憑證，取代或新增原先提供的 http://localhost:8080 值。

2c37eeda0a7e2f80.png

在新 Cloud Shell 分頁中執行 gcloud 指令，系統就會將通道啟動到您的 VM：

gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081

系統會顯示「無法指派要求的地址」錯誤訊息，請忽略該訊息。

預期的輸出內容如下：

student@cloudshell:~ gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081
bind [::1]:8081: Cannot assign requested address
inux instance-1.us-central1-a.c.gleb-codelive-01.internal 6.1.0-21-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.90-1 (2024-05-03) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
Last login: Sat May 25 19:15:46 2024 from 35.243.235.73
student@instance-1:~$

這會在 Cloud Shell 上開啟通訊埠 8080，可用於「網頁預覽」。

按一下 Cloud Shell 右上方的「網頁預覽」按鈕，然後從下拉式選單中選擇「透過以下通訊埠預覽：8080」。

444fbf54dcd4d160.png

這會在網路瀏覽器中開啟新分頁，並顯示應用程式介面。您應該會看到「Cymbal Air 客戶服務助理」頁面。

389f0ae2945beed5.png

登入應用程式

完成所有設定且應用程式處於開啟狀態時，我們可以使用應用程式畫面右上方的 [登入] 按鈕提供憑證。只有在您想試用應用程式的預訂功能時，才需要執行這項操作。

a1f571371b957129.png

系統會開啟彈出式視窗，讓我們選擇憑證。

登入後，應用程式就會準備就緒，您就可以開始在視窗底部的欄位中發布要求。

這個示範影片展示 Cymbal Air 客戶服務助理。Cymbal Air 是虛構的航空公司，這款助理是 AI 聊天機器人，可協助旅客管理航班，並查詢 Cymbal Air 在舊金山國際機場 (SFO) 的樞紐資訊。

如果未登入 (沒有 CLIENT_ID) 登入，還能為您解答使用者的問題，例如：

下一班飛往丹佛的班機是什麼時候？

航站 C28 附近有任何精品店嗎？

請問 A6 登機門附近有哪裡可以買咖啡？

哪裡可以購買禮物？

請預訂早上 10 點 35 分出發的丹佛航班

登入應用程式後，你可以試用其他功能，例如預訂航班，或查看指派給你的座位是否為窗戶或走道座位。

6e7758f707c67c3e.png

應用程式會使用最新的 Google 基礎模型產生回應，並透過 AlloyDB 運作資料庫中的航班和設施資訊加以強化。如要進一步瞭解這個示範應用程式，請前往專案的 GitHub 頁面。

9. 清理環境

所有工作都完成後，我們可以清理環境

刪除 Cloud Run 服務

請在 Cloud Shell 中執行下列指令：

gcloud run services delete retrieval-service --region us-central1

預期的控制台輸出內容：

student@cloudshell:~ (gleb-test-short-004)$ gcloud run services delete retrieval-service --region us-central1
Service [retrieval-service] will be deleted.

Do you want to continue (Y/n)?  Y

Deleting [retrieval-service]...done.                                                                                                                                                                                                                 
Deleted service [retrieval-service].

刪除 Cloud Run 服務的服務帳戶

請在 Cloud Shell 中執行下列指令：

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com --quiet

預期的控制台輸出內容：

student@cloudshell:~ (gleb-test-short-004)$ PROJECT_ID=$(gcloud config get-value project)
Your active configuration is: [cloudshell-222]
student@cloudshell:~ (gleb-test-short-004)$ gcloud iam service-accounts delete retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com --quiet
deleted service account [retrieval-identity@gleb-test-short-004.iam.gserviceaccount.com]
student@cloudshell:~ (gleb-test-short-004)$

完成實驗室後，請銷毀 AlloyDB 執行個體和叢集

刪除 AlloyDB 叢集和所有執行個體

叢集會使用強制選項進行銷毀，同時刪除屬於叢集的所有執行個體。

如果您已與網路中斷連線，且先前的所有設定都已遺失，請在 Cloud Shell 中定義專案和環境變數：

gcloud config set project <your project id>

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
export PROJECT_ID=$(gcloud config get-value project)

刪除叢集：

gcloud alloydb clusters delete $ADBCLUSTER --region=$REGION --force

預期的控制台輸出內容：

student@cloudshell:~ (test-project-001-402417)$ gcloud alloydb clusters delete $ADBCLUSTER --region=$REGION --force
All of the cluster data will be lost when the cluster is deleted.

Do you want to continue (Y/n)?  Y

Operation ID: operation-1697820178429-6082890a0b570-4a72f7e4-4c5df36f
Deleting cluster...done.

刪除 AlloyDB 備份

刪除叢集的所有 AlloyDB 備份：

for i in $(gcloud alloydb backups list --filter="CLUSTER_NAME: projects/$PROJECT_ID/locations/$REGION/clusters/$ADBCLUSTER" --format="value(name)" --sort-by=~createTime) ; do gcloud alloydb backups delete $(basename $i) --region $REGION --quiet; done

預期的主控台輸出內容：

student@cloudshell:~ (test-project-001-402417)$ for i in $(gcloud alloydb backups list --filter="CLUSTER_NAME: projects/$PROJECT_ID/locations/$REGION/clusters/$ADBCLUSTER" --format="value(name)" --sort-by=~createTime) ; do gcloud alloydb backups delete $(basename $i) --region $REGION --quiet; done
Operation ID: operation-1697826266108-60829fb7b5258-7f99dc0b-99f3c35f
Deleting backup...done.

我們現在可以刪除 VM

刪除 GCE VM

在 Cloud Shell 中執行：

export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
    --zone=$ZONE \
    --quiet

預期的主控台輸出內容：

student@cloudshell:~ (test-project-001-402417)$ export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
    --zone=$ZONE \
    --quiet
Deleted

刪除 GCE VM 和擷取服務的服務帳戶

在 Cloud Shell 中執行：

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete compute-aip@$PROJECT_ID.iam.gserviceaccount.com --quiet

預期的主控台輸出內容：

student@cloudshell:~ (gleb-test-short-004)$ PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete compute-aip@$PROJECT_ID.iam.gserviceaccount.com --quiet
Your active configuration is: [cloudshell-222]
deleted service account [compute-aip@gleb-test-short-004.iam.gserviceaccount.com]
student@cloudshell:~ (gleb-test-short-004)$

10. 恭喜

恭喜您完成程式碼研究室！

涵蓋內容

  • 如何部署 AlloyDB 叢集
  • 如何連線至 AlloyDB
  • 如何設定及部署 GenAI 資料庫擷取服務
  • 如何使用已部署的服務部署範例應用程式

11. 問卷調查

輸出：

您要如何使用這個教學課程？

只能閱讀 閱讀並完成練習