LLM- und RAG-basierte Chatanwendung mit AlloyDB AI und LangChain erstellen

1. Einführung

In diesem Codelab erfahren Sie, wie Sie den Abrufdienst von GenAI-Datenbanken bereitstellen und mithilfe der bereitgestellten Umgebung eine interaktive Beispielanwendung erstellen.

98c2676cc78880e.png

Weitere Informationen zum GenAI-Abrufdienst und zur Beispielanwendung finden Sie hier.

Voraussetzungen

  • Grundlegende Kenntnisse der Google Cloud Console
  • Grundkenntnisse in der Befehlszeile und in Google Cloud Shell

Aufgaben in diesem Lab

  • AlloyDB-Cluster bereitstellen
  • Verbindung mit AlloyDB herstellen
  • Gen AI Databases Retrieval Service konfigurieren und bereitstellen
  • Beispielanwendung mit dem bereitgestellten Dienst bereitstellen

Voraussetzungen

  • Ein Google Cloud-Konto und ein Google Cloud-Projekt
  • Einen Webbrowser wie Chrome

2. Einrichtung und Anforderungen

Einrichtung der Umgebung im eigenen Tempo

  1. Melden Sie sich in der Google Cloud Console an und erstellen Sie ein neues Projekt oder verwenden Sie ein vorhandenes. Wenn Sie noch kein Gmail- oder Google Workspace-Konto haben, müssen Sie ein Konto erstellen.

fbef9caa1602edd0.png

a99b7ace416376c4.png

5e3ff691252acf41.png

  • Der Projektname ist der Anzeigename für die Teilnehmer dieses Projekts. Es ist ein Zeichenstring, der von Google APIs nicht verwendet wird. Sie können ihn jederzeit aktualisieren.
  • Die Projekt-ID ist für alle Google Cloud-Projekte eindeutig und kann nach der Festlegung nicht mehr geändert werden. Die Cloud Console generiert automatisch einen eindeutigen String. In der Regel ist es für Sie egal, worum es sich handelt. In den meisten Codelabs müssen Sie sich auf Ihre Projekt-ID beziehen, die in der Regel als PROJECT_ID identifiziert wird. Wenn Ihnen die generierte ID nicht gefällt, können Sie eine weitere zufällige ID generieren. Alternativ können Sie Ihr eigenes Konto ausprobieren und prüfen, ob es verfügbar ist. Sie kann nach diesem Schritt nicht mehr geändert werden und bleibt für die Dauer des Projekts bestehen.
  • Zur Information gibt es noch einen dritten Wert, die Projektnummer, die von manchen APIs verwendet wird. Weitere Informationen zu allen drei Werten finden Sie in der Dokumentation.
  1. Als Nächstes müssen Sie die Abrechnung in der Cloud Console aktivieren, um Cloud-Ressourcen/-APIs verwenden zu können. Dieses Codelab ist kostengünstig. Wenn Sie die Ressourcen deaktivieren möchten, um Kosten nach Abschluss dieser Anleitung zu vermeiden, können Sie die von Ihnen erstellten Ressourcen oder das Projekt löschen. Neuen Google Cloud-Nutzern steht das kostenlose Testprogramm mit einem Guthaben von 300 $ zur Verfügung.

Cloud Shell starten

Sie können Google Cloud zwar von Ihrem Laptop aus aus der Ferne bedienen, in diesem Codelab verwenden Sie jedoch Google Cloud Shell, eine Befehlszeilenumgebung, die in der Cloud ausgeführt wird.

Klicken Sie in der Google Cloud Console rechts oben in der Symbolleiste auf das Cloud Shell-Symbol:

55efc1aaa7a4d3ad.png

Die Bereitstellung und Verbindung mit der Umgebung sollte nur wenige Minuten dauern. Wenn der Vorgang abgeschlossen ist, sollte in etwa Folgendes angezeigt werden:

7ffe5cbb04455448.png

Diese virtuelle Maschine verfügt über sämtliche Entwicklertools, die Sie benötigen. Sie bietet ein Basisverzeichnis mit 5 GB nichtflüchtigem Speicher und läuft auf Google Cloud. Dadurch werden Netzwerkleistung und Authentifizierung erheblich verbessert. Alle Aufgaben in diesem Codelab können in einem Browser ausgeführt werden. Sie müssen nichts installieren.

3. Hinweis

API aktivieren

Ausgabe:

Prüfen Sie in Cloud Shell, ob Ihre Projekt-ID eingerichtet ist:

Normalerweise wird die Projekt-ID in der Cloud Shell in Klammern im Eingabeaufforderung angezeigt, wie im Bild zu sehen:

fa6ee779963405d5.png

gcloud config set project [YOUR-PROJECT-ID]

Legen Sie dann die Umgebungsvariable PROJECT_ID auf Ihre Google Cloud-Projekt-ID fest:

PROJECT_ID=$(gcloud config get-value project)

Aktivieren Sie alle erforderlichen Dienste:

gcloud services enable alloydb.googleapis.com \
                       compute.googleapis.com \
                       cloudresourcemanager.googleapis.com \
                       servicenetworking.googleapis.com \
                       vpcaccess.googleapis.com \
                       aiplatform.googleapis.com \
                       cloudbuild.googleapis.com \
                       artifactregistry.googleapis.com \
                       run.googleapis.com \
                       iam.googleapis.com

Erwartete Ausgabe

student@cloudshell:~ (gleb-test-short-004)$ gcloud services enable alloydb.googleapis.com \
                       compute.googleapis.com \
                       cloudresourcemanager.googleapis.com \
                       servicenetworking.googleapis.com \
                       vpcaccess.googleapis.com \
                       aiplatform.googleapis.com \
                       cloudbuild.googleapis.com \
                       artifactregistry.googleapis.com \
                       run.googleapis.com \
                       iam.googleapis.com
Operation "operations/acf.p2-404051529011-664c71ad-cb2b-4ab4-86c1-1f3157d70ba1" finished successfully.

4. AlloyDB-Cluster bereitstellen

Bevor wir einen AlloyDB-Cluster erstellen, benötigen wir einen verfügbaren privaten IP-Bereich in unserer VPC, der von der zukünftigen AlloyDB-Instanz verwendet werden soll. Wenn wir sie nicht haben, müssen wir sie erstellen und für die Verwendung durch interne Google-Dienste zuweisen. Danach können wir den Cluster und die Instanz erstellen.

Privaten IP-Bereich erstellen

Wir müssen die Konfiguration für den Zugriff auf private Dienste in unserer VPC für AlloyDB konfigurieren. Hier wird davon ausgegangen, dass das VPC-Netzwerk „Standard“ im Projekt vorhanden ist und für alle Aktionen verwendet wird.

Erstellen Sie den privaten IP-Bereich:

gcloud compute addresses create psa-range \
    --global \
    --purpose=VPC_PEERING \
    --prefix-length=24 \
    --description="VPC private service access" \
    --network=default

Erstellen Sie eine private Verbindung mit dem zugewiesenen IP-Bereich:

gcloud services vpc-peerings connect \
    --service=servicenetworking.googleapis.com \
    --ranges=psa-range \
    --network=default

Erwartete Konsolenausgabe:

student@cloudshell:~ (test-project-402417)$ gcloud compute addresses create psa-range \
    --global \
    --purpose=VPC_PEERING \
    --prefix-length=24 \
    --description="VPC private service access" \
    --network=default
Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/global/addresses/psa-range].

student@cloudshell:~ (test-project-402417)$ gcloud services vpc-peerings connect \
    --service=servicenetworking.googleapis.com \
    --ranges=psa-range \
    --network=default
Operation "operations/pssn.p24-4470404856-595e209f-19b7-4669-8a71-cbd45de8ba66" finished successfully.

student@cloudshell:~ (test-project-402417)$

AlloyDB-Cluster erstellen

Erstellen Sie einen AlloyDB-Cluster in der Region „us-central1“.

Legen Sie ein Passwort für den Nutzer „postgres“ fest. Sie können ein eigenes Passwort definieren oder eine Zufallsfunktion verwenden, um eins zu generieren.

export PGPASSWORD=`openssl rand -hex 12`

Erwartete Console-Ausgabe:

student@cloudshell:~ (test-project-402417)$ export PGPASSWORD=`openssl rand -hex 12`

Notieren Sie sich das PostgreSQL-Passwort für später:

echo $PGPASSWORD

Erwartete Console-Ausgabe:

student@cloudshell:~ (test-project-402417)$ echo $PGPASSWORD
bbefbfde7601985b0dee5723

Geben Sie die Region und den Namen des AlloyDB-Clusters an. Wir verwenden die Region „us-central1“ und „alloydb-aip-01“ als Clusternamen:

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01

Führen Sie den Befehl zum Erstellen des Clusters aus:

gcloud alloydb clusters create $ADBCLUSTER \
    --password=$PGPASSWORD \
    --network=default \
    --region=$REGION

Erwartete Console-Ausgabe:

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
gcloud alloydb clusters create $ADBCLUSTER \
    --password=$PGPASSWORD \
    --network=default \
    --region=$REGION
Operation ID: operation-1697655441138-6080235852277-9e7f04f5-2012fce4
Creating cluster...done.

Primäre AlloyDB-Instanz erstellen

Erstellen Sie in derselben Cloud Shell-Sitzung eine primäre AlloyDB-Instanz für unseren Cluster. Wenn die Verbindung getrennt wird, müssen Sie die Umgebungsvariablen für die Region und den Clusternamen noch einmal definieren.

gcloud alloydb instances create $ADBCLUSTER-pr \
    --instance-type=PRIMARY \
    --cpu-count=2 \
    --region=$REGION \
    --cluster=$ADBCLUSTER

Erwartete Konsolenausgabe:

student@cloudshell:~ (test-project-402417)$ gcloud alloydb instances create $ADBCLUSTER-pr \
    --instance-type=PRIMARY \
    --cpu-count=2 \
    --region=$REGION \
    --availability-type ZONAL \
    --cluster=$ADBCLUSTER
Operation ID: operation-1697659203545-6080315c6e8ee-391805db-25852721
Creating instance...done.

5. GCE-virtuelle Maschine vorbereiten

Dienstkonto erstellen

Da wir unsere VM zum Bereitstellen unseres GenAI Databases Retrieval-Dienstes und zum Hosten einer Beispielanwendung verwenden, erstellen wir als ersten Schritt ein Google-Dienstkonto (Google Service Account, GSA). Die GSA wird von der GCE-VM verwendet und wir müssen ihr die erforderlichen Berechtigungen für die Zusammenarbeit mit anderen Diensten gewähren.

Führen Sie in Cloud Shell Folgendes aus:

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts create compute-aip --project $PROJECT_ID
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/cloudbuild.builds.editor"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/artifactregistry.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/storage.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/run.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/iam.serviceAccountUser"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/alloydb.viewer"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/aiplatform.user"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/serviceusage.serviceUsageConsumer"

GCE-VM bereitstellen

Erstellen Sie eine GCE-VM in derselben Region und im selben VPC wie der AlloyDB-Cluster.

Führen Sie in Cloud Shell Folgendes aus:

export ZONE=us-central1-a
gcloud compute instances create instance-1 \
    --zone=$ZONE \
    --create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
  --service-account=compute-aip@$PROJECT_ID.iam.gserviceaccount.com

Erwartete Console-Ausgabe:

student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
gcloud compute instances create instance-1 \
    --zone=$ZONE \
    --create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
    --scopes=https://www.googleapis.com/auth/cloud-platform

Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/zones/us-central1-a/instances/instance-1].
NAME: instance-1
ZONE: us-central1-a
MACHINE_TYPE: n1-standard-1
PREEMPTIBLE: 
INTERNAL_IP: 10.128.0.2
EXTERNAL_IP: 34.71.192.233
STATUS: RUNNING

Postgres-Client installieren

PostgreSQL-Clientsoftware auf der bereitgestellten VM installieren

Stellen Sie eine Verbindung zur VM her.

gcloud compute ssh instance-1 --zone=us-central1-a

Erwartete Console-Ausgabe:

student@cloudshell:~ (test-project-402417)$ gcloud compute ssh instance-1 --zone=us-central1-a
Updating project ssh metadata...working..Updated [https://www.googleapis.com/compute/v1/projects/test-project-402417].                                                                                                                                                         
Updating project ssh metadata...done.                                                                                                                                                                                                                                              
Waiting for SSH key to propagate.
Warning: Permanently added 'compute.5110295539541121102' (ECDSA) to the list of known hosts.
Linux instance-1 5.10.0-26-cloud-amd64 #1 SMP Debian 5.10.197-1 (2023-09-29) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
student@instance-1:~$

Installieren Sie den Befehl zum Ausführen der Software in der VM:

sudo apt-get update
sudo apt-get install --yes postgresql-client

Erwartete Console-Ausgabe:

student@instance-1:~$ sudo apt-get update
sudo apt-get install --yes postgresql-client
Get:1 file:/etc/apt/mirrors/debian.list Mirrorlist [30 B]
Get:4 file:/etc/apt/mirrors/debian-security.list Mirrorlist [39 B]
Hit:7 https://packages.cloud.google.com/apt google-compute-engine-bookworm-stable InRelease
Get:8 https://packages.cloud.google.com/apt cloud-sdk-bookworm InRelease [1652 B]
Get:2 https://deb.debian.org/debian bookworm InRelease [151 kB]
Get:3 https://deb.debian.org/debian bookworm-updates InRelease [55.4 kB]
...redacted...
update-alternatives: using /usr/share/postgresql/15/man/man1/psql.1.gz to provide /usr/share/man/man1/psql.1.gz (psql.1.gz) in auto mode
Setting up postgresql-client (15+248) ...
Processing triggers for man-db (2.11.2-2) ...
Processing triggers for libc-bin (2.36-9+deb12u7) ...

Verbindung zur Instanz herstellen

Stellen Sie über psql eine Verbindung zur primären Instanz her.

Fahren Sie mit der geöffneten SSH-Sitzung auf Ihrer VM fort. Wenn die Verbindung getrennt wurde, stellen Sie sie mit demselben Befehl wie oben wieder her.

Verwenden Sie das zuvor notierte $PGASSWORD und den Clusternamen, um von der GCE-VM aus eine Verbindung zu AlloyDB herzustellen:

export PGPASSWORD=<Noted password>

export PROJECT_ID=$(gcloud config get-value project)
export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
export INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)")
psql "host=$INSTANCE_IP user=postgres sslmode=require"

Erwartete Konsolenausgabe:

student@instance-1:~$ export PGPASSWORD=P9...
student@instance-1:~$ export REGION=us-central1
student@instance-1:~$ export ADBCLUSTER=alloydb-aip-01
student@instance-1:~$ export INSTANCE_IP=export INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)")
student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres sslmode=require"
psql (13.11 (Debian 13.11-0+deb11u1), server 14.7)
WARNING: psql major version 13, server major version 14.
         Some psql features might not work.
SSL connection (protocol: TLSv1.3, cipher: TLS_AES_256_GCM_SHA384, bits: 256, compression: off)
Type "help" for help.

postgres=>

Beenden Sie die psql-Sitzung, während die SSH-Verbindung aktiv bleibt:

exit

Erwartete Console-Ausgabe:

postgres=> exit
student@instance-1:~$

6. Datenbank initialisieren

Wir verwenden unsere Client-VM als Plattform, um unsere Datenbank mit Daten zu füllen und unsere Anwendung zu hosten. Der erste Schritt besteht darin, eine Datenbank zu erstellen und sie mit Daten zu füllen.

Datenbank erstellen

Erstellen Sie eine Datenbank mit dem Namen „assistantdemo“.

Führen Sie in der GCE-VM-Sitzung Folgendes aus:

psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE assistantdemo"

Erwartete Console-Ausgabe:

student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE assistantdemo"
CREATE DATABASE
student@instance-1:~$

Aktivieren Sie die pgVector-Erweiterung.

psql "host=$INSTANCE_IP user=postgres dbname=assistantdemo" -c "CREATE EXTENSION vector"

Erwartete Console-Ausgabe:

student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres dbname=assistantdemo" -c "CREATE EXTENSION vector"
CREATE EXTENSION
student@instance-1:~$

Python-Umgebung vorbereiten

Um fortzufahren, verwenden wir vorbereitete Python-Skripts aus dem GitHub-Repository. Zuvor müssen wir jedoch die erforderliche Software installieren.

Führen Sie auf der GCE-VM Folgendes aus:

sudo apt install -y python3.11-venv git
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade pip

Erwartete Console-Ausgabe:

student@instance-1:~$ sudo apt install -y python3.11-venv git
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade pip
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
The following additional packages will be installed:
  git-man liberror-perl patch python3-distutils python3-lib2to3 python3-pip-whl python3-setuptools-whl
Suggested packages:
  git-daemon-run | git-daemon-sysvinit git-doc git-email git-gui gitk gitweb git-cvs git-mediawiki git-svn ed diffutils-doc
The following NEW packages will be installed:
  git git-man liberror-perl patch python3-distutils python3-lib2to3 python3-pip-whl python3-setuptools-whl python3.11-venv
0 upgraded, 9 newly installed, 0 to remove and 2 not upgraded.
Need to get 12.4 MB of archives.
After this operation, 52.2 MB of additional disk space will be used.
Get:1 file:/etc/apt/mirrors/debian.list Mirrorlist [30 B]
...redacted...
Installing collected packages: pip
  Attempting uninstall: pip
    Found existing installation: pip 23.0.1
    Uninstalling pip-23.0.1:
      Successfully uninstalled pip-23.0.1
Successfully installed pip-24.0
(.venv) student@instance-1:~$

Überprüfen Sie die Python-Version.

Führen Sie in der GCE-VM folgenden Befehl aus:

python -V

Erwartete Console-Ausgabe:

(.venv) student@instance-1:~$ python -V
Python 3.11.2
(.venv) student@instance-1:~$

Datenbank füllen

Klonen Sie das GitHub-Repository mit dem Code für den Abrufdienst und die Beispielanwendung.

Führen Sie in der GCE-VM folgenden Befehl aus:

git clone https://github.com/GoogleCloudPlatform/genai-databases-retrieval-app.git

Erwartete Console-Ausgabe:

student@instance-1:~$ git clone https://github.com/GoogleCloudPlatform/genai-databases-retrieval-app.git
Cloning into 'genai-databases-retrieval-app'...
remote: Enumerating objects: 525, done.
remote: Counting objects: 100% (336/336), done.
remote: Compressing objects: 100% (201/201), done.
remote: Total 525 (delta 224), reused 179 (delta 135), pack-reused 189
Receiving objects: 100% (525/525), 46.58 MiB | 16.16 MiB/s, done.
Resolving deltas: 100% (289/289), done.

Konfigurationsdatei vorbereiten

Führen Sie auf der GCE-VM Folgendes aus:

cd genai-databases-retrieval-app/retrieval_service
cp example-config.yml config.yml
sed -i s/127.0.0.1/$INSTANCE_IP/g config.yml
sed -i s/my-password/$PGPASSWORD/g config.yml
sed -i s/my_database/assistantdemo/g config.yml
sed -i s/my-user/postgres/g config.yml
cat config.yml

Erwartete Console-Ausgabe:

student@instance-1:~$ cd genai-databases-retrieval-app/retrieval_service
cp example-config.yml config.yml
sed -i s/127.0.0.1/$INSTANCE_IP/g config.yml
sed -i s/my-password/$PGPASSWORD/g config.yml
sed -i s/my_database/assistantdemo/g config.yml
sed -i s/my-user/postgres/g config.yml
cat config.yml
host: 0.0.0.0
# port: 8080
datastore:
  # Example for AlloyDB
  kind: "postgres"
  host: 10.65.0.2
  # port: 5432
  database: "assistantdemo"
  user: "postgres"
  password: "P9..."

Füllen Sie die Datenbank mit dem Beispiel-Dataset. Mit dem ersten Befehl werden unserer virtuellen Python-Umgebung alle erforderlichen Pakete hinzugefügt. Mit dem zweiten Befehl werden die Daten in unsere Datenbank aufgenommen.

Führen Sie auf der GCE-VM Folgendes aus:

pip install -r requirements.txt
python run_database_init.py

Erwartete Console-Ausgabe(entfernt):

student@instance-1:~/genai-databases-retrieval-app/retrieval_service$ pip install -r requirements.txt
python run_database_init.py
Collecting asyncpg==0.28.0 (from -r requirements.txt (line 1))
  Obtaining dependency information for asyncpg==0.28.0 from https://files.pythonhosted.org/packages/77/a4/88069f7935b14c58534442a57be3299179eb46aace2d3c8716be199ff6a6/asyncpg-0.28.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata
  Downloading asyncpg-0.28.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata (4.3 kB)
Collecting fastapi==0.101.1 (from -r requirements.txt (line 2))
...
database init done.
student@instance-1:~/genai-databases-retrieval-app/retrieval_service$

7. Abrufdienst für Cloud Run bereitstellen

Jetzt können wir den Abrufdienst in Cloud Run bereitstellen. Der Dienst ist dafür verantwortlich, mit der Datenbank zu arbeiten und die erforderlichen Informationen auf der Grundlage der Anfrage einer KI-Anwendung aus der Datenbank zu extrahieren.

Dienstkonto erstellen

Erstellen Sie ein Dienstkonto für den Abrufdienst und gewähren Sie die erforderlichen Berechtigungen.

Öffnen Sie mit dem Zeichen „+“ am oberen Rand einen weiteren Cloud Shell-Tab.

4ca978f5142bb6ce.png

Führen Sie auf dem neuen Cloud Shell-Tab folgenden Befehl aus:

export PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts create retrieval-identity
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/aiplatform.user"

Erwartete Console-Ausgabe:

student@cloudshell:~ (gleb-test-short-003)$ gcloud iam service-accounts create retrieval-identity
Created service account [retrieval-identity].

Schließen Sie den Tab entweder über den Befehl „exit“:

exit

Abrufdienst bereitstellen

Fahren Sie auf dem ersten Tab fort, auf dem Sie über SSH mit der VM verbunden sind, indem Sie den Dienst bereitstellen.

Führen Sie in der SSH-Sitzung der VM Folgendes aus:

cd ~/genai-databases-retrieval-app
gcloud alpha run deploy retrieval-service \
    --source=./retrieval_service/\
    --no-allow-unauthenticated \
    --service-account retrieval-identity \
    --region us-central1 \
    --network=default \
    --quiet

Erwartete Console-Ausgabe:

student@instance-1:~/genai-databases-retrieval-app$ gcloud alpha run deploy retrieval-service \
    --source=./retrieval_service/\
    --no-allow-unauthenticated \
    --service-account retrieval-identity \
    --region us-central1 \
    --network=default
This command is equivalent to running `gcloud builds submit --tag [IMAGE] ./retrieval_service/` and `gcloud run deploy retrieval-service --image [IMAGE]`

Building using Dockerfile and deploying container to Cloud Run service [retrieval-service] in project [gleb-test-short-003] region [us-central1]
X Building and deploying... Done.
  ✓ Uploading sources...
  ✓ Building Container... Logs are available at [https://console.cloud.google.com/cloud-build/builds/6ebe74bf-3039-4221-b2e9-7ca8fa8dad8e?project=1012713954588].
  ✓ Creating Revision...
  ✓ Routing traffic...
    Setting IAM Policy...
Completed with warnings:
  Setting IAM policy failed, try "gcloud beta run services remove-iam-policy-binding --region=us-central1 --member=allUsers --role=roles/run.invoker retrieval-service"
Service [retrieval-service] revision [retrieval-service-00002-4pl] has been deployed and is serving 100 percent of traffic.
Service URL: https://retrieval-service-onme64eorq-uc.a.run.app
student@instance-1:~/genai-databases-retrieval-app$

Dienst prüfen

Jetzt können wir prüfen, ob der Dienst richtig ausgeführt wird und die VM Zugriff auf den Endpunkt hat. Wir verwenden das gcloud-Dienstprogramm, um den Endpunkt des Abrufdienstes abzurufen. Alternativ können Sie dies in der Cloud Console prüfen und im curl-Befehl "$(gcloud run services list –filter="(retrieval-service)" durch den Wert von dort ersetzen.

Führen Sie in der SSH-Sitzung der VM Folgendes aus:

curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" $(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

Erwartete Konsolenausgabe:

student@instance-1:~/genai-databases-retrieval-app$ curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" $(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")
{"message":"Hello World"}student@instance-1:~/genai-databases-retrieval-app$

Wenn wir die Meldung „Hello World“ sehen, ist unser Dienst verfügbar und es werden Anfragen verarbeitet.

8. Beispielanwendung bereitstellen

Nachdem der Abrufdienst eingerichtet ist, können wir eine Beispielanwendung bereitstellen, die den Dienst verwendet. Die Anwendung kann auf der VM oder in einem anderen Dienst wie Cloud Run oder Kubernetes oder sogar lokal auf einem Laptop bereitgestellt werden. Hier zeigen wir, wie Sie es auf der VM bereitstellen.

Umgebung vorbereiten

Wir arbeiten weiterhin mit derselben SSH-Sitzung an unserer VM. Um unsere Anwendung auszuführen, müssen wir einige Python-Module hinzufügen. Der Befehl wird aus dem Anwendungsverzeichnis in derselben virtuellen Python-Umgebung ausgeführt.

Führen Sie in der SSH-Sitzung der VM Folgendes aus:

cd ~/genai-databases-retrieval-app/llm_demo
pip install -r requirements.txt

Erwartete Ausgabe (entfernte Daten):

student@instance-1:~$ cd ~/genai-databases-retrieval-app/llm_demo
pip install -r requirements.txt
Collecting fastapi==0.104.0 (from -r requirements.txt (line 1))
  Obtaining dependency information for fastapi==0.104.0 from https://files.pythonhosted.org/packages/db/30/b8d323119c37e15b7fa639e65e0eb7d81eb675ba166ac83e695aad3bd321/fastapi-0.104.0-py3-none-any.whl.metadata
  Downloading fastapi-0.104.0-py3-none-any.whl.metadata (24 kB)
...

Client-ID vorbereiten

Um die Buchungsfunktion der Anwendung nutzen zu können, müssen wir die OAuth 2.0-Client-ID mit der Cloud Console vorbereiten. Dies geschieht, wenn wir uns in der Anwendung anmelden, da bei der Buchung Clientanmeldedaten verwendet werden, um die Buchungsdaten in der Datenbank zu erfassen.

Klicken Sie in der Cloud Console unter „APIs und Dienste“ auf „OAuth-Zustimmungsbildschirm“ und wählen Sie „Interner“ Nutzer aus.

2400e5dcdb93eab8.png

Klicke dann auf „Erstellen“ und folge der Anleitung auf dem nächsten Bildschirm.

6c34d235156e571f.png

Sie müssen Pflichtfelder wie „App-Name“ und „E-Mail-Adresse des Nutzersupports“ ausfüllen. Sie können auch eine Domain hinzufügen, die auf dem Einwilligungsbildschirm angezeigt werden soll, und abschließend die Kontaktdaten des Entwicklers.

2b7cd51aff915072.png

Klicken Sie dann unten auf der Seite auf die Schaltfläche „Speichern und fortfahren“, um zur nächsten Seite zu gelangen.

d90c10c88fd347f9.png

Sie müssen hier nichts ändern, es sei denn, Sie möchten die Bereiche angeben. Bestätigen Sie den Vorgang, indem Sie noch einmal auf „Speichern und fortfahren“ klicken. Dadurch wird der Zustimmungsbildschirm für die Anwendung eingerichtet.

Im nächsten Schritt erstellen Sie die Client-ID. Klicken Sie im linken Bereich auf "Anmeldedaten", um die Anmeldedaten für OAuth2 aufzurufen.

7ad97432390f224c.png

Klicken Sie hier oben auf „Anmeldedaten erstellen“ und wählen Sie „OAuth-Client-ID“ aus. Daraufhin wird ein neuer Bildschirm geöffnet.

325a926431c8f16d.png

Wählen Sie in der Drop-down-Liste für den Anwendungstyp „Webanwendung“ aus und geben Sie den URI (und optional den Port) Ihrer Anwendung als „Autorisierte JavaScript-Quellen“ an. Außerdem müssen Sie den URI Ihres Anwendungshosts mit „/login/google“ am Ende zu den „Autorisierten Weiterleitungs-URIs“ hinzufügen, damit das Autorisierungs-Pop-up-Fenster verwendet werden kann. In der Abbildung oben sehen Sie, dass ich http://localhost als Basis-URI der Anwendung verwendet habe.

Nachdem Sie auf die Schaltfläche „Erstellen“ geklickt haben, wird ein Pop-up-Fenster mit den Anmeldedaten Ihres Kunden angezeigt.

e91adf03ec31cd15.png

Wir benötigen die Client-ID (und optional den Clientschlüssel) später für unsere Anwendung

Assistant-Anwendung ausführen

Bevor wir die Anwendung starten, müssen wir einige Umgebungsvariablen einrichten. Für die grundlegenden Funktionen der Anwendung, z. B. die Abfrage von Flügen und Flughafeneinrichtungen, ist nur BASE_URL erforderlich, die die Anwendung auf den Abrufdienst verweist. Wir können ihn mit dem Befehl „gcloud“ abrufen .

Führen Sie in der SSH-Sitzung der VM Folgendes aus:

export BASE_URL=$(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

Erwartete Ausgabe (entfernte Daten):

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ export BASE_URL=$(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

Wenn wir erweiterte Funktionen der Anwendung wie die Buchung und Änderung von Flügen nutzen möchten, müssen wir uns mit unserem Google-Konto in der Anwendung anmelden. Dazu müssen wir die Umgebungsvariable CLIENT_ID mit der OAuth-Client-ID aus dem Kapitel „Client-ID vorbereiten“ angeben:

export CLIENT_ID=215....apps.googleusercontent.com

Erwartete Ausgabe (entfernte Daten):

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ export CLIENT_ID=215....apps.googleusercontent.com

Jetzt können wir unsere Anwendung ausführen:

python run_app.py

Erwartete Ausgabe:

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ python main.py
INFO:     Started server process [28565]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8081 (Press CTRL+C to quit)

Mit der Anwendung verbinden

Es gibt mehrere Möglichkeiten, eine Verbindung zur Anwendung herzustellen, die auf der VM ausgeführt wird. Sie können beispielsweise Port 8081 auf der VM mithilfe von Firewallregeln in der VPC öffnen oder einen Load Balancer mit öffentlicher IP-Adresse erstellen. Hier verwenden wir einen SSH-Tunnel zur VM, der den lokalen Port 8080 in den VM-Port 8081 umwandelt.

Verbindung von einem lokalen Computer herstellen

Wenn wir eine Verbindung von einem lokalen Computer herstellen möchten, müssen wir einen SSH-Tunnel ausführen. Dazu können Sie gcloud compute ssh verwenden:

gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8081:localhost:8081

Erwartete Ausgabe:

student-macbookpro:~ student$ gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081
Warning: Permanently added 'compute.7064281075337367021' (ED25519) to the list of known hosts.
Linux instance-1.us-central1-c.c.gleb-test-001.internal 6.1.0-21-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.90-1 (2024-05-03) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
student@instance-1:~$

Jetzt können wir den Browser öffnen und über http://localhost:8081 eine Verbindung zu unserer Anwendung herstellen. Der Anwendungsbildschirm sollte angezeigt werden.

c667b9013afac3f9.png

Verbindung über Cloud Shell herstellen

Alternativ können wir die Cloud Shell verwenden, um eine Verbindung herzustellen. Öffnen Sie einen weiteren Cloud Shell-Tab über das Pluszeichen oben.

4ca978f5142bb6ce.png

Rufen Sie in der neuen Cloud Shell den Ursprungs- und Weiterleitungs-URI für Ihren Webclient ab, indem Sie den Befehl „gcloud“ ausführen:

echo "origin:"; echo "https://8080-$WEB_HOST"; echo "redirect:"; echo "https://8080-$WEB_HOST/login/google"

Hier ist die erwartete Ausgabe:

student@cloudshell:~ echo "origin:"; echo "https://8080-$WEB_HOST"; echo "redirect:"; echo "https://8080-$WEB_HOST/login/google"
origin:
https://8080-cs-35704030349-default.cs-us-east1-rtep.cloudshell.dev
redirect:
https://8080-cs-35704030349-default.cs-us-east1-rtep.cloudshell.dev/login/google

Verwenden Sie die URIs für die Quelle und die Weiterleitung als autorisierte JavaScript-Quellen und autorisierte Weiterleitungs-URIs für die Anmeldedaten, die Sie im Kapitel „Client-ID vorbereiten“ erstellt haben. Ersetzen Sie dabei die ursprünglich angegebenen Werte http://localhost:8080 oder fügen Sie sie hinzu.

2c37eeda0a7e2f80.png

Starten Sie auf dem neuen Cloud Shell-Tab den Tunnel zu Ihrer VM, indem Sie den Befehl „gcloud“ ausführen:

gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081

Es wird die Fehlermeldung „Die angeforderte Adresse kann nicht zugewiesen werden“ angezeigt. Bitte ignorieren Sie diese Fehlermeldung.

Die erwartete Ausgabe sieht so aus:

student@cloudshell:~ gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081
bind [::1]:8081: Cannot assign requested address
inux instance-1.us-central1-a.c.gleb-codelive-01.internal 6.1.0-21-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.90-1 (2024-05-03) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
Last login: Sat May 25 19:15:46 2024 from 35.243.235.73
student@instance-1:~$

Dadurch wird Port 8080 in Ihrer Cloud Shell geöffnet, der für die „Webvorschau“ verwendet werden kann.

Klicken Sie rechts oben in Cloud Shell auf die Schaltfläche "Webvorschau" und wählen Sie im Drop-down-Menü die Option "Vorschau auf Port 8080" aus.

444fbf54dcd4d160.png

Daraufhin wird in Ihrem Webbrowser ein neuer Tab mit der Anwendungsoberfläche geöffnet. Die Seite „Cymbal Air Customer Service Assistant“ sollte angezeigt werden.

389f0ae2945beed5.png

In der Anwendung anmelden

Wenn alles eingerichtet ist und die Anwendung geöffnet ist, können wir rechts oben auf dem Anwendungsbildschirm über die Schaltfläche „Anmelden“ unsere Anmeldedaten eingeben. Dies ist optional und nur erforderlich, wenn Sie die Buchungsfunktion der Anwendung ausprobieren möchten.

a1f571371b957129.png

Daraufhin wird ein Pop-up-Fenster geöffnet, in dem wir unsere Anmeldedaten auswählen können.

Nach der Anmeldung ist die Anwendung bereit und Sie können mit dem Posten Ihrer Anfragen im Feld unten im Fenster beginnen.

In dieser Demo wird der Kundenservicemitarbeiter von Cymbal Air vorgestellt. Cymbal Air ist eine fiktive Fluggesellschaft. Der Assistent ist ein KI-Chatbot, der Reisenden hilft, Flüge zu verwalten und Informationen zum Drehkreuz von Cymbal Air am San Francisco International Airport (SFO) zu finden.

Ohne Anmeldung (ohne CLIENT_ID) können Sie Nutzern Fragen wie die folgenden beantworten:

Wann geht der nächste Flug nach Denver?

Gibt es in der Nähe von Gate C28 Luxusgeschäfte?

Wo kann ich in der Nähe von Gate A6 Kaffee kaufen?

Wo kann ich ein Geschenk kaufen?

Bitte buchen Sie einen Flug nach Denver mit Abflug um 10:35 Uhr.

Wenn Sie in der Anwendung angemeldet sind, können Sie andere Funktionen ausprobieren, z. B. Flüge buchen oder prüfen, ob der Ihnen zugewiesene Sitzplatz ein Fenster- oder Gangplatz ist.

6e7758f707c67c3e.png

Die Anwendung verwendet die neuesten Google-Grundlagenmodelle, um Antworten zu generieren und sie mit Informationen zu Flügen und Ausstattungsmerkmalen aus der AlloyDB-Datenbank zu ergänzen. Weitere Informationen zu dieser Demoanwendung finden Sie auf der GitHub-Seite des Projekts.

9. Umgebung bereinigen

Jetzt können wir die Umgebung bereinigen, da alle Aufgaben abgeschlossen sind.

Cloud Run-Dienst löschen

Führen Sie in Cloud Shell Folgendes aus:

gcloud run services delete retrieval-service --region us-central1

Erwartete Console-Ausgabe:

student@cloudshell:~ (gleb-test-short-004)$ gcloud run services delete retrieval-service --region us-central1
Service [retrieval-service] will be deleted.

Do you want to continue (Y/n)?  Y

Deleting [retrieval-service]...done.                                                                                                                                                                                                                 
Deleted service [retrieval-service].

Dienstkonto für Cloud Run-Dienst löschen

Führen Sie in Cloud Shell Folgendes aus:

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com --quiet

Erwartete Konsolenausgabe:

student@cloudshell:~ (gleb-test-short-004)$ PROJECT_ID=$(gcloud config get-value project)
Your active configuration is: [cloudshell-222]
student@cloudshell:~ (gleb-test-short-004)$ gcloud iam service-accounts delete retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com --quiet
deleted service account [retrieval-identity@gleb-test-short-004.iam.gserviceaccount.com]
student@cloudshell:~ (gleb-test-short-004)$

AlloyDB-Instanzen und -Cluster löschen, wenn Sie mit dem Lab fertig sind

AlloyDB-Cluster und alle Instanzen löschen

Der Cluster wird mit Option erzwungen, wodurch auch alle Instanzen gelöscht werden, die zum Cluster gehören.

Definieren Sie in Cloud Shell die Projekt- und Umgebungsvariablen, wenn die Verbindung getrennt wurde und alle vorherigen Einstellungen verloren gehen:

gcloud config set project <your project id>

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
export PROJECT_ID=$(gcloud config get-value project)

Löschen Sie den Cluster:

gcloud alloydb clusters delete $ADBCLUSTER --region=$REGION --force

Erwartete Konsolenausgabe:

student@cloudshell:~ (test-project-001-402417)$ gcloud alloydb clusters delete $ADBCLUSTER --region=$REGION --force
All of the cluster data will be lost when the cluster is deleted.

Do you want to continue (Y/n)?  Y

Operation ID: operation-1697820178429-6082890a0b570-4a72f7e4-4c5df36f
Deleting cluster...done.

AlloyDB-Sicherungen löschen

Löschen Sie alle AlloyDB-Sicherungen für den Cluster:

for i in $(gcloud alloydb backups list --filter="CLUSTER_NAME: projects/$PROJECT_ID/locations/$REGION/clusters/$ADBCLUSTER" --format="value(name)" --sort-by=~createTime) ; do gcloud alloydb backups delete $(basename $i) --region $REGION --quiet; done

Erwartete Console-Ausgabe:

student@cloudshell:~ (test-project-001-402417)$ for i in $(gcloud alloydb backups list --filter="CLUSTER_NAME: projects/$PROJECT_ID/locations/$REGION/clusters/$ADBCLUSTER" --format="value(name)" --sort-by=~createTime) ; do gcloud alloydb backups delete $(basename $i) --region $REGION --quiet; done
Operation ID: operation-1697826266108-60829fb7b5258-7f99dc0b-99f3c35f
Deleting backup...done.

Jetzt können wir die VM löschen.

GCE-VM löschen

Führen Sie in Cloud Shell Folgendes aus:

export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
    --zone=$ZONE \
    --quiet

Erwartete Konsolenausgabe:

student@cloudshell:~ (test-project-001-402417)$ export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
    --zone=$ZONE \
    --quiet
Deleted

Dienstkonto für die GCE-VM und den Abrufdienst löschen

Führen Sie in Cloud Shell Folgendes aus:

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete compute-aip@$PROJECT_ID.iam.gserviceaccount.com --quiet

Erwartete Konsolenausgabe:

student@cloudshell:~ (gleb-test-short-004)$ PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete compute-aip@$PROJECT_ID.iam.gserviceaccount.com --quiet
Your active configuration is: [cloudshell-222]
deleted service account [compute-aip@gleb-test-short-004.iam.gserviceaccount.com]
student@cloudshell:~ (gleb-test-short-004)$

10. Glückwunsch

Herzlichen Glückwunsch zum Abschluss des Codelabs.

Behandelte Themen

  • AlloyDB-Cluster bereitstellen
  • Verbindung mit AlloyDB herstellen
  • Gen AI Databases Retrieval Service konfigurieren und bereitstellen
  • Beispielanwendung mit dem bereitgestellten Dienst bereitstellen

11. Umfrage

Ausgabe:

Wie möchten Sie diese Anleitung verwenden?

Nur durchlesen Lesen und die Übungen absolvieren