Diese Seite wurde von der Cloud Translation API übersetzt.

LLM- und RAG-basierte Chatanwendung mit AlloyDB AI und LangChain erstellen

1. Einführung

In diesem Codelab erfahren Sie, wie Sie den Abrufdienst von GenAI-Datenbanken bereitstellen und mithilfe der bereitgestellten Umgebung eine interaktive Beispielanwendung erstellen.

Weitere Informationen zum GenAI Retrieval Service und zur Beispielanwendung finden Sie hier.

Voraussetzungen

Grundlegende Kenntnisse der Google Cloud Console
Grundkenntnisse in der Befehlszeile und in Google Cloud Shell

Aufgaben in diesem Lab

AlloyDB-Cluster bereitstellen
Mit AlloyDB verbinden
GenAI Databases Retrieval Service konfigurieren und bereitstellen
Beispielanwendung mit dem bereitgestellten Dienst bereitstellen

Voraussetzungen

Ein Google Cloud-Konto und ein Google Cloud-Projekt
Ein Webbrowser wie Chrome

2. Einrichtung und Anforderungen

Umgebung für das selbstbestimmte Lernen einrichten

Melden Sie sich in der Google Cloud Console an und erstellen Sie ein neues Projekt oder verwenden Sie ein vorhandenes Projekt. Wenn Sie noch kein Gmail- oder Google Workspace-Konto haben, müssen Sie eines erstellen.

Der Projektname ist der Anzeigename für die Projektteilnehmer. Es handelt sich um eine Zeichenfolge, die von Google APIs nicht verwendet wird. Sie können sie jederzeit aktualisieren.
Die Projekt-ID ist für alle Google Cloud-Projekte eindeutig und unveränderlich. Sie kann nach dem Festlegen nicht mehr geändert werden. Die Cloud Console generiert automatisch einen eindeutigen String. ist Ihnen meist egal, was es ist. In den meisten Codelabs musst du auf deine Projekt-ID verweisen, die üblicherweise als PROJECT_ID bezeichnet wird. Wenn Ihnen die generierte ID nicht gefällt, können Sie eine weitere zufällige ID generieren. Alternativ können Sie einen eigenen verwenden und nachsehen, ob er verfügbar ist. Sie kann nach diesem Schritt nicht mehr geändert werden und bleibt für die Dauer des Projekts erhalten.
Zur Information gibt es noch einen dritten Wert, die Projektnummer, die von manchen APIs verwendet wird. Weitere Informationen zu allen drei Werten finden Sie in der Dokumentation.

Als Nächstes müssen Sie in der Cloud Console die Abrechnung aktivieren, um Cloud-Ressourcen/APIs verwenden zu können. Dieses Codelab ist kostengünstig. Sie können die von Ihnen erstellten Ressourcen oder das Projekt löschen, um Ressourcen herunterzufahren, um zu vermeiden, dass über diese Anleitung hinaus Kosten anfallen. Neue Google Cloud-Nutzer haben Anspruch auf das kostenlose Testprogramm mit 300$Guthaben.

Cloud Shell starten

Sie können Google Cloud zwar von Ihrem Laptop aus der Ferne bedienen, in diesem Codelab verwenden Sie jedoch Google Cloud Shell, eine Befehlszeilenumgebung, die in der Cloud ausgeführt wird.

Klicken Sie in der Google Cloud Console rechts oben in der Symbolleiste auf das Cloud Shell-Symbol:

Die Bereitstellung und Verbindung mit der Umgebung dauert nur einen Moment. Wenn er abgeschlossen ist, sollten Sie in etwa Folgendes sehen:

Diese virtuelle Maschine verfügt über sämtliche Entwicklertools, die Sie benötigen. Es bietet ein Basisverzeichnis mit 5 GB nichtflüchtigem Speicher und läuft auf Google Cloud, wodurch die Netzwerkleistung und Authentifizierung erheblich verbessert werden. Alle Arbeiten in diesem Codelab können in einem Browser erledigt werden. Sie müssen nichts installieren.

3. Hinweis

API aktivieren

Ausgabe:

Prüfen Sie in Cloud Shell, ob Ihre Projekt-ID eingerichtet ist:

Normalerweise wird die Projekt-ID in der Eingabeaufforderung von Cloud Shell in Klammern angezeigt, wie in der Abbildung dargestellt:

gcloud config set project [YOUR-PROJECT-ID]

Legen Sie dann die Umgebungsvariable PROJECT_ID auf Ihre Google Cloud-Projekt-ID fest:

PROJECT_ID=$(gcloud config get-value project)

Aktivieren Sie alle erforderlichen Dienste:

gcloud services enable alloydb.googleapis.com \
                       compute.googleapis.com \
                       cloudresourcemanager.googleapis.com \
                       servicenetworking.googleapis.com \
                       vpcaccess.googleapis.com \
                       aiplatform.googleapis.com \
                       cloudbuild.googleapis.com \
                       artifactregistry.googleapis.com \
                       run.googleapis.com \
                       iam.googleapis.com

Erwartete Ausgabe

student@cloudshell:~ (gleb-test-short-004)$ gcloud services enable alloydb.googleapis.com \
                       compute.googleapis.com \
                       cloudresourcemanager.googleapis.com \
                       servicenetworking.googleapis.com \
                       vpcaccess.googleapis.com \
                       aiplatform.googleapis.com \
                       cloudbuild.googleapis.com \
                       artifactregistry.googleapis.com \
                       run.googleapis.com \
                       iam.googleapis.com
Operation "operations/acf.p2-404051529011-664c71ad-cb2b-4ab4-86c1-1f3157d70ba1" finished successfully.

4. AlloyDB-Cluster bereitstellen

Bevor Sie einen AlloyDB-Cluster erstellen, benötigen wir einen verfügbaren privaten IP-Bereich in unserer VPC, der von der zukünftigen AlloyDB-Instanz verwendet wird. Wenn nicht, müssen wir sie erstellen, sie zur Verwendung durch interne Google-Dienste zuweisen und anschließend den Cluster und die Instanz erstellen.

Privaten IP-Bereich erstellen

Wir müssen die Konfiguration des privaten Dienstzugriffs in unserer VPC für AlloyDB konfigurieren. Hier wird angenommen, dass es den „Standard“-Wert VPC-Netzwerk im Projekt und wird für alle Aktionen verwendet.

Erstellen Sie den privaten IP-Bereich:

gcloud compute addresses create psa-range \
    --global \
    --purpose=VPC_PEERING \
    --prefix-length=24 \
    --description="VPC private service access" \
    --network=default

Erstellen Sie eine private Verbindung mit dem zugewiesenen IP-Bereich:

gcloud services vpc-peerings connect \
    --service=servicenetworking.googleapis.com \
    --ranges=psa-range \
    --network=default

Erwartete Konsolenausgabe:

student@cloudshell:~ (test-project-402417)$ gcloud compute addresses create psa-range \
    --global \
    --purpose=VPC_PEERING \
    --prefix-length=24 \
    --description="VPC private service access" \
    --network=default
Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/global/addresses/psa-range].

student@cloudshell:~ (test-project-402417)$ gcloud services vpc-peerings connect \
    --service=servicenetworking.googleapis.com \
    --ranges=psa-range \
    --network=default
Operation "operations/pssn.p24-4470404856-595e209f-19b7-4669-8a71-cbd45de8ba66" finished successfully.

student@cloudshell:~ (test-project-402417)$

AlloyDB-Cluster erstellen

Erstellen Sie einen AlloyDB-Cluster in der Region „us-central1“.

Definieren Sie ein Passwort für den Postgres-Nutzer. Sie können ein eigenes Passwort festlegen oder es mithilfe einer Zufallsfunktion generieren

export PGPASSWORD=`openssl rand -hex 12`

Erwartete Konsolenausgabe:

student@cloudshell:~ (test-project-402417)$ export PGPASSWORD=`openssl rand -hex 12`

Notieren Sie sich das PostgreSQL-Passwort für die zukünftige Verwendung:

echo $PGPASSWORD

Erwartete Konsolenausgabe:

student@cloudshell:~ (test-project-402417)$ echo $PGPASSWORD
bbefbfde7601985b0dee5723

Definieren Sie die Region und den AlloyDB-Clusternamen. Wir verwenden die Region „us-central1“ und „alloydb-aip-01“ als Clusternamen:

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01

Führen Sie den folgenden Befehl aus, um den Cluster zu erstellen:

gcloud alloydb clusters create $ADBCLUSTER \
    --password=$PGPASSWORD \
    --network=default \
    --region=$REGION

Erwartete Konsolenausgabe:

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
gcloud alloydb clusters create $ADBCLUSTER \
    --password=$PGPASSWORD \
    --network=default \
    --region=$REGION
Operation ID: operation-1697655441138-6080235852277-9e7f04f5-2012fce4
Creating cluster...done.

Primäre AlloyDB-Instanz erstellen

Erstellen Sie eine primäre AlloyDB-Instanz für den Cluster in derselben Cloud Shell-Sitzung. Wenn die Verbindung getrennt wird, müssen Sie die Umgebungsvariablen für die Region und den Clusternamen noch einmal definieren.

gcloud alloydb instances create $ADBCLUSTER-pr \
    --instance-type=PRIMARY \
    --cpu-count=2 \
    --region=$REGION \
    --cluster=$ADBCLUSTER

Erwartete Konsolenausgabe:

student@cloudshell:~ (test-project-402417)$ gcloud alloydb instances create $ADBCLUSTER-pr \
    --instance-type=PRIMARY \
    --cpu-count=2 \
    --region=$REGION \
    --availability-type ZONAL \
    --cluster=$ADBCLUSTER
Operation ID: operation-1697659203545-6080315c6e8ee-391805db-25852721
Creating instance...done.

5. Virtuelle GCE-Maschine vorbereiten

Dienstkonto erstellen

Da wir unsere VM verwenden werden, um unseren Abrufdienst für Datenbanken basierend auf generativer KI bereitzustellen und eine Beispielanwendung zu hosten, besteht der erste Schritt darin, ein Google-Dienstkonto (Google Service Account, GSA) zu erstellen. Die GSA wird von der GCE-VM verwendet und wir müssen ihr die erforderlichen Berechtigungen für die Arbeit mit anderen Diensten gewähren.

Führen Sie in Cloud Shell folgenden Befehl aus:

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts create compute-aip --project $PROJECT_ID
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/cloudbuild.builds.editor"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/artifactregistry.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/storage.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/run.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/iam.serviceAccountUser"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/alloydb.viewer"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/aiplatform.user"

GCE-VM bereitstellen

Erstellen Sie eine GCE-VM in derselben Region und VPC wie der AlloyDB-Cluster.

Führen Sie in Cloud Shell folgenden Befehl aus:

export ZONE=us-central1-a
gcloud compute instances create instance-1 \
    --zone=$ZONE \
    --create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
  --service-account=compute-aip@$PROJECT_ID.iam.gserviceaccount.com

Erwartete Konsolenausgabe:

student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
gcloud compute instances create instance-1 \
    --zone=$ZONE \
    --create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
    --scopes=https://www.googleapis.com/auth/cloud-platform

Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/zones/us-central1-a/instances/instance-1].
NAME: instance-1
ZONE: us-central1-a
MACHINE_TYPE: n1-standard-1
PREEMPTIBLE: 
INTERNAL_IP: 10.128.0.2
EXTERNAL_IP: 34.71.192.233
STATUS: RUNNING

Postgres-Client installieren

PostgreSQL-Clientsoftware auf der bereitgestellten VM installieren

Stellen Sie eine Verbindung zur VM her.

gcloud compute ssh instance-1 --zone=us-central1-a

Erwartete Konsolenausgabe:

student@cloudshell:~ (test-project-402417)$ gcloud compute ssh instance-1 --zone=us-central1-a
Updating project ssh metadata...working..Updated [https://www.googleapis.com/compute/v1/projects/test-project-402417].                                                                                                                                                         
Updating project ssh metadata...done.                                                                                                                                                                                                                                              
Waiting for SSH key to propagate.
Warning: Permanently added 'compute.5110295539541121102' (ECDSA) to the list of known hosts.
Linux instance-1 5.10.0-26-cloud-amd64 #1 SMP Debian 5.10.197-1 (2023-09-29) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
student@instance-1:~$

Installieren Sie die Software, die den Befehl ausführt, auf der VM:

sudo apt-get update
sudo apt-get install --yes postgresql-client

Erwartete Konsolenausgabe:

student@instance-1:~$ sudo apt-get update
sudo apt-get install --yes postgresql-client
Get:1 file:/etc/apt/mirrors/debian.list Mirrorlist [30 B]
Get:4 file:/etc/apt/mirrors/debian-security.list Mirrorlist [39 B]
Hit:7 https://packages.cloud.google.com/apt google-compute-engine-bookworm-stable InRelease
Get:8 https://packages.cloud.google.com/apt cloud-sdk-bookworm InRelease [1652 B]
Get:2 https://deb.debian.org/debian bookworm InRelease [151 kB]
Get:3 https://deb.debian.org/debian bookworm-updates InRelease [55.4 kB]
...redacted...
update-alternatives: using /usr/share/postgresql/15/man/man1/psql.1.gz to provide /usr/share/man/man1/psql.1.gz (psql.1.gz) in auto mode
Setting up postgresql-client (15+248) ...
Processing triggers for man-db (2.11.2-2) ...
Processing triggers for libc-bin (2.36-9+deb12u7) ...

Verbindung zur Instanz herstellen

Stellen Sie über psql eine Verbindung zur primären Instanz her.

Fahren Sie mit der geöffneten SSH-Sitzung auf Ihrer VM fort. Wenn die Verbindung unterbrochen wurde, stellen Sie die Verbindung mit demselben Befehl wie oben wieder her.

Verwenden Sie das zuvor notierte $PGASSWORD und den Clusternamen, um über die GCE-VM eine Verbindung zu AlloyDB herzustellen:

export PGPASSWORD=<Noted password>

export PROJECT_ID=$(gcloud config get-value project)
export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
export INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)")
psql "host=$INSTANCE_IP user=postgres sslmode=require"

Erwartete Konsolenausgabe:

student@instance-1:~$ export PGPASSWORD=P9...
student@instance-1:~$ export REGION=us-central1
student@instance-1:~$ export ADBCLUSTER=alloydb-aip-01
student@instance-1:~$ export INSTANCE_IP=export INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)")
student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres sslmode=require"
psql (13.11 (Debian 13.11-0+deb11u1), server 14.7)
WARNING: psql major version 13, server major version 14.
         Some psql features might not work.
SSL connection (protocol: TLSv1.3, cipher: TLS_AES_256_GCM_SHA384, bits: 256, compression: off)
Type "help" for help.

postgres=>

Beenden Sie die psql-Sitzung, um die SSH-Verbindung aufrechtzuerhalten:

exit

Erwartete Konsolenausgabe:

postgres=> exit
student@instance-1:~$

6. Datenbank initialisieren

Wir verwenden unsere Client-VM als Plattform, um unsere Datenbank mit Daten zu füllen und unsere Anwendung zu hosten. Der erste Schritt besteht darin, eine Datenbank zu erstellen und sie mit Daten zu füllen.

Datenbank erstellen

Erstellen Sie eine Datenbank mit dem Namen „assistantdemo“.

Führen Sie in der GCE-VM-Sitzung Folgendes aus:

psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE assistantdemo"

Erwartete Konsolenausgabe:

student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE assistantdemo"
CREATE DATABASE
student@instance-1:~$

Erweiterung pgVector aktivieren.

psql "host=$INSTANCE_IP user=postgres dbname=assistantdemo" -c "CREATE EXTENSION vector"

Erwartete Konsolenausgabe:

student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres dbname=assistantdemo" -c "CREATE EXTENSION vector"
CREATE EXTENSION
student@instance-1:~$

Python-Umgebung vorbereiten

Um fortzufahren, verwenden wir vorbereitete Python-Skripts aus dem GitHub-Repository. Zuvor müssen wir jedoch die erforderliche Software installieren.

Führen Sie in der GCE-VM folgenden Befehl aus:

sudo apt install -y python3.11-venv git
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade pip

Erwartete Konsolenausgabe:

student@instance-1:~$ sudo apt install -y python3.11-venv git
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade pip
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
The following additional packages will be installed:
  git-man liberror-perl patch python3-distutils python3-lib2to3 python3-pip-whl python3-setuptools-whl
Suggested packages:
  git-daemon-run | git-daemon-sysvinit git-doc git-email git-gui gitk gitweb git-cvs git-mediawiki git-svn ed diffutils-doc
The following NEW packages will be installed:
  git git-man liberror-perl patch python3-distutils python3-lib2to3 python3-pip-whl python3-setuptools-whl python3.11-venv
0 upgraded, 9 newly installed, 0 to remove and 2 not upgraded.
Need to get 12.4 MB of archives.
After this operation, 52.2 MB of additional disk space will be used.
Get:1 file:/etc/apt/mirrors/debian.list Mirrorlist [30 B]
...redacted...
Installing collected packages: pip
  Attempting uninstall: pip
    Found existing installation: pip 23.0.1
    Uninstalling pip-23.0.1:
      Successfully uninstalled pip-23.0.1
Successfully installed pip-24.0
(.venv) student@instance-1:~$

Prüfen Sie die Python-Version.

Führen Sie in der GCE-VM folgenden Befehl aus:

python -V

Erwartete Konsolenausgabe:

(.venv) student@instance-1:~$ python -V
Python 3.11.2
(.venv) student@instance-1:~$

Datenbank füllen

Klonen Sie das GitHub-Repository mit dem Code für den Abrufdienst und die Beispielanwendung.

Führen Sie in der GCE-VM folgenden Befehl aus:

git clone https://github.com/GoogleCloudPlatform/genai-databases-retrieval-app.git

Erwartete Konsolenausgabe:

student@instance-1:~$ git clone https://github.com/GoogleCloudPlatform/genai-databases-retrieval-app.git
Cloning into 'genai-databases-retrieval-app'...
remote: Enumerating objects: 525, done.
remote: Counting objects: 100% (336/336), done.
remote: Compressing objects: 100% (201/201), done.
remote: Total 525 (delta 224), reused 179 (delta 135), pack-reused 189
Receiving objects: 100% (525/525), 46.58 MiB | 16.16 MiB/s, done.
Resolving deltas: 100% (289/289), done.

Konfigurationsdatei vorbereiten

Führen Sie in der GCE-VM folgenden Befehl aus:

cd genai-databases-retrieval-app/retrieval_service
cp example-config.yml config.yml
sed -i s/127.0.0.1/$INSTANCE_IP/g config.yml
sed -i s/my-password/$PGPASSWORD/g config.yml
sed -i s/my_database/assistantdemo/g config.yml
sed -i s/my-user/postgres/g config.yml
cat config.yml

Erwartete Konsolenausgabe:

student@instance-1:~$ cd genai-databases-retrieval-app/retrieval_service
cp example-config.yml config.yml
sed -i s/127.0.0.1/$INSTANCE_IP/g config.yml
sed -i s/my-password/$PGPASSWORD/g config.yml
sed -i s/my_database/assistantdemo/g config.yml
sed -i s/my-user/postgres/g config.yml
cat config.yml
host: 0.0.0.0
# port: 8080
datastore:
  # Example for AlloyDB
  kind: "postgres"
  host: 10.65.0.2
  # port: 5432
  database: "assistantdemo"
  user: "postgres"
  password: "P9..."

Füllen Sie die Datenbank mit dem Beispiel-Dataset. Der erste Befehl besteht darin, alle erforderlichen Pakete zu unserer virtuellen Python-Umgebung hinzuzufügen, und der zweite Befehl füllt unsere Datenbank mit den Daten.

Führen Sie in der GCE-VM folgenden Befehl aus:

pip install -r requirements.txt
python run_database_init.py

Erwartete Konsolenausgabe(entfernt):

student@instance-1:~/genai-databases-retrieval-app/retrieval_service$ pip install -r requirements.txt
python run_database_init.py
Collecting asyncpg==0.28.0 (from -r requirements.txt (line 1))
  Obtaining dependency information for asyncpg==0.28.0 from https://files.pythonhosted.org/packages/77/a4/88069f7935b14c58534442a57be3299179eb46aace2d3c8716be199ff6a6/asyncpg-0.28.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata
  Downloading asyncpg-0.28.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata (4.3 kB)
Collecting fastapi==0.101.1 (from -r requirements.txt (line 2))
...
database init done.
student@instance-1:~/genai-databases-retrieval-app/retrieval_service$

7. Abrufdienst für Cloud Run bereitstellen

Jetzt können wir den Abrufdienst in Cloud Run bereitstellen. Der Dienst ist dafür verantwortlich, mit der Datenbank zu arbeiten und die erforderlichen Informationen basierend auf der Anfrage von einer KI-Anwendung aus der Datenbank zu extrahieren.

Dienstkonto erstellen

Erstellen Sie ein Dienstkonto für den Abrufdienst und gewähren Sie die erforderlichen Berechtigungen.

Öffnen Sie einen weiteren Cloud Shell-Tab mit dem Zeichen „+“ ganz oben.

Führen Sie auf dem neuen Cloud Shell-Tab folgenden Befehl aus:

export PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts create retrieval-identity
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/aiplatform.user"

Erwartete Konsolenausgabe:

student@cloudshell:~ (gleb-test-short-003)$ gcloud iam service-accounts create retrieval-identity
Created service account [retrieval-identity].

Schließen Sie den Tab mit dem Ausführungsbefehl „exit“ auf dem Tab:

exit

Abrufdienst bereitstellen

Stellen Sie den Dienst bereit, um auf dem ersten Tab fortzufahren, in dem Sie über SSH mit der VM verbunden sind.

Führen Sie in der VM-SSH-Sitzung folgenden Befehl aus:

cd ~/genai-databases-retrieval-app
gcloud alpha run deploy retrieval-service \
    --source=./retrieval_service/\
    --no-allow-unauthenticated \
    --service-account retrieval-identity \
    --region us-central1 \
    --network=default \
    --quiet

Erwartete Konsolenausgabe:

student@instance-1:~/genai-databases-retrieval-app$ gcloud alpha run deploy retrieval-service \
    --source=./retrieval_service/\
    --no-allow-unauthenticated \
    --service-account retrieval-identity \
    --region us-central1 \
    --network=default
This command is equivalent to running `gcloud builds submit --tag [IMAGE] ./retrieval_service/` and `gcloud run deploy retrieval-service --image [IMAGE]`

Building using Dockerfile and deploying container to Cloud Run service [retrieval-service] in project [gleb-test-short-003] region [us-central1]
X Building and deploying... Done.
  ✓ Uploading sources...
  ✓ Building Container... Logs are available at [https://console.cloud.google.com/cloud-build/builds/6ebe74bf-3039-4221-b2e9-7ca8fa8dad8e?project=1012713954588].
  ✓ Creating Revision...
  ✓ Routing traffic...
    Setting IAM Policy...
Completed with warnings:
  Setting IAM policy failed, try "gcloud beta run services remove-iam-policy-binding --region=us-central1 --member=allUsers --role=roles/run.invoker retrieval-service"
Service [retrieval-service] revision [retrieval-service-00002-4pl] has been deployed and is serving 100 percent of traffic.
Service URL: https://retrieval-service-onme64eorq-uc.a.run.app
student@instance-1:~/genai-databases-retrieval-app$

Dienst überprüfen

Jetzt können wir prüfen, ob der Dienst korrekt ausgeführt wird und die VM Zugriff auf den Endpunkt hat. Wir verwenden das gcloud-Dienstprogramm, um den Endpunkt des Abrufdienstes abzurufen. Alternativ können Sie dies in der Cloud Console prüfen und im curl-Befehl "$(gcloud run services list –filter="(retrieval-service)" durch den Wert von dort ersetzen.

Führen Sie in der VM-SSH-Sitzung folgenden Befehl aus:

curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" $(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

Erwartete Konsolenausgabe:

student@instance-1:~/genai-databases-retrieval-app$ curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" $(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")
{"message":"Hello World"}student@instance-1:~/genai-databases-retrieval-app$

Wenn die Seite „Hello World“ bedeutet dies, dass unser Dienst aktiv ist und die Anfragen bearbeitet.

8. Beispielanwendung bereitstellen

Wenn der Abrufdienst nun läuft, können wir eine Beispielanwendung bereitstellen, die den Dienst verwenden wird. Die Anwendung kann auf der VM oder in einem anderen Dienst wie Cloud Run oder Kubernetes oder sogar lokal auf einem Laptop bereitgestellt werden. Hier zeigen wir Ihnen, wie Sie ihn auf der VM bereitstellen.

Umgebung vorbereiten

Wir arbeiten weiterhin mit derselben SSH-Sitzung an der VM. Zum Ausführen der Anwendung müssen wir einige Python-Module hinzufügen. Der Befehl wird im Anwendungsverzeichnis in derselben virtuellen Python-Umgebung ausgeführt.

Führen Sie in der VM-SSH-Sitzung folgenden Befehl aus:

cd ~/genai-databases-retrieval-app/llm_demo
pip install -r requirements.txt

Erwartete Ausgabe (entfernt):

student@instance-1:~$ cd ~/genai-databases-retrieval-app/llm_demo
pip install -r requirements.txt
Collecting fastapi==0.104.0 (from -r requirements.txt (line 1))
  Obtaining dependency information for fastapi==0.104.0 from https://files.pythonhosted.org/packages/db/30/b8d323119c37e15b7fa639e65e0eb7d81eb675ba166ac83e695aad3bd321/fastapi-0.104.0-py3-none-any.whl.metadata
  Downloading fastapi-0.104.0-py3-none-any.whl.metadata (24 kB)
...

Client-ID vorbereiten

Damit Sie die Buchungsfunktion der Anwendung nutzen können, müssen Sie die OAuth 2.0-Client-ID mithilfe der Cloud Console vorbereiten. Dies geschieht, wenn wir uns in der Anwendung anmelden, da bei der Buchung Clientanmeldedaten verwendet werden, um die Buchungsdaten in der Datenbank zu erfassen.

Rufen Sie in der Cloud Console „APIs und Dienste“ auf und klicken Sie auf „OAuth-Zustimmungsbildschirm“. und wählen Sie „Intern“ aus. Nutzer.

Klicken Sie dann auf „Erstellen“. und folge dem nächsten Bildschirm.

Sie müssen Pflichtfelder wie z. B. „App-Name“ ausfüllen und „E-Mail-Adresse des Nutzersupports“. Sie können auch eine Domain hinzufügen, die auf dem Zustimmungsbildschirm angezeigt werden soll, und abschließend die Kontaktdaten des Entwicklers

Klicken Sie dann auf die Schaltfläche unten auf der Seite, um zur nächsten Seite zu gelangen.

Sie müssen dort nichts ändern, sofern Sie die Bereiche nicht angeben möchten. Bestätigen Sie den Vorgang zum Schluss, indem Sie auf „Speichern und fortfahren“ klicken. noch einmal. Dadurch wird der Zustimmungsbildschirm für die Anwendung eingerichtet.

Im nächsten Schritt erstellen Sie die Client-ID. Klicken Sie im linken Bereich auf „Anmeldedaten“. Dadurch gelangen Sie zu den Anmeldedaten für OAuth2.

Hier klicken Sie auf „Anmeldedaten erstellen“. und wählen Sie "OAuth ClientID" aus. Daraufhin wird ein neuer Bildschirm geöffnet.

Wählen Sie „Webanwendung“ aus Dropdown-Liste für Anwendungstyp aus und setzen Sie Ihre Anwendungs-URI (und den Port – optional) als "Autorisierte JavaScript-Quellen". Zusätzlich müssen Sie im Feld „Autorisierte Weiterleitungs-URIs“ Ihren Anwendungshost mit „/login/google“ um den Autorisierungs-Pop-up-Bildschirm zu verwenden. Im Bild oben sehen Sie, dass ich http://localhost als Basisanwendungs-URI verwendet habe.

Nachdem Sie die Schaltfläche „Erstellen“ Ein Pop-up-Fenster mit den Anmeldedaten Ihrer Clients wird angezeigt.

Wir benötigen die Client-ID (und optional den Clientschlüssel) später für unsere Anwendung

Assistant-Anwendung ausführen

Bevor wir die Anwendung starten, müssen wir einige Umgebungsvariablen einrichten. Für die grundlegende Funktionalität der Anwendung, zum Beispiel für die Abfrage von Flügen und Flughafenausstattung, ist nur BASE_URL erforderlich, das die Anwendung auf den Abrufdienst verweist. Wir können ihn mit dem gcloud-Befehl abrufen .

Führen Sie in der VM-SSH-Sitzung folgenden Befehl aus:

export BASE_URL=$(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

Erwartete Ausgabe (entfernt):

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ export BASE_URL=$(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

Um erweiterte Funktionen der Anwendung wie das Buchen und Ändern von Flügen nutzen zu können, müssen wir uns mit unserem Google-Konto in der Anwendung anmelden. Zu diesem Zweck müssen wir die Umgebungsvariable CLIENT_ID mithilfe der OAuth-Client-ID aus dem Kapitel zur Vorbereitung der Client-ID bereitstellen:

export CLIENT_ID=215....apps.googleusercontent.com

Erwartete Ausgabe (entfernt):

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ export CLIENT_ID=215....apps.googleusercontent.com

Jetzt können wir unsere Anwendung ausführen:

python run_app.py

Erwartete Ausgabe:

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ python main.py
INFO:     Started server process [28565]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8081 (Press CTRL+C to quit)

Verbindung zur Anwendung herstellen

Sie haben mehrere Möglichkeiten, eine Verbindung zu der Anwendung herzustellen, die auf der VM ausgeführt wird. Sie können beispielsweise Port 8081 auf der VM mithilfe von Firewallregeln in der VPC öffnen oder einen Load-Balancer mit öffentlicher IP-Adresse erstellen. Hier verwenden wir einen SSH-Tunnel zur VM, der den lokalen Port 8080 zum VM-Port 8081 übersetzt.

Verbindung vom lokalen Computer herstellen

Wenn wir eine Verbindung von einem lokalen Computer herstellen möchten, müssen wir einen SSH-Tunnel ausführen. Dies kann mit gcloud compute ssh erfolgen:

gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8081:localhost:8081

Erwartete Ausgabe:

student-macbookpro:~ student$ gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081
Warning: Permanently added 'compute.7064281075337367021' (ED25519) to the list of known hosts.
Linux instance-1.us-central1-c.c.gleb-test-001.internal 6.1.0-21-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.90-1 (2024-05-03) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
student@instance-1:~$

Jetzt können wir den Browser öffnen und mit http://localhost:8081 eine Verbindung zur Anwendung herstellen. Der Anwendungsbildschirm sollte angezeigt werden.

Verbindung über Cloud Shell herstellen

Alternativ können wir Cloud Shell verwenden, um eine Verbindung herzustellen. Öffnen Sie einen weiteren Cloud Shell-Tab mit dem Zeichen „+“ ganz oben.

Starten Sie im neuen Cloud Shell-Tab den Tunnel zu Ihrer VM, indem Sie den folgenden gcloud-Befehl ausführen:

gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081

Es wird die Fehlermeldung „Die angeforderte Adresse kann nicht zugewiesen werden“ angezeigt. – bitte ignorieren.

Die erwartete Ausgabe sieht so aus:

student@cloudshell:~ gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081
bind [::1]:8081: Cannot assign requested address
inux instance-1.us-central1-a.c.gleb-codelive-01.internal 6.1.0-21-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.90-1 (2024-05-03) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
Last login: Sat May 25 19:15:46 2024 from 35.243.235.73
student@instance-1:~$

Er öffnet Port 8080 in Cloud Shell, der für die „Webvorschau“ verwendet werden kann.

Klicken Sie auf „Webvorschau“. rechts oben in Cloud Shell und wählen Sie im Drop-down-Menü die Option "Preview on port 8080" (Vorschau auf Port 8080) aus.

Ein neuer Tab wird in Ihrem Webbrowser mit der Anwendungsoberfläche geöffnet. Nun sollte der „Cymbal Air-Kundenservice-Assistent“ angezeigt werden. Seite. In der Adressleiste der Seite sehen wir den URI zur Vorschauseite. Wir müssen den Teil "/?authuser=0&redirectedPreviously=true" entfernen. am Ende

Und verwenden Sie den ersten Teil des URI wie „https://8080-cs-35704030349-default.cs-us-east1-vpcf.cloudshell.dev/“. muss im Browserfenster belassen und als Autorisierte JavaScript-Quellen angegeben werden. und Autorisierte Weiterleitungs-URIs für unsere Anmeldedaten, die im Feld „Client-ID vorbereiten“ erstellt wurden, Kapitel ersetzen oder zu den ursprünglich bereitgestellten http://localhost:8080-Werten hinzufügen. Der obere Wert sieht in etwa so aus: https://8080-cs-35704030349-default.cs-us-east1-vpcf.cloudshell.dev. und die niedrigere wäre https://8080-cs-35704030349-default.cs-us-east1-vpcf.cloudshell.dev/login/google.

In der Anwendung anmelden

Wenn alles eingerichtet ist und Ihre Anwendung geöffnet ist, können wir die Anmeldung über die klicken, um unsere Anmeldedaten anzugeben. Dies ist optional und nur erforderlich, wenn Sie die Buchungsfunktion der Anwendung ausprobieren möchten.

Ein Pop-up-Fenster wird geöffnet, in dem Sie Ihre Anmeldedaten auswählen können.

Nach der Anmeldung ist die Anwendung bereit und Sie können mit dem Posten Ihrer Anfragen im Feld unten im Fenster beginnen.

In dieser Demo wird der Kundendienstassistent von Cymbal Air vorgestellt. Cymbal Air ist eine fiktive Passagierfluggesellschaft. Der Assistent ist ein KI-Chatbot, der Reisenden hilft, Flüge zu verwalten und Informationen zum Drehkreuz von Cymbal Air am San Francisco International Airport (SFO) zu finden.

Ohne Anmeldung (ohne CLIENT_ID) können Nutzer beispielsweise folgende Fragen beantworten:

Wann geht der nächste Flug nach Denver?

Gibt es Luxusgeschäfte in der Nähe von Gate C28?

Wo kann ich in der Nähe von Gate A6 Kaffee bekommen?

Wo kann ich ein Geschenk kaufen?

Bitte buche einen Flug nach Denver mit Abflug um 10:35 Uhr

Wenn Sie in der Anwendung angemeldet sind, können Sie andere Funktionen ausprobieren, z. B. Flüge buchen oder prüfen, ob der Ihnen zugewiesene Sitz ein Fenster- oder Gangplatz ist.

Die Anwendung verwendet die neuesten Google Foundation Models, um Antworten zu generieren und sie mit Informationen zu Flügen und Ausstattung aus der operativen AlloyDB-Datenbank zu erweitern. Weitere Informationen zu dieser Demo-App finden Sie auf der GitHub-Seite des Projekts.

9. Umgebung bereinigen

Wenn alle Aufgaben abgeschlossen sind, können wir unsere Umgebung bereinigen

Cloud Run-Dienst löschen

Führen Sie in Cloud Shell folgenden Befehl aus:

gcloud run services delete retrieval-service --region us-central1

Erwartete Konsolenausgabe:

student@cloudshell:~ (gleb-test-short-004)$ gcloud run services delete retrieval-service --region us-central1
Service [retrieval-service] will be deleted.

Do you want to continue (Y/n)?  Y

Deleting [retrieval-service]...done.                                                                                                                                                                                                                 
Deleted service [retrieval-service].

Löschen Sie das Dienstkonto für den Cloud Run-Dienst

Führen Sie in Cloud Shell folgenden Befehl aus:

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com --quiet

Erwartete Konsolenausgabe:

student@cloudshell:~ (gleb-test-short-004)$ PROJECT_ID=$(gcloud config get-value project)
Your active configuration is: [cloudshell-222]
student@cloudshell:~ (gleb-test-short-004)$ gcloud iam service-accounts delete retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com --quiet
deleted service account [retrieval-identity@gleb-test-short-004.iam.gserviceaccount.com]
student@cloudshell:~ (gleb-test-short-004)$

AlloyDB-Instanzen und -Cluster löschen, wenn Sie mit dem Lab fertig sind

AlloyDB-Cluster und alle Instanzen löschen

Der Cluster wird mit Option erzwungen, wodurch auch alle Instanzen gelöscht werden, die zum Cluster gehören.

Definieren Sie in Cloud Shell die Projekt- und Umgebungsvariablen, wenn die Verbindung getrennt wurde und alle vorherigen Einstellungen verloren gehen:

gcloud config set project <your project id>

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
export PROJECT_ID=$(gcloud config get-value project)

Löschen Sie den Cluster:

gcloud alloydb clusters delete $ADBCLUSTER --region=$REGION --force

Erwartete Konsolenausgabe:

student@cloudshell:~ (test-project-001-402417)$ gcloud alloydb clusters delete $ADBCLUSTER --region=$REGION --force
All of the cluster data will be lost when the cluster is deleted.

Do you want to continue (Y/n)?  Y

Operation ID: operation-1697820178429-6082890a0b570-4a72f7e4-4c5df36f
Deleting cluster...done.

AlloyDB-Sicherungen löschen

Löschen Sie alle AlloyDB-Sicherungen für den Cluster:

for i in $(gcloud alloydb backups list --filter="CLUSTER_NAME: projects/$PROJECT_ID/locations/$REGION/clusters/$ADBCLUSTER" --format="value(name)" --sort-by=~createTime) ; do gcloud alloydb backups delete $(basename $i) --region $REGION --quiet; done

Erwartete Konsolenausgabe:

student@cloudshell:~ (test-project-001-402417)$ for i in $(gcloud alloydb backups list --filter="CLUSTER_NAME: projects/$PROJECT_ID/locations/$REGION/clusters/$ADBCLUSTER" --format="value(name)" --sort-by=~createTime) ; do gcloud alloydb backups delete $(basename $i) --region $REGION --quiet; done
Operation ID: operation-1697826266108-60829fb7b5258-7f99dc0b-99f3c35f
Deleting backup...done.

Jetzt können wir unsere VM löschen

GCE-VM löschen

Führen Sie in Cloud Shell folgenden Befehl aus:

export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
    --zone=$ZONE \
    --quiet

Erwartete Konsolenausgabe:

student@cloudshell:~ (test-project-001-402417)$ export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
    --zone=$ZONE \
    --quiet
Deleted

Löschen Sie das Dienstkonto für die GCE-VM und den Abrufdienst

Führen Sie in Cloud Shell folgenden Befehl aus:

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete compute-aip@$PROJECT_ID.iam.gserviceaccount.com --quiet

Erwartete Konsolenausgabe:

student@cloudshell:~ (gleb-test-short-004)$ PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete compute-aip@$PROJECT_ID.iam.gserviceaccount.com --quiet
Your active configuration is: [cloudshell-222]
deleted service account [compute-aip@gleb-test-short-004.iam.gserviceaccount.com]
student@cloudshell:~ (gleb-test-short-004)$

10. Glückwunsch

Herzlichen Glückwunsch zum Abschluss des Codelabs.

Behandelte Themen

AlloyDB-Cluster bereitstellen
Mit AlloyDB verbinden
GenAI Databases Retrieval Service konfigurieren und bereitstellen
Beispielanwendung mit dem bereitgestellten Dienst bereitstellen

11. Umfrage

Ausgabe:

Wie möchten Sie diese Anleitung nutzen?

<ph type="x-smartling-placeholder"></ph> Lesen Sie sie nur durch.

Lies sie dir durch und absolviere die Übungen