דף זה תורגם על ידי Cloud Translation API.

פיתוח אפליקציית צ'אט מבוססת-LLM ו-RAG באמצעות AI של AlloyDB ו-LangChain

1. מבוא

בשיעור ה-Codelab הזה תלמדו איך לפרוס את שירות אחזור מסדי הנתונים של GenAI וליצור אפליקציה אינטראקטיבית לדוגמה באמצעות הסביבה הפרוסה.

כאן אפשר לקבל מידע נוסף על שירות אחזור הנתונים של GenAI ועל האפליקציה לדוגמה.

דרישות מוקדמות

הבנה בסיסית של מסוף Google Cloud
מיומנויות בסיסיות בממשק שורת הפקודה וב-Google Cloud Shell

מה תלמדו

איך לפרוס את AlloyDB Cluster
איך מתחברים ל-AlloyDB
איך מגדירים ופורסים את שירות אחזור מסדי הנתונים של GenAI
איך לפרוס אפליקציה לדוגמה באמצעות השירות הפרוס

מה צריך להכין

חשבון Google Cloud ופרויקט ב-Google Cloud
דפדפן אינטרנט כמו Chrome

2. הגדרה ודרישות

הגדרת סביבה בקצב אישי

נכנסים למסוף Google Cloud ויוצרים פרויקט חדש או משתמשים מחדש בפרויקט קיים. אם עדיין אין לכם חשבון Gmail או חשבון Google Workspace, עליכם ליצור חשבון.

שם הפרויקט הוא השם המוצג של המשתתפים בפרויקט. זוהי מחרוזת תווים שלא משמשת את Google APIs. תמיד אפשר לעדכן אותו.
מזהה הפרויקט הוא ייחודי לכל הפרויקטים ב-Google Cloud ואי אפשר לשנות אותו אחרי שמגדירים אותו. מסוף Cloud יוצר מחרוזת ייחודית באופן אוטומטי. בדרך כלל לא משנה מה המחרוזת הזו. ברוב ה-codelabs תצטרכו להפנות למזהה הפרויקט (בדרך כלל מזהים אותו בתור PROJECT_ID). אם המזהה שנוצר לא מוצא חן בעיניכם, תוכלו ליצור מזהה אקראי אחר. לחלופין, אפשר לנסות כתובת משלכם ולבדוק אם היא זמינה. לא ניתן לשנות את השם אחרי השלב הזה, והוא יישאר למשך כל תקופת הפרויקט.
לידיעתך, יש ערך שלישי, מספר פרויקט, שמשתמשים בו בחלק מממשקי ה-API. מידע נוסף על כל שלושת הערכים האלה זמין במסמכי העזרה.

בשלב הבא, כדי להשתמש במשאבים או ב-API של Cloud, תצטרכו להפעיל את החיוב במסוף Cloud. השלמת הקודלאב הזה לא תעלה הרבה, אם בכלל. כדי להשבית את המשאבים ולמנוע חיובים אחרי סיום המדריך, אפשר למחוק את המשאבים שיצרתם או למחוק את הפרויקט. משתמשים חדשים ב-Google Cloud זכאים להשתתף בתוכנית תקופת ניסיון בחינם בסך 300$.

הפעלת Cloud Shell

אפשר להפעיל את Google Cloud מרחוק מהמחשב הנייד, אבל בסדנת הקוד הזו נשתמש ב-Google Cloud Shell, סביבת שורת פקודה שפועלת ב-Cloud.

במסוף Google Cloud, לוחצים על סמל Cloud Shell בסרגל הכלים שבפינה הימנית העליונה:

תהליך ההקצאה והחיבור לסביבת העבודה אמור להימשך רק כמה רגעים. בסיום, אמור להופיע משהו כזה:

המכונה הווירטואלית הזו כוללת את כל הכלים הדרושים למפתחים. יש בה ספריית בית בנפח מתמיד של 5GB והיא פועלת ב-Google Cloud, משפרת מאוד את ביצועי הרשת ואת האימות. אתם יכולים לבצע את כל העבודה בקודלאב הזה בדפדפן. אין צורך להתקין שום דבר.

3. לפני שמתחילים

הפעלת ה-API

פלט:

ב-Cloud Shell, מוודאים שמזהה הפרויקט מוגדר:

בדרך כלל מזהה הפרויקט מוצג בסוגריים בפקודה של מעטפת Cloud, כמו שמוצג בתמונה:

gcloud config set project [YOUR-PROJECT-ID]

לאחר מכן מגדירים את משתנה הסביבה PROJECT_ID כמזהה הפרויקט ב-Google Cloud:

PROJECT_ID=$(gcloud config get-value project)

מפעילים את כל השירותים הנדרשים:

gcloud services enable alloydb.googleapis.com \
                       compute.googleapis.com \
                       cloudresourcemanager.googleapis.com \
                       servicenetworking.googleapis.com \
                       vpcaccess.googleapis.com \
                       aiplatform.googleapis.com \
                       cloudbuild.googleapis.com \
                       artifactregistry.googleapis.com \
                       run.googleapis.com \
                       iam.googleapis.com

הפלט הצפוי

student@cloudshell:~ (gleb-test-short-004)$ gcloud services enable alloydb.googleapis.com \
                       compute.googleapis.com \
                       cloudresourcemanager.googleapis.com \
                       servicenetworking.googleapis.com \
                       vpcaccess.googleapis.com \
                       aiplatform.googleapis.com \
                       cloudbuild.googleapis.com \
                       artifactregistry.googleapis.com \
                       run.googleapis.com \
                       iam.googleapis.com
Operation "operations/acf.p2-404051529011-664c71ad-cb2b-4ab4-86c1-1f3157d70ba1" finished successfully.

4. פריסה של AlloyDB Cluster

לפני שיוצרים אשכול AlloyDB, צריך טווח IP פרטי זמין ב-VPC שלנו לשימוש במכונה העתידית של AlloyDB. אם אין לנו אותו, נצטרך ליצור אותו, להקצות אותו לשימוש בשירותים הפנימיים של Google ואז נוכל ליצור את האשכולות והמכונות.

יצירת טווח IP פרטי

אנחנו צריכים להגדיר את הגישה לשירות פרטי ב-VPC שלנו עבור AlloyDB. ההנחה היא שיש לנו רשת VPC 'ברירת מחדל' בפרויקט, והיא תשמש לכל הפעולות.

יוצרים את טווח כתובות ה-IP הפרטי:

gcloud compute addresses create psa-range \
    --global \
    --purpose=VPC_PEERING \
    --prefix-length=24 \
    --description="VPC private service access" \
    --network=default

יוצרים חיבור פרטי באמצעות טווח כתובות ה-IP שהוקצה:

gcloud services vpc-peerings connect \
    --service=servicenetworking.googleapis.com \
    --ranges=psa-range \
    --network=default

הפלט הצפוי במסוף:

student@cloudshell:~ (test-project-402417)$ gcloud compute addresses create psa-range \
    --global \
    --purpose=VPC_PEERING \
    --prefix-length=24 \
    --description="VPC private service access" \
    --network=default
Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/global/addresses/psa-range].

student@cloudshell:~ (test-project-402417)$ gcloud services vpc-peerings connect \
    --service=servicenetworking.googleapis.com \
    --ranges=psa-range \
    --network=default
Operation "operations/pssn.p24-4470404856-595e209f-19b7-4669-8a71-cbd45de8ba66" finished successfully.

student@cloudshell:~ (test-project-402417)$

יצירת אשכול AlloyDB

יוצרים אשכול AlloyDB באזור us-central1.

מגדירים סיסמה למשתמש postgres. אתם יכולים להגדיר סיסמה משלכם או להשתמש בפונקציה אקראית כדי ליצור סיסמה

export PGPASSWORD=`openssl rand -hex 12`

הפלט הצפוי במסוף:

student@cloudshell:~ (test-project-402417)$ export PGPASSWORD=`openssl rand -hex 12`

חשוב לזכור את הסיסמה ל-PostgreSQL לשימוש עתידי:

echo $PGPASSWORD

הפלט הצפוי במסוף:

student@cloudshell:~ (test-project-402417)$ echo $PGPASSWORD
bbefbfde7601985b0dee5723

מגדירים את האזור ואת שם האשכול של AlloyDB. נשתמש באזור us-central1 ובשם האשכולות alloydb-aip-01:

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01

מריצים את הפקודה כדי ליצור את האשכול:

gcloud alloydb clusters create $ADBCLUSTER \
    --password=$PGPASSWORD \
    --network=default \
    --region=$REGION

הפלט הצפוי במסוף:

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
gcloud alloydb clusters create $ADBCLUSTER \
    --password=$PGPASSWORD \
    --network=default \
    --region=$REGION
Operation ID: operation-1697655441138-6080235852277-9e7f04f5-2012fce4
Creating cluster...done.

יצירת מכונה ראשית של AlloyDB

יוצרים מכונה ראשית של AlloyDB לאשכול שלנו באותו סשן של Cloud Shell. אם תנתקו, תצטרכו להגדיר מחדש את משתני הסביבה של שם האזור ושל האשכולות.

gcloud alloydb instances create $ADBCLUSTER-pr \
    --instance-type=PRIMARY \
    --cpu-count=2 \
    --region=$REGION \
    --cluster=$ADBCLUSTER

הפלט הצפוי במסוף:

student@cloudshell:~ (test-project-402417)$ gcloud alloydb instances create $ADBCLUSTER-pr \
    --instance-type=PRIMARY \
    --cpu-count=2 \
    --region=$REGION \
    --availability-type ZONAL \
    --cluster=$ADBCLUSTER
Operation ID: operation-1697659203545-6080315c6e8ee-391805db-25852721
Creating instance...done.

5. הכנת מכונה וירטואלית ב-GCE

יצירת חשבון שירות

מכיוון שנשתמש במכונה הווירטואלית כדי לפרוס את השירות של GenAI Databases Retrieval ולארח אפליקציה לדוגמה, השלב הראשון הוא ליצור חשבון שירות של Google‏ (GSA). ה-GSA ישמש את המכונה הווירטואלית של GCE, ונצטרך להקצות לו את ההרשאות הנדרשות כדי לעבוד עם שירותים אחרים.

ב-Cloud Shell, מריצים את הפקודה:

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts create compute-aip --project $PROJECT_ID
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/cloudbuild.builds.editor"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/artifactregistry.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/storage.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/run.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/iam.serviceAccountUser"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/alloydb.viewer"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/aiplatform.user"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/serviceusage.serviceUsageConsumer"

פריסה של מכונה וירטואלית ב-GCE

יוצרים מכונה וירטואלית ב-GCE באותו אזור ובאותה רשת VPC שבהם נמצא אשכול AlloyDB.

ב-Cloud Shell, מריצים את הפקודה:

export ZONE=us-central1-a
gcloud compute instances create instance-1 \
    --zone=$ZONE \
    --create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
  --service-account=compute-aip@$PROJECT_ID.iam.gserviceaccount.com

הפלט הצפוי במסוף:

student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
gcloud compute instances create instance-1 \
    --zone=$ZONE \
    --create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
    --scopes=https://www.googleapis.com/auth/cloud-platform

Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/zones/us-central1-a/instances/instance-1].
NAME: instance-1
ZONE: us-central1-a
MACHINE_TYPE: n1-standard-1
PREEMPTIBLE: 
INTERNAL_IP: 10.128.0.2
EXTERNAL_IP: 34.71.192.233
STATUS: RUNNING

התקנת Postgres Client

התקנת תוכנת הלקוח של PostgreSQL במכונה הווירטואלית שנפרסה

מתחברים ל-VM:

gcloud compute ssh instance-1 --zone=us-central1-a

הפלט הצפוי במסוף:

student@cloudshell:~ (test-project-402417)$ gcloud compute ssh instance-1 --zone=us-central1-a
Updating project ssh metadata...working..Updated [https://www.googleapis.com/compute/v1/projects/test-project-402417].                                                                                                                                                         
Updating project ssh metadata...done.                                                                                                                                                                                                                                              
Waiting for SSH key to propagate.
Warning: Permanently added 'compute.5110295539541121102' (ECDSA) to the list of known hosts.
Linux instance-1 5.10.0-26-cloud-amd64 #1 SMP Debian 5.10.197-1 (2023-09-29) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
student@instance-1:~$

מתקינים את פקודת ההפעלה של התוכנה בתוך ה-VM:

sudo apt-get update
sudo apt-get install --yes postgresql-client

הפלט הצפוי במסוף:

student@instance-1:~$ sudo apt-get update
sudo apt-get install --yes postgresql-client
Get:1 file:/etc/apt/mirrors/debian.list Mirrorlist [30 B]
Get:4 file:/etc/apt/mirrors/debian-security.list Mirrorlist [39 B]
Hit:7 https://packages.cloud.google.com/apt google-compute-engine-bookworm-stable InRelease
Get:8 https://packages.cloud.google.com/apt cloud-sdk-bookworm InRelease [1652 B]
Get:2 https://deb.debian.org/debian bookworm InRelease [151 kB]
Get:3 https://deb.debian.org/debian bookworm-updates InRelease [55.4 kB]
...redacted...
update-alternatives: using /usr/share/postgresql/15/man/man1/psql.1.gz to provide /usr/share/man/man1/psql.1.gz (psql.1.gz) in auto mode
Setting up postgresql-client (15+248) ...
Processing triggers for man-db (2.11.2-2) ...
Processing triggers for libc-bin (2.36-9+deb12u7) ...

התחברות למכונה

מתחברים למכונה הווירטואלית מהמכונה הראשית באמצעות psql.

ממשיכים בסשן ה-SSH הפתוח למכונה הווירטואלית. אם החיבור התנתק, צריך להתחבר שוב באמצעות אותה פקודה שצוינה למעלה.

משתמשים ב-$PGASSWORD ובשם האשכולות שצוינו למעלה כדי להתחבר ל-AlloyDB מהמכונה הווירטואלית ב-GCE:

export PGPASSWORD=<Noted password>

export PROJECT_ID=$(gcloud config get-value project)
export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
export INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)")
psql "host=$INSTANCE_IP user=postgres sslmode=require"

הפלט הצפוי במסוף:

student@instance-1:~$ export PGPASSWORD=P9...
student@instance-1:~$ export REGION=us-central1
student@instance-1:~$ export ADBCLUSTER=alloydb-aip-01
student@instance-1:~$ export INSTANCE_IP=export INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)")
student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres sslmode=require"
psql (13.11 (Debian 13.11-0+deb11u1), server 14.7)
WARNING: psql major version 13, server major version 14.
         Some psql features might not work.
SSL connection (protocol: TLSv1.3, cipher: TLS_AES_256_GCM_SHA384, bits: 256, compression: off)
Type "help" for help.

postgres=>

יוצאים מהסשן של psql תוך שמירה על חיבור ה-SSH:

exit

הפלט הצפוי במסוף:

postgres=> exit
student@instance-1:~$

6. איך מפעילים את מסד הנתונים

אנחנו נשתמש במכונה הווירטואלית של הלקוח כפלטפורמה לאכלוס מסד הנתונים שלנו בנתונים ולאירוח האפליקציה. השלב הראשון הוא ליצור מסד נתונים ולאכלס אותו בנתונים.

יצירת מסד נתונים

יוצרים מסד נתונים בשם assistantdemo.

בסשן של המכונה הווירטואלית ב-GCE, מריצים את הפקודה:

psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE assistantdemo"

הפלט הצפוי במסוף:

student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE assistantdemo"
CREATE DATABASE
student@instance-1:~$

מפעילים את התוסף pgVector.

psql "host=$INSTANCE_IP user=postgres dbname=assistantdemo" -c "CREATE EXTENSION vector"

הפלט הצפוי במסוף:

student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres dbname=assistantdemo" -c "CREATE EXTENSION vector"
CREATE EXTENSION
student@instance-1:~$

הכנת סביבת Python

כדי להמשיך, נשתמש בסקריפטים מוכנים של Python מהמאגר של GitHub, אבל לפני כן צריך להתקין את התוכנה הנדרשת.

במכונה הווירטואלית של GCE, מריצים את הפקודה:

sudo apt install -y python3.11-venv git
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade pip

הפלט הצפוי במסוף:

student@instance-1:~$ sudo apt install -y python3.11-venv git
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade pip
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
The following additional packages will be installed:
  git-man liberror-perl patch python3-distutils python3-lib2to3 python3-pip-whl python3-setuptools-whl
Suggested packages:
  git-daemon-run | git-daemon-sysvinit git-doc git-email git-gui gitk gitweb git-cvs git-mediawiki git-svn ed diffutils-doc
The following NEW packages will be installed:
  git git-man liberror-perl patch python3-distutils python3-lib2to3 python3-pip-whl python3-setuptools-whl python3.11-venv
0 upgraded, 9 newly installed, 0 to remove and 2 not upgraded.
Need to get 12.4 MB of archives.
After this operation, 52.2 MB of additional disk space will be used.
Get:1 file:/etc/apt/mirrors/debian.list Mirrorlist [30 B]
...redacted...
Installing collected packages: pip
  Attempting uninstall: pip
    Found existing installation: pip 23.0.1
    Uninstalling pip-23.0.1:
      Successfully uninstalled pip-23.0.1
Successfully installed pip-24.0
(.venv) student@instance-1:~$

בודקים את גרסת Python.

במכונה הווירטואלית של GCE, מריצים את הפקודה:

python -V

הפלט הצפוי במסוף:

(.venv) student@instance-1:~$ python -V
Python 3.11.2
(.venv) student@instance-1:~$

אכלוס מסד נתונים

משכפלים את מאגר GitHub עם הקוד של שירות האחזור והאפליקציה לדוגמה.

במכונה הווירטואלית של GCE, מריצים את הפקודה:

git clone https://github.com/GoogleCloudPlatform/genai-databases-retrieval-app.git

הפלט הצפוי במסוף:

student@instance-1:~$ git clone https://github.com/GoogleCloudPlatform/genai-databases-retrieval-app.git
Cloning into 'genai-databases-retrieval-app'...
remote: Enumerating objects: 525, done.
remote: Counting objects: 100% (336/336), done.
remote: Compressing objects: 100% (201/201), done.
remote: Total 525 (delta 224), reused 179 (delta 135), pack-reused 189
Receiving objects: 100% (525/525), 46.58 MiB | 16.16 MiB/s, done.
Resolving deltas: 100% (289/289), done.

הכנת קובץ התצורה

במכונה הווירטואלית של GCE, מריצים את הפקודה:

cd genai-databases-retrieval-app/retrieval_service
cp example-config.yml config.yml
sed -i s/127.0.0.1/$INSTANCE_IP/g config.yml
sed -i s/my-password/$PGPASSWORD/g config.yml
sed -i s/my_database/assistantdemo/g config.yml
sed -i s/my-user/postgres/g config.yml
cat config.yml

הפלט הצפוי במסוף:

student@instance-1:~$ cd genai-databases-retrieval-app/retrieval_service
cp example-config.yml config.yml
sed -i s/127.0.0.1/$INSTANCE_IP/g config.yml
sed -i s/my-password/$PGPASSWORD/g config.yml
sed -i s/my_database/assistantdemo/g config.yml
sed -i s/my-user/postgres/g config.yml
cat config.yml
host: 0.0.0.0
# port: 8080
datastore:
  # Example for AlloyDB
  kind: "postgres"
  host: 10.65.0.2
  # port: 5432
  database: "assistantdemo"
  user: "postgres"
  password: "P9..."

מאכלסים את מסד הנתונים במערך הנתונים לדוגמה. הפקודה הראשונה מוסיפה את כל החבילות הנדרשות לסביבה הווירטואלית של Python, והפקודה השנייה מאכלסת את מסד הנתונים בנתונים.

במכונה הווירטואלית של GCE, מריצים את הפקודה:

pip install -r requirements.txt
python run_database_init.py

הפלט הצפוי במסוף(הושמט מידע):

student@instance-1:~/genai-databases-retrieval-app/retrieval_service$ pip install -r requirements.txt
python run_database_init.py
Collecting asyncpg==0.28.0 (from -r requirements.txt (line 1))
  Obtaining dependency information for asyncpg==0.28.0 from https://files.pythonhosted.org/packages/77/a4/88069f7935b14c58534442a57be3299179eb46aace2d3c8716be199ff6a6/asyncpg-0.28.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata
  Downloading asyncpg-0.28.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata (4.3 kB)
Collecting fastapi==0.101.1 (from -r requirements.txt (line 2))
...
database init done.
student@instance-1:~/genai-databases-retrieval-app/retrieval_service$

7. פריסת שירות האחזור ב-Cloud Run

עכשיו אפשר לפרוס את שירות האחזור ב-Cloud Run. השירות אחראי לעבוד עם מסד הנתונים ולחלץ ממנו את המידע הנדרש על סמך הבקשה מאפליקציית AI.

יצירת חשבון שירות

יוצרים חשבון שירות לשירות האחזור ומעניקים לו את ההרשאות הנדרשות.

פותחים כרטיסייה נוספת ב-Cloud Shell באמצעות הסימן '+' בחלק העליון.

בכרטיסייה החדשה של Cloud Shell, מריצים את הפקודה:

export PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts create retrieval-identity
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/aiplatform.user"

הפלט הצפוי במסוף:

student@cloudshell:~ (gleb-test-short-003)$ gcloud iam service-accounts create retrieval-identity
Created service account [retrieval-identity].

סוגרים את הכרטיסייה באמצעות הפקודה 'exit' בכרטיסייה:

exit

פריסת שירות האחזור

ממשיכים בכרטיסייה הראשונה שבה אתם מחוברים למכונה הווירטואלית דרך SSH, ומפרסים את השירות.

בסשן ה-SSH של המכונה הווירטואלית, מריצים את הפקודה:

cd ~/genai-databases-retrieval-app
gcloud alpha run deploy retrieval-service \
    --source=./retrieval_service/\
    --no-allow-unauthenticated \
    --service-account retrieval-identity \
    --region us-central1 \
    --network=default \
    --quiet

הפלט הצפוי במסוף:

student@instance-1:~/genai-databases-retrieval-app$ gcloud alpha run deploy retrieval-service \
    --source=./retrieval_service/\
    --no-allow-unauthenticated \
    --service-account retrieval-identity \
    --region us-central1 \
    --network=default
This command is equivalent to running `gcloud builds submit --tag [IMAGE] ./retrieval_service/` and `gcloud run deploy retrieval-service --image [IMAGE]`

Building using Dockerfile and deploying container to Cloud Run service [retrieval-service] in project [gleb-test-short-003] region [us-central1]
X Building and deploying... Done.
  ✓ Uploading sources...
  ✓ Building Container... Logs are available at [https://console.cloud.google.com/cloud-build/builds/6ebe74bf-3039-4221-b2e9-7ca8fa8dad8e?project=1012713954588].
  ✓ Creating Revision...
  ✓ Routing traffic...
    Setting IAM Policy...
Completed with warnings:
  Setting IAM policy failed, try "gcloud beta run services remove-iam-policy-binding --region=us-central1 --member=allUsers --role=roles/run.invoker retrieval-service"
Service [retrieval-service] revision [retrieval-service-00002-4pl] has been deployed and is serving 100 percent of traffic.
Service URL: https://retrieval-service-onme64eorq-uc.a.run.app
student@instance-1:~/genai-databases-retrieval-app$

אימות השירות

עכשיו אפשר לבדוק אם השירות פועל כמו שצריך ושלמכונת הווירטואלית יש גישה לנקודת הקצה. אנחנו משתמשים בכלי של gcloud כדי לקבל את נקודת הקצה של שירות האחזור. לחלופין, אפשר לבדוק את זה במסוף Cloud ולהחליף בפקודת curl את ‎"$(gcloud run services list –filter="(retrieval-service)" בערך שמופיע שם.

בסשן ה-SSH של המכונה הווירטואלית, מריצים את הפקודה:

curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" $(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

הפלט הצפוי במסוף:

student@instance-1:~/genai-databases-retrieval-app$ curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" $(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")
{"message":"Hello World"}student@instance-1:~/genai-databases-retrieval-app$

אם מוצגת ההודעה 'Hello World', המשמעות היא שהשירות פועל ומטפל בבקשות.

8. פריסת אפליקציה לדוגמה

עכשיו, כששירות האחזור פועל, אפשר לפרוס אפליקציה לדוגמה שתשתמש בשירות. אפשר לפרוס את האפליקציה במכונה הווירטואלית או בכל שירות אחר, כמו Cloud Run,‏ Kubernetes או אפילו באופן מקומי במחשב נייד. כאן נסביר איך לפרוס אותו במכונה הווירטואלית.

הכנת הסביבה

ממשיכים לעבוד על המכונה הווירטואלית באמצעות אותה סשן SSH. כדי להריץ את האפליקציה, צריך להוסיף כמה מודולים של Python. הפקודה תוצג מאותה ספריית אפליקציה באותה סביבה וירטואלית של Python.

בסשן ה-SSH של המכונה הווירטואלית, מריצים את הפקודה:

cd ~/genai-databases-retrieval-app/llm_demo
pip install -r requirements.txt

הפלט הצפוי (קודם צונזר):

student@instance-1:~$ cd ~/genai-databases-retrieval-app/llm_demo
pip install -r requirements.txt
Collecting fastapi==0.104.0 (from -r requirements.txt (line 1))
  Obtaining dependency information for fastapi==0.104.0 from https://files.pythonhosted.org/packages/db/30/b8d323119c37e15b7fa639e65e0eb7d81eb675ba166ac83e695aad3bd321/fastapi-0.104.0-py3-none-any.whl.metadata
  Downloading fastapi-0.104.0-py3-none-any.whl.metadata (24 kB)
...

הכנת מזהה לקוח

כדי להשתמש בפונקציית ההזמנות של האפליקציה, צריך להכין מזהה לקוח של OAuth 2.0 באמצעות מסוף Cloud. זה יקרה כשנכנס לאפליקציה, כי ההזמנה מתבצעת באמצעות פרטי הכניסה של הלקוחות כדי לתעד את נתוני ההזמנה במסד הנתונים.

במסוף Cloud, עוברים אל APIs and Services (ממשקי API ושירותים) ולוחצים על OAuth consent screen (מסך הסכמה ל-OAuth) ובוחרים את המשתמש 'Internal' (פנימי).

לאחר מכן לוחצים על 'יצירה' ופועלים לפי ההוראות במסך הבא.

צריך למלא את השדות הנדרשים, כמו 'שם האפליקציה' ו'כתובת האימייל של התמיכה למשתמש'. אפשר גם להוסיף דומיין שרוצים להציג במסך ההסכמה, ולבסוף את 'פרטי הקשר של המפתח'.

לאחר מכן לוחצים על הלחצן 'שמירה והמשך' בתחתית הדף, והוא יוביל לדף הבא.

אין צורך לשנות שום דבר שם, אלא אם רוצים לציין את ההיקפים. בסיום, לוחצים שוב על 'שמירה והמשך' כדי לאשר. הפעולה הזו תגדיר את מסך ההסכמה של האפליקציה.

השלב הבא הוא יצירת מזהה הלקוח. בחלונית הימנית, לוחצים על 'פרטי כניסה' כדי להגיע לפרטי הכניסה ל-OAuth2.

כאן לוחצים על 'Create Credentials' (יצירת פרטי כניסה) בחלק העליון ובוחרים באפשרות 'OAuth ClientID'. לאחר מכן ייפתח מסך נוסף.

בוחרים באפשרות 'אפליקציית אינטרנט' מהתפריט הנפתח של סוג האפליקציה, ומזינים את ה-URI של האפליקציה (ואת היציאה – אם רוצים) כ'מקורות JavaScript מורשים'. בנוסף, כדי שתוכלו להשתמש בחלון הקופץ של ההרשאה, צריך להוסיף למאפיין 'כתובות URI מורשות להפניה אוטומטית' את מארח האפליקציה עם '‎/login/google' בסוף. בתמונה שלמעלה אפשר לראות שהשתמשתי ב-http://localhost כ-URI הבסיסי של האפליקציה.

אחרי שלוחצים על הלחצן 'Create' (יצירה), מוצג חלון קופץ עם פרטי הכניסה של הלקוח.

נצטרך את מזהה הלקוח (ואת סוד הלקוח, אם יש כזה) מאוחר יותר כדי להשתמש בו באפליקציה שלנו

הפעלת אפליקציית Assistant

לפני שמפעילים את האפליקציה, צריך להגדיר כמה משתני סביבה. כדי להשתמש בפונקציות הבסיסיות של האפליקציה, כמו שאילתות לגבי טיסות ולגבי שירותים בנמל התעופה, נדרש רק BASE_URL שמפנה את האפליקציה לשירות האחזור. אפשר לקבל אותו באמצעות הפקודה gcloud .

בסשן ה-SSH של המכונה הווירטואלית, מריצים את הפקודה:

export BASE_URL=$(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

הפלט הצפוי (קודם צונזר):

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ export BASE_URL=$(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

כדי להשתמש ביכולות מתקדמות יותר של האפליקציה, כמו הזמנת טיסות ושינוי שלהן, צריך להיכנס לאפליקציה באמצעות חשבון Google. לשם כך, צריך לספק את משתנה הסביבה CLIENT_ID באמצעות מזהה הלקוח ב-OAuth מהפרק 'הכנת מזהה הלקוח':

export CLIENT_ID=215....apps.googleusercontent.com

הפלט הצפוי (קודם צונזר):

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ export CLIENT_ID=215....apps.googleusercontent.com

עכשיו אפשר להריץ את האפליקציה:

python run_app.py

הפלט אמור להיראות כך:

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ python main.py
INFO:     Started server process [28565]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8081 (Press CTRL+C to quit)

התחברות לאפליקציה

יש כמה דרכים להתחבר לאפליקציה שפועלת במכונה הווירטואלית. לדוגמה, אפשר לפתוח את היציאה 8081 במכונה הווירטואלית באמצעות כללי חומת אש ב-VPC, או ליצור מאזן עומסים עם כתובת IP ציבורית. כאן נשתמש במנהרה SSH למכונה הווירטואלית, שמתרגמת את היציאה המקומית 8080 ליציאה 8081 של המכונה הווירטואלית.

התחברות ממחשב מקומי

כשרוצים להתחבר ממכונה מקומית, צריך להפעיל מנהרה של SSH. אפשר לעשות זאת באמצעות gcloud compute ssh:

gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8081:localhost:8081

הפלט אמור להיראות כך:

student-macbookpro:~ student$ gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081
Warning: Permanently added 'compute.7064281075337367021' (ED25519) to the list of known hosts.
Linux instance-1.us-central1-c.c.gleb-test-001.internal 6.1.0-21-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.90-1 (2024-05-03) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
student@instance-1:~$

עכשיו אפשר לפתוח את הדפדפן ולהשתמש בכתובת http://localhost:8081 כדי להתחבר לאפליקציה. מסך האפליקציה אמור להופיע.

התחברות מ-Cloud Shell

לחלופין, אפשר להשתמש ב-Cloud Shell כדי להתחבר. פותחים כרטיסייה נוספת ב-Cloud Shell באמצעות הסימן '+' בחלק העליון.

ב-Cloud Shell החדש, מקבלים את URI המקור והפניה האוטומטית של לקוח האינטרנט שמריץ את הפקודה gcloud:

echo "origin:"; echo "https://8080-$WEB_HOST"; echo "redirect:"; echo "https://8080-$WEB_HOST/login/google"

זהו הפלט הצפוי:

student@cloudshell:~ echo "origin:"; echo "https://8080-$WEB_HOST"; echo "redirect:"; echo "https://8080-$WEB_HOST/login/google"
origin:
https://8080-cs-35704030349-default.cs-us-east1-rtep.cloudshell.dev
redirect:
https://8080-cs-35704030349-default.cs-us-east1-rtep.cloudshell.dev/login/google

ואז משתמשים במקור ובהפניה האוטומטית של מזהי ה-URI בתור המקור המורשה של JavaScript ומזהי ה-URI המורשים להפניה אוטומטית לפרטי הכניסה שלנו שנוצרו בקטע 'הכנת מזהה הלקוח', ומחליפים או מוסיפים אותם לערכים המקוריים שסופקו ב-http://localhost:8080.

בכרטיסייה החדשה של Cloud Shell, מפעילים את המנהרה למכונה הווירטואלית על ידי הפעלת הפקודה gcloud:

gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081

תוצג הודעת השגיאה 'לא ניתן להקצות את הכתובת המבוקשת' – אפשר להתעלם ממנה.

זהו הפלט הצפוי:

student@cloudshell:~ gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081
bind [::1]:8081: Cannot assign requested address
inux instance-1.us-central1-a.c.gleb-codelive-01.internal 6.1.0-21-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.90-1 (2024-05-03) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
Last login: Sat May 25 19:15:46 2024 from 35.243.235.73
student@instance-1:~$

הקוד הזה פותח את היציאה 8080 ב-Cloud Shell, שאפשר להשתמש בה בתצוגה המקדימה באינטרנט.

לוחצים על הלחצן 'תצוגה מקדימה באינטרנט' בפינה השמאלית העליונה של Cloud Shell, ובתפריט הנפתח בוחרים באפשרות 'תצוגה מקדימה ביציאה 8080'.

תיפתח כרטיסייה חדשה בדפדפן האינטרנט עם ממשק האפליקציה. הדף 'עוזרת שירות הלקוחות של Cymbal Air' אמור להופיע.

כניסה לאפליקציה

כשהכול מוגדר והאפליקציה פתוחה, נוכל להשתמש בלחצן 'כניסה' בפינה השמאלית העליונה של מסך האפליקציה כדי לספק את פרטי הכניסה שלנו. זהו שלב אופציונלי שצריך לבצע רק אם רוצים לנסות את הפונקציונליות של תזמון הפגישות באפליקציה.

ייפתח חלון קופץ שבו נוכל לבחור את פרטי הכניסה שלנו.

אחרי הכניסה לחשבון, הבקשה מוכנה ותוכלו להתחיל לפרסם את הבקשות שלכם בשדה שבתחתית החלון.

הדגמה הזו מציגה את העוזרת של שירות הלקוחות של Cymbal Air. Cymbal Air היא חברת תעופה דמיונית. העוזרת היא צ'אטבוט מבוסס-AI שעוזר למטיילים לנהל טיסות ולחפש מידע על צ'ימבל אייר בנמל התעופה הבינלאומי של סן פרנסיסקו (SFO).

בלי כניסה לחשבון (בלי CLIENT_ID), אפשר לענות על שאלות של משתמשים כמו:

מתי הטיסה הבאה לדנוור?

האם יש חנויות יוקרה בסביבת שער C28?

איפה אפשר לקנות קפה ליד שער A6?

איפה אפשר לקנות מתנה?

עליך להזמין טיסה לדנוור שממריאה בשעה 10:35

כשאתם מחוברים לאפליקציה, אתם יכולים לנסות תכונות אחרות, כמו הזמנת טיסות או בדיקה אם המושב שהוקצה לכם הוא ליד החלון או ליד המעבר.

האפליקציה משתמשת במודלים הבסיסיים העדכניים ביותר של Google כדי ליצור תשובות ולהוסיף להן מידע על טיסות ומתקנים ממסד הנתונים התפעולי של AlloyDB. מידע נוסף על אפליקציית הדגמה הזו זמין בדף GitHub של הפרויקט.

9. פינוי הסביבה

עכשיו, אחרי שכל המשימות הושלמו, אפשר לנקות את הסביבה

מחיקת שירות Cloud Run

ב-Cloud Shell, מריצים את הפקודה:

gcloud run services delete retrieval-service --region us-central1

הפלט הצפוי במסוף:

student@cloudshell:~ (gleb-test-short-004)$ gcloud run services delete retrieval-service --region us-central1
Service [retrieval-service] will be deleted.

Do you want to continue (Y/n)?  Y

Deleting [retrieval-service]...done.                                                                                                                                                                                                                 
Deleted service [retrieval-service].

מחיקה של חשבון השירות לשירות Cloud Run

ב-Cloud Shell, מריצים את הפקודה:

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com --quiet

הפלט הצפוי במסוף:

student@cloudshell:~ (gleb-test-short-004)$ PROJECT_ID=$(gcloud config get-value project)
Your active configuration is: [cloudshell-222]
student@cloudshell:~ (gleb-test-short-004)$ gcloud iam service-accounts delete retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com --quiet
deleted service account [retrieval-identity@gleb-test-short-004.iam.gserviceaccount.com]
student@cloudshell:~ (gleb-test-short-004)$

איך משמידים את המכונות ואת האשכול של AlloyDB בסיום ה-Lab

מחיקת אשכול AlloyDB וכל המכונות

האשכולות נהרסים באמצעות האפשרות force, שמוחקת גם את כל המכונות ששייכות לאשכולות.

אם התנתקתם וכל ההגדרות הקודמות אבדו, מגדירים את הפרויקט ומשתני הסביבה ב-Cloud Shell:

gcloud config set project <your project id>

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
export PROJECT_ID=$(gcloud config get-value project)

מוחקים את האשכול:

gcloud alloydb clusters delete $ADBCLUSTER --region=$REGION --force

הפלט הצפוי במסוף:

student@cloudshell:~ (test-project-001-402417)$ gcloud alloydb clusters delete $ADBCLUSTER --region=$REGION --force
All of the cluster data will be lost when the cluster is deleted.

Do you want to continue (Y/n)?  Y

Operation ID: operation-1697820178429-6082890a0b570-4a72f7e4-4c5df36f
Deleting cluster...done.

מחיקת גיבויים של AlloyDB

מוחקים את כל הגיבויים של AlloyDB לאשכול:

for i in $(gcloud alloydb backups list --filter="CLUSTER_NAME: projects/$PROJECT_ID/locations/$REGION/clusters/$ADBCLUSTER" --format="value(name)" --sort-by=~createTime) ; do gcloud alloydb backups delete $(basename $i) --region $REGION --quiet; done

הפלט הצפוי במסוף:

student@cloudshell:~ (test-project-001-402417)$ for i in $(gcloud alloydb backups list --filter="CLUSTER_NAME: projects/$PROJECT_ID/locations/$REGION/clusters/$ADBCLUSTER" --format="value(name)" --sort-by=~createTime) ; do gcloud alloydb backups delete $(basename $i) --region $REGION --quiet; done
Operation ID: operation-1697826266108-60829fb7b5258-7f99dc0b-99f3c35f
Deleting backup...done.

עכשיו אפשר למחוק את המכונה הווירטואלית

מחיקת מכונה וירטואלית ב-GCE

ב-Cloud Shell, מריצים את הפקודה:

export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
    --zone=$ZONE \
    --quiet

הפלט הצפוי במסוף:

student@cloudshell:~ (test-project-001-402417)$ export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
    --zone=$ZONE \
    --quiet
Deleted

מחיקה של חשבון השירות של המכונה הווירטואלית ב-GCE ושל שירות האחזור

ב-Cloud Shell, מריצים את הפקודה:

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete compute-aip@$PROJECT_ID.iam.gserviceaccount.com --quiet

הפלט הצפוי במסוף:

student@cloudshell:~ (gleb-test-short-004)$ PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete compute-aip@$PROJECT_ID.iam.gserviceaccount.com --quiet
Your active configuration is: [cloudshell-222]
deleted service account [compute-aip@gleb-test-short-004.iam.gserviceaccount.com]
student@cloudshell:~ (gleb-test-short-004)$

10. מזל טוב

כל הכבוד על השלמת ה-Codelab.

מה עסקנו בו

איך לפרוס את AlloyDB Cluster
איך מתחברים ל-AlloyDB
איך מגדירים ופורסים את שירות אחזור מסדי הנתונים של GenAI
איך לפרוס אפליקציה לדוגמה באמצעות השירות הפרוס

11. סקר

פלט:

איך תוכלו להשתמש במדריך הזה?

רק לקרוא

לקרוא ולבצע את התרגילים