1. Giới thiệu
Trong lớp học lập trình này, bạn sẽ tìm hiểu cách triển khai AlloyDB Omni trên Google Kubernetes Engine (GKE) và sử dụng công cụ này với các mô hình mở như EmbeddingGemma và Gemma 4 để nhúng và dự đoán. Việc chạy cả cơ sở dữ liệu và mô hình trong cùng một cụm giúp giảm độ trễ mạng và tránh phụ thuộc vào dịch vụ của bên thứ ba. Tính năng này cũng giúp bạn đáp ứng các yêu cầu về việc tuân thủ và nơi lưu trữ dữ liệu vì dữ liệu của bạn không bao giờ rời khỏi môi trường của bạn.

Điều kiện tiên quyết
- Hiểu biết cơ bản về Google Cloud và Google Cloud Console
- Kiến thức cơ bản về Kubernetes và GKE
- Quen thuộc với giao diện dòng lệnh và Google Cloud Shell
Kiến thức bạn sẽ học được
- Cách triển khai AlloyDB Omni trên một cụm GKE
- Cách kết nối với AlloyDB Omni
- Cách tải dữ liệu vào AlloyDB Omni
- Cách triển khai các mô hình AI (nhúng và LLM) cho GKE
- Cách đăng ký mô hình AI trong AlloyDB Omni
- Cách tạo các mục nhúng cho tính năng tìm kiếm ngữ nghĩa
- Cách chạy truy vấn tìm kiếm ngữ nghĩa trong AlloyDB Omni
- Cách tạo và sử dụng chỉ mục vectơ trong AlloyDB Omni
Bạn cần có
- Tài khoản Google Cloud và dự án trên đám mây của Google Cloud
- Một trình duyệt web, chẳng hạn như Chrome
2. Thiết lập và yêu cầu
Thiết lập dự án
- Đăng nhập vào Google Cloud Console. Nếu bạn chưa có tài khoản Gmail hoặc Google Workspace, hãy tạo một tài khoản. Sử dụng tài khoản cá nhân thay vì tài khoản công việc hoặc trường học.
- Tạo dự án mới hoặc chọn dự án hiện có. Trong tiêu đề của Google Cloud Console, hãy nhấp vào Select a project (Chọn một dự án), sau đó nhấp vào New Project (Dự án mới).

Trong cửa sổ Chọn dự án, hãy nhấp vào Dự án mới để mở hộp thoại tạo dự án.

Trong hộp thoại, hãy nhập Tên dự án rồi chọn tổ chức hoặc vị trí của bạn.

- Tên dự án là tên hiển thị cho những người tham gia dự án này. Tên dự án không được các API của Google sử dụng và bạn có thể thay đổi tên này bất cứ lúc nào.
- Mã dự án là duy nhất trên tất cả các dự án trên đám mây của Google Cloud và không thể thay đổi (bạn không thể thay đổi mã này sau khi đặt). Google Cloud Console sẽ tự động tạo một mã nhận dạng duy nhất hoặc bạn có thể tự cung cấp mã nhận dạng. Trong lớp học lập trình này, bạn sẽ tham chiếu mã dự án bằng phần giữ chỗ
. - Số dự án là giá trị nhận dạng thứ ba mà một số API sử dụng. Để biết thêm thông tin, hãy xem tài liệu về Trình quản lý tài nguyên.
Bật tính năng thanh toán
Nếu thiết lập thông tin thanh toán bằng tín dụng Google Cloud, bạn có thể bỏ qua bước này.
Để thiết lập tài khoản thanh toán cá nhân, hãy bật tính năng thanh toán trong Google Cloud Console.
- Chi phí hoàn thành bài tập thực hành này là dưới 5 USD cho tài nguyên Google Cloud.
- Hãy làm theo các bước dọn dẹp ở cuối lớp học lập trình này để xoá tài nguyên và tránh bị tính thêm phí.
- Người dùng mới đủ điều kiện nhận khoản tín dụng dùng thử miễn phí trị giá 300 USD.
Bắt đầu Cloud Shell
Trong lớp học lập trình này, bạn sẽ sử dụng Google Cloud Shell, một môi trường dòng lệnh chạy trên đám mây.
Trong Google Cloud Console, hãy nhấp vào biểu tượng Activate Cloud Shell (Kích hoạt Cloud Shell) trên thanh công cụ trên cùng bên phải:

Ngoài ra, bạn có thể nhấn phím G rồi nhấn phím S hoặc mở Google Cloud Shell trực tiếp.
Khi kết nối, Cloud Shell sẽ hiển thị lời nhắc của thiết bị đầu cuối:

Cloud Shell bao gồm bộ nhớ ổn định và các công cụ cho nhà phát triển. Bạn có thể chạy tất cả các bước trong lớp học lập trình này trên trình duyệt.
3. Bật API
Để sử dụng Google Kubernetes Engine (GKE) cho AlloyDB Omni và triển khai mô hình, hãy bật API Compute Engine và GKE trong dự án Google Cloud của bạn.
Trong Cloud Shell, hãy xác minh rằng mã dự án của bạn đã được định cấu hình:
PROJECT_ID=$(gcloud config get-value project)
echo $PROJECT_ID
Nếu mã dự án chưa được xác định, hãy định cấu hình mã dự án:
export PROJECT_ID=<YOUR_PROJECT_ID>
gcloud config set project $PROJECT_ID
Bật các API bắt buộc:
gcloud services enable compute.googleapis.com
gcloud services enable container.googleapis.com
Kết quả đầu ra dự kiến:
student@cloudshell:~ (test-project-001-402417)$ PROJECT_ID=test-project-001-402417 student@cloudshell:~ (test-project-001-402417)$ gcloud config set project test-project-001-402417 Updated property [core/project]. student@cloudshell:~ (test-project-001-402417)$ gcloud services enable compute.googleapis.com gcloud services enable container.googleapis.com Operation "operations/acat.p2-4470404856-1f44ebd8-894e-4356-bea7-b84165a57442" finished successfully.
Bạn có thể đọc về từng API được bật trong tài liệu này.
4. Triển khai AlloyDB Omni trên GKE
Để triển khai AlloyDB Omni trên GKE, hãy chuẩn bị một cụm Kubernetes theo các yêu cầu của toán tử AlloyDB Omni.
Tạo cụm GKE
Triển khai một cụm GKE Autopilot để chạy AlloyDB Omni, trình vận hành và các vùng chứa giám sát. Khi sử dụng chế độ lái tự động, chúng tôi sẽ đơn giản hoá quy trình triển khai – tất cả tài nguyên cho toán tử, cụm và các thành phần khác của AlloyDB Omni sẽ được chỉ định tự động.
Chọn khu vực nơi bạn triển khai tài nguyên. Chọn khu vực gần vị trí của bạn về mặt địa lý:
export LOCATION=<your region>
Đặt các biến môi trường cho quá trình triển khai:
export PROJECT_ID=$(gcloud config get-value project)
export CLUSTER_NAME=alloydb-ai-gke
Tạo cụm GKE Autopilot:
gcloud container clusters create-auto ${CLUSTER_NAME} \
--project=${PROJECT_ID} \
--region=${LOCATION}
Kết quả dự kiến trên bảng điều khiển:
student@cloudshell:~ (test-project-001-402417)$ export PROJECT_ID=$(gcloud config get project)
export CLUSTER_NAME=alloydb-ai-gke
Your active configuration is: [test-project-001-402417]
student@cloudshell:~ (test-project-001-402417)$ gcloud container clusters create-auto ${CLUSTER_NAME} \
> --project=${PROJECT_ID} \
> --region=${LOCATION}
Creating cluster alloydb-ai-gke in us-east4... Cluster is being health-checked.
..⠹
Creating cluster alloydb-ai-gke in us-east4... Cluster is being health-checked
(Kubernetes Control Plane is healthy)...done.
Created [https://container.googleapis.com/v1/projects/gleb-genai-002/zones/us-east4/clusters/alloydb-ai-gke].
To inspect the contents of your cluster, go to: https://console.cloud.google.com/kubernetes/workload_/gcloud/us-east4/alloydb-ai-gke?project=gleb-genai-002
kubeconfig entry generated for alloydb-ai-gke.
NAME LOCATION MASTER_VERSION MASTER_IP MACHINE_TYPE NODE_VERSION NUM_NODES STATUS STACK_TYPE
alloydb-ai-gke us-east4 1.36.4-gke.1391002 34.145.214.51 ek-standard-8 1.36.4-gke.1391002 3 RUNNING IPV4
Chuẩn bị cụm
Cài đặt các thành phần bắt buộc như cert-manager, trình kiểm soát chứng chỉ cho Kubernetes. Để biết thông tin chi tiết, hãy xem tài liệu cài đặt cert-manager.
Cloud Shell bao gồm công cụ dòng lệnh Kubernetes kubectl và helm. Lấy thông tin đăng nhập của cụm bằng gcloud:
gcloud container clusters get-credentials ${CLUSTER_NAME} --region=${LOCATION}
Cài đặt cert-manager bằng helm:
helm install \
cert-manager oci://quay.io/jetstack/charts/cert-manager \
--version v1.21.2 \
--namespace cert-manager \
--create-namespace \
--set featureGates="ServerSideApply=true" \
--set global.leaderElection.namespace=cert-manager \
--set "extraArgs={--certificate-request-minimum-backoff-duration=15s,--certificate-request-maximum-backoff-duration=5m}" \
--set crds.enabled=true
Kết quả dự kiến trên bảng điều khiển (đã loại bỏ thông tin nhạy cảm):
student@cloudshell:~$ elm install \
> cert-manager oci://quay.io/jetstack/charts/cert-manager \
> --version v1.21.2 \
> --namespace cert-manager \
> --create-namespace \
> --set featureGates="ServerSideApply=true" \
> --set global.leaderElection.namespace=cert-manager \
> --set "extraArgs={--certificate-request-minimum-backoff-duration=15s,--certificate-request-maximum-backoff-duration=5m}" \
> --set crds.enabled=true
Pulled: quay.io/jetstack/charts/cert-manager:v1.21.2
Digest: sha256:634dce9c13b56677a2c05e2ab76c312d0be2664022d5dd05815da67e1fd5f610
I1016 12:25:06.128464 30644 warnings.go:107] "Warning: autopilot-default-resources-mutator:Autopilot updated Deployment cert-manager/cert-manager-cainjector: defaulted unspecified 'cpu' resource for containers [cert-manager-cainjector] (see http://g.co/gke/autopilot-defaults)."
I1016 12:25:06.129972 30644 warnings.go:107] "Warning: autopilot-default-resources-mutator:Autopilot updated Deployment cert-manager/cert-manager: defaulted unspecified 'cpu' resource for containers [cert-manager-controller] (see http://g.co/gke/autopilot-defaults)."
I1016 12:25:06.134580 30644 warnings.go:107] "Warning: autopilot-default-resources-mutator:Autopilot updated Deployment cert-manager/cert-manager-webhook: defaulted unspecified 'cpu' resource for containers [cert-manager-webhook] (see http://g.co/gke/autopilot-defaults)."
I1016 12:25:06.250590 30644 warnings.go:107] "Warning: AdmissionWebhookController: mutated namespaceselector of the webhooks to enforce GKE Autopilot policies."
I1016 12:25:09.758249 30644 warnings.go:107] "Warning: autopilot-default-resources-mutator:Autopilot updated Job cert-manager/cert-manager-startupapicheck: defaulted unspecified 'cpu' resource for containers [cert-manager-startupapicheck] (see http://g.co/gke/autopilot-defaults)."
NAME: cert-manager
LAST DEPLOYED: Fri Oct 16 12:24:57 2026
NAMESPACE: cert-manager
STATUS: deployed
REVISION: 1
DESCRIPTION: Install complete
TEST SUITE: None
NOTES:
cert-manager v1.21.2 has been deployed successfully!
Cài đặt toán tử AlloyDB Omni
Cài đặt toán tử AlloyDB Omni bằng Helm.
Tải xuống và cài đặt biểu đồ toán tử AlloyDB Omni:
helm install alloydbomni-operator oci://gcr.io/alloydb-omni/alloydbomni-operator \
--version 1.9.0 \
--create-namespace \
--namespace alloydb-omni-system \
$(helm install --help | grep -q -- '--rollback-on-failure' && echo '--rollback-on-failure' || echo '--atomic') \
--timeout 5m
Kết quả dự kiến trên bảng điều khiển (đã loại bỏ thông tin nhạy cảm):
student@cloudshell:~$ helm install alloydbomni-operator oci://gcr.io/alloydb-omni/alloydbomni-operator \ > --version 1.9.0 \ > --create-namespace \ > --namespace alloydb-omni-system \ > $(helm install --help | grep -q -- '--rollback-on-failure' && echo '--rollback-on-failure' || echo '--atomic') \ > --timeout 5m Pulled: gcr.io/alloydb-omni/alloydbomni-operator:1.9.0 Digest: sha256:4f6cc3f0c1fbe003ab7d0119afee516e5c67ec950cd2909b418e5a3f6f09d1f6 I1016 12:28:50.088533 30982 warnings.go:107] "Warning: autopilot-default-resources-mutator:Autopilot updated Deployment alloydb-omni-system/fleet-controller-manager: adjusted 'cpu' resource to meet requirements for containers [fleet-manager] (see http://g.co/gke/autopilot-defaults)." I1016 12:28:50.092917 30982 warnings.go:107] "Warning: autopilot-default-resources-mutator:Autopilot updated Deployment alloydb-omni-system/local-controller-manager: adjusted 'cpu' resource to meet requirements for containers [local-manager] (see http://g.co/gke/autopilot-defaults)." I1016 12:28:50.229717 30982 warnings.go:107] "Warning: AdmissionWebhookController: mutated namespaceselector of the webhooks to enforce GKE Autopilot policies." I1016 12:28:50.238578 30982 warnings.go:107] "Warning: AdmissionWebhookController: mutated namespaceselector of the webhooks to enforce GKE Autopilot policies." NAME: alloydbomni-operator LAST DEPLOYED: Fri Oct 16 12:28:45 2026 NAMESPACE: alloydb-omni-system STATUS: deployed REVISION: 1 DESCRIPTION: Install complete TEST SUITE: None
Triển khai cụm cơ sở dữ liệu.
Tệp kê khai sau đây định cấu hình một cụm cơ sở dữ liệu có bật googleMLExtension và một trình cân bằng tải nội bộ:
cat << 'EOF' > my-omni.yaml
apiVersion: v1
kind: Secret
metadata:
name: db-pw-my-omni
type: Opaque
data:
my-omni: "VmVyeVN0cm9uZ1Bhc3N3b3Jk"
---
apiVersion: alloydbomni.dbadmin.goog/v1
kind: DBCluster
metadata:
name: my-omni
spec:
databaseVersion: "18.4.0"
primarySpec:
adminUser:
passwordRef:
name: db-pw-my-omni
features:
googleMLExtension:
enabled: true
resources:
cpu: 1
memory: 8Gi
disks:
- name: DataDisk
size: 20Gi
dbLoadBalancerOptions:
annotations:
networking.gke.io/load-balancer-type: "internal"
allowExternalIncomingTraffic: true
EOF
Giá trị bí mật của mật khẩu là giá trị biểu thị Base64 của VeryStrongPassword. Trong môi trường thực tế, hãy sử dụng Google Secret Manager để quản lý mật khẩu. Để biết thông tin chi tiết, hãy xem tài liệu về Secret Manager.
Tệp kê khai được lưu dưới dạng my-omni.yaml. Trong Cloud Shell, hãy nhấp vào Open Editor (Mở trình chỉnh sửa) ở góc trên cùng bên phải của cửa sổ dòng lệnh rồi đọc tệp.

Sau khi đọc tệp kê khai my-omni.yaml, hãy nhấp vào Open Terminal (Mở Terminal) để quay lại dấu nhắc lệnh.

Áp dụng tệp kê khai my-omni.yaml:
kubectl apply -f my-omni.yaml
Kết quả dự kiến trên bảng điều khiển:
secret/db-pw-my-omni created dbcluster.alloydbomni.dbadmin.goog/my-omni created
Kiểm tra trạng thái của cụm my-omni:
kubectl get dbclusters.alloydbomni.dbadmin.goog my-omni -n default
Trong quá trình triển khai, cụm cơ sở dữ liệu sẽ chuyển đổi qua các giai đoạn thiết lập cho đến khi đạt đến trạng thái DBClusterReady.
Kết quả dự kiến trên bảng điều khiển:
$ kubectl get dbclusters.alloydbomni.dbadmin.goog my-omni -n default NAME PRIMARYENDPOINT PRIMARYPHASE DBCLUSTERPHASE HAREADYSTATUS HAREADYREASON my-omni 10.131.0.33 Ready DBClusterReady
Bạn có thể tuỳ ý giám sát quá trình triển khai cụm bằng lệnh kubectl log:
kubectl logs -l alloydbomni.internal.dbadmin.goog/dbcluster=my-omni --all-containers -f
Kết nối với AlloyDB Omni
Khi cụm đã sẵn sàng, hãy kết nối với nhóm cơ sở dữ liệu bằng ứng dụng PostgreSQL (psql). Mật khẩu là VeryStrongPassword như được xác định trong my-omni.yaml:
DB_CLUSTER_NAME=my-omni
DB_CLUSTER_NAMESPACE=default
DBPOD=`kubectl get pod --selector=alloydbomni.internal.dbadmin.goog/dbcluster=$DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -n $DB_CLUSTER_NAMESPACE -o jsonpath='{.items[0].metadata.name}'`
kubectl exec -ti $DBPOD -n $DB_CLUSTER_NAMESPACE -c database -- psql -h localhost -U postgres
Kết quả mẫu trên bảng điều khiển:
DB_CLUSTER_NAME=my-omni
DB_CLUSTER_NAMESPACE=default
DBPOD=`kubectl get pod --selector=alloydbomni.internal.dbadmin.goog/dbcluster=$DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -n $DB_CLUSTER_NAMESPACE -o jsonpath='{.items[0].metadata.name}'`
kubectl exec -ti $DBPOD -n $DB_CLUSTER_NAMESPACE -c database -- psql -h localhost -U postgres
Password for user postgres:
psql (18.4)
SSL connection (protocol: TLSv1.3, cipher: TLS_AES_128_GCM_SHA256, compression: off, ALPN: postgresql)
Type "help" for help.
postgres=#
Thoát khỏi phiên psql bằng cách nhập \q rồi nhấn Enter:
postgres=# \q
5. Triển khai mô hình EmbeddingGemma trên GKE
Để kiểm thử khả năng tích hợp AI của AlloyDB Omni với các mô hình cục bộ, hãy triển khai một mô hình nhúng vào cụm GKE. Hướng dẫn này sử dụng mô hình EmbeddingGemma của Google.
Lấy mã thông báo Hugging Face
Hướng dẫn này triển khai mô hình EmbeddingGemma từ Hugging Face. Để truy cập vào trọng số mô hình, hãy tạo mã truy cập Hugging Face:
- Đăng nhập hoặc tạo tài khoản trên Hugging Face.
- Chuyển đến Your Profile (Hồ sơ của bạn) > Access Tokens (Mã truy cập).
- Nhấp vào Tạo mã thông báo mới.
- Nhập tên cho mã thông báo rồi chọn vai trò Đọc.
- Nhấp vào Tạo mã thông báo rồi sao chép giá trị mã thông báo đã tạo.
- Chấp nhận các điều khoản của mô hình trên trang mô hình EmbeddingGemma nếu bạn chưa làm việc này.
Tạo một khoá bí mật Kubernetes chứa mã thông báo Hugging Face trong Cloud Shell (thay thế phần giữ chỗ mã thông báo bằng mã thông báo của bạn):
export HF_TOKEN=<YOUR_HUGGING_FACE_TOKEN>
kubectl create secret generic hf-secret \
--from-literal=hf_api_token=$HF_TOKEN \
--dry-run=client -o yaml | kubectl apply -f -
Chuẩn bị tệp kê khai triển khai
Để triển khai mô hình, hãy sử dụng gói vùng chứa Text Embeddings Inference (TEI) của Hugging Face. Để biết thêm thông tin, hãy xem tài liệu về Hugging Face GKE TEI.
Sao chép kho lưu trữ triển khai trên GitHub:
git clone https://github.com/huggingface/Google-Cloud-Containers
Kiểm tra và sửa đổi tệp kê khai cấu hình CPU:
edit Google-Cloud-Containers/examples/gke/tei-deployment/cpu-config/deployment.yaml
Tệp kê khai bản cập nhật cho quá trình triển khai CPU:
apiVersion: apps/v1
kind: Deployment
metadata:
name: tei-deployment
spec:
replicas: 1
selector:
matchLabels:
app: tei-server
template:
metadata:
labels:
app: tei-server
hf.co/model: Google--embeddinggemma-300m
hf.co/task: text-embeddings
spec:
containers:
- name: tei-container
image: ghcr.io/huggingface/text-embeddings-inference:cpu-latest
resources:
requests:
cpu: "6"
memory: "24Gi"
limits:
cpu: "6"
memory: "24Gi"
env:
- name: MODEL_ID
value: google/embeddinggemma-300m
- name: NUM_SHARD
value: "1"
- name: PORT
value: "8080"
- name: HF_TOKEN
valueFrom:
secretKeyRef:
name: hf-secret
key: hf_api_token
volumeMounts:
- mountPath: /tmp
name: tmp
volumes:
- name: tmp
emptyDir: {}
nodeSelector:
cloud.google.com/machine-family: "c3"
Lưu các thay đổi bằng cách nhấn ctrl+s rồi chuyển về thiết bị đầu cuối.
Triển khai mô hình
Áp dụng tệp kê khai để triển khai máy chủ TEI:
kubectl apply -f Google-Cloud-Containers/examples/gke/tei-deployment/cpu-config
Theo dõi quá trình triển khai cho đến khi quá trình này ở trạng thái sẵn sàng:
printf "Waiting for model to load..."; until kubectl logs -l app=tei-server --tail=50 2>/dev/null | grep -q "Ready"; do printf "."; sleep 3; done; printf '\n\033[1;32m========================================\n[SUCCESS] Model is loaded and ready!\nYou can now proceed to the next step.\n========================================\033[0m\n'
Kiểm tra dịch vụ Kubernetes tei-service:
kubectl get service tei-service
Kết quả đầu ra dự kiến:
student@cloudshell$ kubectl get service tei-service NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE tei-service ClusterIP 34.118.233.48 <none> 8080/TCP 10m
Dịch vụ CLUSTER-IP phân phát các yêu cầu trong nội bộ tại http://34.118.233.48:8080/embed.
Kiểm thử điểm cuối của mô hình trên máy bằng kubectl port-forward:
kubectl port-forward service/tei-service 8080:8080
Mở thẻ Cloud Shell thứ hai bằng cách nhấp vào dấu + ở đầu cửa sổ dòng lệnh:

Trong thẻ mới, hãy kiểm thử việc tạo mục nhúng bằng curl:
curl http://localhost:8080/embed \
-X POST \
-d '{"inputs":"Test"}' \
-H 'Content-Type: application/json'
Kết quả đầu ra dự kiến (mảng vectơ):
curl http://localhost:8080/embed \
> -X POST \
> -d '{"inputs":"Test"}' \
> -H 'Content-Type: application/json'
[[-0.018975832,0.0071419072,0.06347208,0.022992613,0.014205903
...
-0.03677433,0.01636146,0.06731572]]
Dừng chuyển tiếp cổng trong thẻ đầu tiên bằng cách nhấn tổ hợp phím ctrl+c.
6. Đăng ký mô hình nhúng trong AlloyDB Omni
Để sử dụng mô hình đã triển khai từ AlloyDB Omni, hãy tạo một cơ sở dữ liệu, xác định các hàm biến đổi và đăng ký điểm cuối của mô hình.
Tạo máy ảo và cơ sở dữ liệu của ứng dụng khách
Tạo một phiên bản máy ảo Compute Engine trong cùng một VPC để đóng vai trò là máy chủ nhảy của máy khách:

Trong Cloud Shell, hãy tạo máy ảo ứng dụng:
export ZONE=${LOCATION}-a
gcloud compute instances create instance-1 \
--zone=$ZONE
Lấy IP điểm cuối của AlloyDB Omni:
echo "INSTANCE_IP=$(kubectl get dbclusters.alloydbomni.dbadmin.goog my-omni -n default -o jsonpath='{.status.primary.endpoint}')"
Kết quả đầu ra dự kiến:
INSTANCE_IP=10.128.0.33
Giá trị INSTANCE_IP là IP của trình cân bằng tải nội bộ cho cụm AlloyDB Omni. Trong ví dụ này, thuộc tính đó là 10.131.0.33.
Kết nối với phiên bản máy ảo bằng SSH:
gcloud compute ssh instance-1 --zone=$ZONE
Trong phiên SSH trên instance-1, hãy cài đặt ứng dụng PostgreSQL:
sudo apt-get update && sudo apt-get install --yes postgresql-client
Xuất IP của trình cân bằng tải AlloyDB Omni (thay thế bằng IP PRIMARYENDPOINT của bạn):
export INSTANCE_IP=10.131.0.33
Kết nối với AlloyDB Omni bằng psql (mật khẩu là VeryStrongPassword):
psql "host=$INSTANCE_IP user=postgres sslmode=require"
Trong phiên psql, hãy tạo cơ sở dữ liệu demo:
CREATE DATABASE demo;
Chuyển sang cơ sở dữ liệu demo:
\c demo
Tạo hàm biến đổi
Các điểm cuối nhúng tuỳ chỉnh cần có hàm biến đổi đầu vào và đầu ra để điều chỉnh định dạng dữ liệu giữa AlloyDB Omni và API mô hình.
Tạo hàm biến đổi dữ liệu đầu vào:
CREATE OR REPLACE FUNCTION tei_text_input_transform(model_id VARCHAR(100), input_text TEXT)
RETURNS JSON
LANGUAGE plpgsql
AS $$
DECLARE
transformed_input JSON;
BEGIN
SELECT json_build_object('inputs', input_text, 'truncate', true)::JSON INTO transformed_input;
RETURN transformed_input;
END;
$$;
Kết quả đầu ra dự kiến:
demo=# CREATE OR REPLACE FUNCTION tei_text_input_transform(model_id VARCHAR(100), input_text TEXT)
RETURNS JSON
LANGUAGE plpgsql
AS $$
DECLARE
transformed_input JSON;
BEGIN
SELECT json_build_object('inputs', input_text, 'truncate', true)::JSON INTO transformed_input;
RETURN transformed_input;
END;
$$;
CREATE FUNCTION
demo=#
Tạo hàm biến đổi đầu ra để phân tích cú pháp phản hồi của mảng vectơ:
CREATE OR REPLACE FUNCTION tei_text_output_transform(model_id VARCHAR(100), response_json JSON)
RETURNS REAL[]
LANGUAGE plpgsql
AS $$
DECLARE
transformed_output REAL[];
BEGIN
SELECT ARRAY(SELECT json_array_elements_text(response_json->0)) INTO transformed_output;
RETURN transformed_output;
END;
$$;
Kết quả đầu ra dự kiến:
demo=# CREATE OR REPLACE FUNCTION tei_text_output_transform(model_id VARCHAR(100), response_json JSON) RETURNS REAL[] LANGUAGE plpgsql AS $$ DECLARE transformed_output REAL[]; BEGIN SELECT ARRAY(SELECT json_array_elements_text(response_json->0)) INTO transformed_output; RETURN transformed_output; END; $$; CREATE FUNCTION demo=#
Đăng ký mô hình
Đăng ký mô hình trong AlloyDB Omni bằng quy trình google_ml.create_model. Chỉ định http://tei-service:8080/embed làm model_request_url để định tuyến các yêu cầu đến dịch vụ cụm Kubernetes:
CALL
google_ml.create_model(
model_id => 'embeddinggemma',
model_request_url => 'http://tei-service:8080/embed',
model_provider => 'custom',
model_type => 'text_embedding',
model_in_transform_fn => 'tei_text_input_transform',
model_out_transform_fn => 'tei_text_output_transform');
Kết quả đầu ra dự kiến:
demo=# CALL
google_ml.create_model(
model_id => 'embeddinggemma',
model_request_url => 'http://tei-service:8080/embed',
model_provider => 'custom',
model_type => 'text_embedding',
model_in_transform_fn => 'tei_text_input_transform',
model_out_transform_fn => 'tei_text_output_transform');
CALL
demo=#
Kiểm thử mô hình đã đăng ký bằng một truy vấn SQL mẫu:
SELECT google_ml.embedding('embeddinggemma', 'What is AlloyDB Omni?');
Hàm này trả về mảng số thực được tạo bởi mô hình EmbeddingGemma cục bộ chạy trên GKE.
Nhấn q để quay lại câu lệnh của phiên psql.
Thoát khỏi phiên psql:
\q
7. Kiểm thử mô hình bằng dữ liệu được lấy mẫu
Tải dữ liệu mẫu
Hướng dẫn này sử dụng tập dữ liệu bán lẻ của Cymbal để minh hoạ tính năng tìm kiếm vectơ tương đồng. Bạn sẽ sử dụng SDK Google Cloud và ứng dụng PostgreSQL để nhập dữ liệu vào AlloyDB Omni.
Trong phiên SSH trên instance-1, hãy kết nối với cơ sở dữ liệu minh hoạ và bật tiện ích vector:
psql "host=$INSTANCE_IP user=postgres sslmode=require dbname=demo"
Trong phiên psql:
CREATE EXTENSION IF NOT EXISTS vector;
Thoát khỏi phiên psql:
\q
Tải xuống và áp dụng giản đồ để tạo bảng trong cơ sở dữ liệu demo:
gcloud storage cat gs://cloud-training/gcc/gcc-tech-004/cymbal_demo_schema.sql |psql "host=$INSTANCE_IP user=postgres dbname=demo"
Kết quả đầu ra dự kiến:
student@cloudshell:~$ gcloud storage cat gs://cloud-training/gcc/gcc-tech-004/cymbal_demo_schema.sql |psql "host=$INSTANCE_IP user=postgres dbname=demo" Password for user postgres: SET SET SET SET SET set_config ------------ (1 row) SET SET SET SET SET SET CREATE TABLE ALTER TABLE CREATE TABLE ALTER TABLE CREATE TABLE ALTER TABLE CREATE TABLE ALTER TABLE CREATE SEQUENCE ALTER TABLE ALTER SEQUENCE ALTER TABLE ALTER TABLE ALTER TABLE student@cloudshell:~$
Xác minh các bảng đã tạo:
psql "host=$INSTANCE_IP user=postgres dbname=demo" -c "\dt+"
Kết quả đầu ra dự kiến:
student@cloudshell:~$ psql "host=$INSTANCE_IP user=postgres dbname=demo" -c "\dt+"
Password for user postgres:
List of relations
Schema | Name | Type | Owner | Persistence | Access method | Size | Description
--------+------------------+-------+----------+-------------+---------------+------------+-------------
public | cymbal_embedding | table | postgres | permanent | heap | 8192 bytes |
public | cymbal_inventory | table | postgres | permanent | heap | 8192 bytes |
public | cymbal_products | table | postgres | permanent | heap | 8192 bytes |
public | cymbal_stores | table | postgres | permanent | heap | 8192 bytes |
(4 rows)
Tải dữ liệu vào bảng cymbal_products:
gcloud storage cat gs://cloud-training/gcc/gcc-tech-004/cymbal_products.csv |psql "host=$INSTANCE_IP user=postgres dbname=demo" -c "\copy cymbal_products from stdin csv header"
Kết quả đầu ra dự kiến:
student@cloudshell:~$ gcloud storage cat gs://cloud-training/gcc/gcc-tech-004/cymbal_products.csv |psql "host=$INSTANCE_IP user=postgres dbname=demo" -c "\copy cymbal_products from stdin csv header" COPY 941 student@cloudshell:~$
Sau đây là một vài hàng mẫu trong bảng cymbal_products.
psql "host=$INSTANCE_IP user=postgres dbname=demo" -c "SELECT uniq_id,left(product_name,30),left(product_description,50),sale_price FROM cymbal_products limit 3"
Kết quả đầu ra dự kiến:
student@cloudshell:~$ psql "host=$INSTANCE_IP user=postgres dbname=demo" -c "SELECT uniq_id,left(product_name,30),left(product_description,50),sale_price FROM cymbal_products limit 3"
Password for user postgres:
uniq_id | left | left | sale_price
----------------------------------+--------------------------------+----------------------------------------------------+------------
a73d5f754f225ecb9fdc64232a57bc37 | Laundry Tub Strainer Cup | Laundry tub strainer cup Chrome For 1-.50, drain | 11.74
41b8993891aa7d39352f092ace8f3a86 | LED Starry Star Night Light La | LED Starry Star Night Light Laser Projector 3D Oc | 46.97
ed4a5c1b02990a1bebec908d416fe801 | Surya Horizon HRZ-1060 Area Ru | The 100% polypropylene construction of the Surya | 77.4
(3 rows)
student@cloudshell:~$
Tải dữ liệu vào bảng cymbal_inventory:
gcloud storage cat gs://cloud-training/gcc/gcc-tech-004/cymbal_inventory.csv |psql "host=$INSTANCE_IP user=postgres dbname=demo" -c "\copy cymbal_inventory from stdin csv header"
Kết quả đầu ra dự kiến:
student@cloudshell:~$ gcloud storage cat gs://cloud-training/gcc/gcc-tech-004/cymbal_inventory.csv |psql "host=$INSTANCE_IP user=postgres dbname=demo" -c "\copy cymbal_inventory from stdin csv header" Password for user postgres: COPY 263861 student@cloudshell:~$
Sau đây là một vài hàng mẫu trong bảng cymbal_inventory.
psql "host=$INSTANCE_IP user=postgres dbname=demo" -c "SELECT * FROM cymbal_inventory LIMIT 3"
Kết quả:
student@cloudshell:~$ psql "host=$INSTANCE_IP user=postgres dbname=demo" -c "SELECT * FROM cymbal_inventory LIMIT 3"
Password for user postgres:
store_id | uniq_id | inventory
----------+----------------------------------+-----------
1583 | adc4964a6138d1148b1d98c557546695 | 5
1490 | adc4964a6138d1148b1d98c557546695 | 4
1492 | adc4964a6138d1148b1d98c557546695 | 3
(3 rows)
student@cloudshell:~$
Tải dữ liệu vào bảng cymbal_stores:
gcloud storage cat gs://cloud-training/gcc/gcc-tech-004/cymbal_stores.csv |psql "host=$INSTANCE_IP user=postgres dbname=demo" -c "\copy cymbal_stores from stdin csv header"
Kết quả dự kiến trên bảng điều khiển:
student@cloudshell:~$ gcloud storage cat gs://cloud-training/gcc/gcc-tech-004/cymbal_stores.csv |psql "host=$INSTANCE_IP user=postgres dbname=demo" -c "\copy cymbal_stores from stdin csv header" Password for user postgres: COPY 4654 student@cloudshell:~$
Sau đây là một vài hàng mẫu trong bảng cymbal_stores.
psql "host=$INSTANCE_IP user=postgres dbname=demo" -c "SELECT store_id, name, zip_code FROM cymbal_stores limit 3"
Kết quả:
student@cloudshell:~$ psql "host=$INSTANCE_IP user=postgres dbname=demo" -c "SELECT store_id, name, zip_code FROM cymbal_stores limit 3"
Password for user postgres:
store_id | name | zip_code
----------+-------------------+----------
1990 | Mayaguez Store | 680
2267 | Ware Supercenter | 1082
4359 | Ponce Supercenter | 780
(3 rows)
student@cloudshell:~$
Tạo các mục nhúng
Kết nối với cơ sở dữ liệu minh hoạ bằng psql và tạo các mục nhúng cho sản phẩm được mô tả trong bảng cymbal_products dựa trên nội dung mô tả sản phẩm.
Kết nối với cơ sở dữ liệu minh hoạ:
psql "host=$INSTANCE_IP user=postgres sslmode=require dbname=demo"
Sử dụng cột embedding thuộc loại vector để lưu trữ các mục nhúng văn bản do AI tạo cho nội dung mô tả sản phẩm.
Bật tính năng đo thời gian truy vấn:
\timing
Tạo các mục nhúng cho từng nội dung mô tả sản phẩm và lưu trữ các mục đó trong bảng cymbal_embedding:
INSERT INTO cymbal_embedding (uniq_id, embedding)
SELECT uniq_id, google_ml.embedding('embeddinggemma', product_description)::vector
FROM cymbal_products;
Kết quả đầu ra dự kiến:
demo=# INSERT INTO cymbal_embedding(uniq_id,embedding) SELECT uniq_id, google_ml.embedding('embeddinggemma',product_description)::vector FROM cymbal_products;
INSERT 0 941
Time: 497878.136 ms (08:17.878)
demo=#
Chạy truy vấn tìm kiếm ngữ nghĩa
Trong phiên psql, hãy tìm 5 sản phẩm hàng đầu phù hợp với câu hỏi "What kind of fruit trees grow well here?" bằng cách sử dụng khoảng cách cosin (<=>):
SELECT
cp.product_name,
left(cp.product_description, 80) AS description,
cp.sale_price,
cs.zip_code,
(ce.embedding <=> google_ml.embedding('embeddinggemma', 'What kind of fruit trees grow well here?')::vector) AS distance
FROM
cymbal_products cp
JOIN cymbal_embedding ce ON ce.uniq_id = cp.uniq_id
JOIN cymbal_inventory ci ON ci.uniq_id = cp.uniq_id
JOIN cymbal_stores cs ON cs.store_id = ci.store_id
WHERE
ci.inventory > 0
AND cs.store_id = 1583
ORDER BY
distance ASC
LIMIT 5;
Kết quả đầu ra dự kiến:
demo=# SELECT
cp.product_name,
left(cp.product_description,80) as description,
cp.sale_price,
cs.zip_code,
(ce.embedding <=> google_ml.embedding('embeddinggemma','What kind of fruit trees grow well here?')::vector) as distance
FROM
cymbal_products cp
JOIN cymbal_embedding ce on ce.uniq_id=cp.uniq_id
JOIN cymbal_inventory ci on ci.uniq_id=cp.uniq_id
JOIN cymbal_stores cs on cs.store_id=ci.store_id
WHERE
ci.inventory > 0
AND cs.store_id = 1583
ORDER BY
distance ASC
LIMIT 5;
product_name | description | sale_price | zip_code | distance
-----------------------+----------------------------------------------------------------------------------+------------+----------+--------------------
Cherry Tree | This is a beautiful cherry tree that will produce delicious cherries. It is an d | 75.00 | 93230 | 0.5210549378080666
California Lilac | This is a beautiful lilac tree that can grow to be over 10 feet tall. It is an d | 5.00 | 93230 | 0.5639421771781971
Toyon | This is a beautiful toyon tree that can grow to be over 20 feet tall. It is an e | 10.00 | 93230 | 0.5670010914504852
Rose Bush | This is a beautiful rose bush that will produce fragrant roses. It is a perennia | 50.00 | 93230 | 0.5731542622882957
California Peppertree | This is a beautiful peppertree that can grow to be over 30 feet tall. It is an e | 25.00 | 93230 | 0.5750934653011995
(5 rows)
Time: 83.610 ms
demo=#
Truy vấn chạy trong 83 mili giây và trả về danh sách cây từ bảng cymbal_products khớp với yêu cầu và có hàng tồn kho trong cửa hàng có số 1583.
Tạo chỉ mục ANN
Với một tập dữ liệu nhỏ, bạn có thể dễ dàng sử dụng tính năng tìm kiếm chính xác để quét tất cả các mục nhúng, nhưng khi dữ liệu tăng lên thì thời gian tải và phản hồi cũng tăng theo. Để cải thiện hiệu suất, bạn có thể tạo chỉ mục trên dữ liệu nhúng. Sau đây là ví dụ về cách thực hiện bằng cách sử dụng chỉ mục Google ScaNN cho dữ liệu vectơ.
Kết nối lại với cơ sở dữ liệu minh hoạ nếu bạn bị mất kết nối:
psql "host=$INSTANCE_IP user=postgres sslmode=require dbname=demo"
Bật tiện ích alloydb_scann:
CREATE EXTENSION IF NOT EXISTS alloydb_scann;
Tạo chỉ mục ScaNN trên cột embedding:
CREATE INDEX cymbal_products_embeddings_scann ON cymbal_embedding
USING scann (embedding cosine)
WITH (num_leaves=10, max_num_levels = 1);
Chạy lại truy vấn tìm kiếm ngữ nghĩa để so sánh hiệu suất thực thi:
SELECT
cp.product_name,
left(cp.product_description, 80) AS description,
cp.sale_price,
cs.zip_code,
(ce.embedding <=> google_ml.embedding('embeddinggemma', 'What kind of fruit trees grow well here?')::vector) AS distance
FROM
cymbal_products cp
JOIN cymbal_embedding ce ON ce.uniq_id = cp.uniq_id
JOIN cymbal_inventory ci ON ci.uniq_id = cp.uniq_id
JOIN cymbal_stores cs ON cs.store_id = ci.store_id
WHERE
ci.inventory > 0
AND cs.store_id = 1583
ORDER BY
distance ASC
LIMIT 5;
Kết quả đầu ra dự kiến:
demo=# SELECT
cp.product_name,
left(cp.product_description,80) as description,
cp.sale_price,
cs.zip_code,
(ce.embedding <=> google_ml.embedding('embeddinggemma', 'What kind of fruit trees grow well here?')::vector) AS distance
FROM
cymbal_products cp
JOIN cymbal_embedding ce ON ce.uniq_id = cp.uniq_id
JOIN cymbal_inventory ci ON ci.uniq_id = cp.uniq_id
JOIN cymbal_stores cs ON cs.store_id = ci.store_id
WHERE
ci.inventory > 0
AND cs.store_id = 1583
ORDER BY
distance ASC
LIMIT 5;
product_name | description | sale_price | zip_code | distance
-----------------------+----------------------------------------------------------------------------------+------------+----------+--------------------
Cherry Tree | This is a beautiful cherry tree that will produce delicious cherries. It is an d | 75.00 | 93230 | 0.5210549378080666
California Lilac | This is a beautiful lilac tree that can grow to be over 10 feet tall. It is an d | 5.00 | 93230 | 0.5639421771781971
Toyon | This is a beautiful toyon tree that can grow to be over 20 feet tall. It is an e | 10.00 | 93230 | 0.5670010914504852
Rose Bush | This is a beautiful rose bush that will produce fragrant roses. It is a perennia | 50.00 | 93230 | 0.5731542622882957
California Peppertree | This is a beautiful peppertree that can grow to be over 30 feet tall. It is an e | 25.00 | 93230 | 0.5750934653011995
(5 rows)
Time: 64.783 ms
Thời gian thực thi truy vấn đã giảm một chút và mức tăng sẽ dễ nhận thấy hơn với các tập dữ liệu lớn hơn. Dữ liệu được trả về phải giống hoặc rất giống với dữ liệu chúng ta nhận được mà không có chỉ mục.
Hãy thử các truy vấn khác và đọc thêm về cách tối ưu hoá chỉ mục vectơ trong tài liệu.
Thoát khỏi phiên psql:
\q
Quay lại Google Cloud Shell bằng cách ngắt kết nối khỏi phiên ssh instance-1, nhấn tổ hợp phím CTRL+D hoặc nhập exit.
8. Triển khai Gemma bằng vLLM
Thêm bộ nút cho Gemma
Trước tiên, hãy kiểm tra xem những loại nút nào có sẵn ở khu vực của bạn:
gcloud compute accelerator-types list --filter="zone:${LOCATION}"
Bạn sẽ thấy danh sách các loại trình tăng tốc hiện có, bao gồm cả trình tăng tốc nvidia-l4.
Tạo tệp kê khai triển khai cho mô hình Google Gemini 4 12B bằng vLLM:
cat << 'EOF' > gemma-12b-gpu-vllm-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: gemma-12b-gpu-vllm-deployment
spec:
replicas: 1
selector:
matchLabels:
app: gemma-12b-gpu-vllm
template:
metadata:
labels:
app: gemma-12b-gpu-vllm
ai.gke.io/model: gemma-4-12b-it
ai.gke.io/inference-server: vllm
examples.ai.gke.io/source: user-guide
spec:
containers:
- name: inference-server
image: us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:latest
resources:
requests:
cpu: "4"
memory: "16Gi"
ephemeral-storage: "30Gi"
nvidia.com/gpu: "1"
limits:
cpu: "8"
memory: "24Gi"
ephemeral-storage: "30Gi"
nvidia.com/gpu: "1"
command: ["python3", "-m", "vllm.entrypoints.api_server"]
args:
- --model=$(MODEL_ID)
- --host=0.0.0.0
- --port=8000
- --tensor-parallel-size=1
- --enable-log-requests
- --enable-chunked-prefill
- --enable-prefix-caching
- --enable-auto-tool-choice
- --generation-config=auto
- --tool-call-parser=gemma4
- --dtype=bfloat16
- --max-num-seqs=16
- --max-model-len=32768
- --gpu-memory-utilization=0.95
- --reasoning-parser=gemma4
- --trust-remote-code
- --quantization=fp8
env:
- name: LD_LIBRARY_PATH
value: ${LD_LIBRARY_PATH}:/usr/local/nvidia/lib64
- name: MODEL_ID
value: google/gemma-4-12b-it
- name: HF_TOKEN
valueFrom:
secretKeyRef:
name: hf-secret
key: hf_api_token
volumeMounts:
- mountPath: /dev/shm
name: dshm
volumes:
- name: dshm
emptyDir:
medium: Memory
nodeSelector:
cloud.google.com/gke-accelerator: nvidia-l4
cloud.google.com/gke-gpu-driver-version: latest
---
apiVersion: v1
kind: Service
metadata:
name: gemma-12b-gpu-vllm-service
spec:
selector:
app: gemma-12b-gpu-vllm
type: ClusterIP
ports:
- protocol: TCP
port: 8000
targetPort: 8000
EOF
Áp dụng bản triển khai gemma-12b-gpu-vllm-deployment.yaml đã lưu:
kubectl apply -f gemma-12b-gpu-vllm-deployment.yaml
Kết quả đầu ra dự kiến:
$ kubectl apply -f gemma-12b-gpu-vllm-deployment.yaml deployment.apps/gemma-12b-gpu-vllm-deployment created service/gemma-12b-gpu-vllm-service created
Chờ cho đến khi quá trình triển khai hoàn tất và mô hình được tải. Quá trình này có thể mất vài phút.
printf "Waiting for model to load..."; until kubectl logs -l app=gemma-12b-gpu-vllm --tail=50 2>/dev/null | grep -q "Application startup complete"; do printf "."; sleep 3; done; printf '\n\033[1;32m========================================\n[SUCCESS] Model is loaded and ready!\nYou can now proceed to the next step.\n========================================\033[0m\n'
Kết quả đầu ra dự kiến:
Waiting for model to load... ======================================== [SUCCESS] Model is loaded and ready! You can now proceed to the next step. ========================================
Kiểm thử mô hình. Bật tính năng chuyển tiếp cổng để truy cập vào mô hình:
kubectl port-forward svc/gemma-12b-gpu-vllm-service 8090:8000
Trong một cửa sổ dòng lệnh khác, hãy dùng curl để gửi câu lệnh đến mô hình:
curl http://localhost:8090/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"messages": [
{"role": "system", "content": "You are a helpful assistant running on GKE."},
{"role": "user", "content": "What is AlloyDB Omni."}
],
"temperature": 0.7
}' | jq -r '.choices[0].message.content'
Kết quả đầu ra dự kiến:
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 3957 100 3761 100 196 85 4 0:00:49 0:00:43 0:00:06 830
**AlloyDB Omni** is a fully managed, PostgreSQL-compatible database engine from Google Cloud that can be run **on-premises, in other clouds, or in your own data centers.**
To understand it simply: It allows you to run the high-performance, enterprise-grade capabilities of Google's **AlloyDB** (a cloud-native database) on your own infrastructure.
Here is a breakdown of what makes it significant:
### 1. The "Best of Both Worlds" Architecture
Normally, you have to choose between:
* **Managed Cloud Databases:** Easy to scale and manage, but you are locked into the cloud provider's infrastructure.
* **Self-Managed Databases:** You have full control over the hardware/location, but you are responsible for scaling, patching, and high availability.
**AlloyDB Omni** bridges this gap. It provides the advanced features of a cloud-native database (like intelligent indexing, high availability, and massive scalability) while allowing you to run it anywhere.
Dừng chuyển tiếp cổng trong dòng lệnh đầu tiên (nếu vẫn đang chạy) bằng cách nhấn Ctrl+C.
9. Đăng ký mô hình Gemma 4 trong AlloyDB Omni
Đăng ký mô hình Gemma 12B trong AlloyDB Omni bằng quy trình google_ml.create_model. Chỉ định http://gemma-12b-gpu-vllm-service:8000/v1/chat/completions làm model_request_url để định tuyến các yêu cầu đến dịch vụ cụm Kubernetes:
Lấy IP điểm cuối của AlloyDB Omni:
echo "INSTANCE_IP=$(kubectl get dbclusters.alloydbomni.dbadmin.goog my-omni -n default -o jsonpath='{.status.primary.endpoint}')"
Kết nối với phiên bản máy ảo bằng SSH:
gcloud compute ssh instance-1 --zone=$ZONE
Sau khi kết nối với máy ảo, hãy xuất biến INSTANCE_IP từ bước trước (giá trị 10.128.0.33 được đưa ra làm ví dụ – hãy thay thế bằng IP của bạn):
export INSTANCE_IP=10.128.0.33
Xuất mật khẩu AlloyDB:
export PGPASSWORD=VeryStrongPassword
Kết nối với cơ sở dữ liệu demo:
psql "host=$INSTANCE_IP user=postgres sslmode=require dbname=demo"
Trong phiên psql, hãy đăng ký mô hình:
CALL
google_ml.create_model(
model_id => 'gemma-12b-gpu',
model_request_url => 'http://gemma-12b-gpu-vllm-service:8000/v1/chat/completions',
model_provider => 'custom',
model_type => 'llm');
Kiểm thử mô hình bằng một truy vấn SQL mẫu:
SELECT google_ml.predict_row(
model_id => 'gemma-12b-gpu',
request_body => json_build_object(
'messages', json_build_array(
json_build_object('role', 'user', 'content', 'What is AlloyDB Omni?'))))->'choices'->0->'message'->'content';
Nhấn phím q để thoát khỏi cửa sổ kết quả và quay lại câu lệnh psql
Kết hợp tính năng tìm kiếm vectơ với RAG LLM trong AlloyDB Omni
Sử dụng tính năng tìm kiếm vectơ với yêu cầu LLM để minh hoạ RAG (Tạo tăng cường truy xuất) với LLM.
Chạy truy vấn SQL trong plsql:
WITH trees AS (
SELECT
cp.product_name,
cp.product_description AS description,
cp.sale_price,
cs.zip_code,
cp.uniq_id AS product_id
FROM
cymbal_products cp
JOIN cymbal_embedding ce ON ce.uniq_id = cp.uniq_id
JOIN cymbal_inventory ci ON ci.uniq_id = cp.uniq_id
JOIN cymbal_stores cs ON cs.store_id = ci.store_id
WHERE
ci.inventory>0
AND cs.store_id = 1583
ORDER BY
(ce.embedding <=> embedding('embeddinggemma',
'What kind of fruit trees grow well here?')::vector) ASC
LIMIT 1),
prompt AS (
SELECT
'You are a friendly advisor helping to find a product based on the customer''s needs.
Based on the client request we have loaded a list of products closely related to search.
The list in JSON format with list of values like {"product_name":"name","product_description":"some description","sale_price":10}
Here is the list of products:' || json_agg(trees) || 'The customer asked "What kind of fruit trees grow well here?"
You should give information about the product, price and some supplemental information' AS prompt_text
FROM
trees),
response AS (
SELECT
google_ml.predict_row(
model_id =>'gemma-12b-gpu',
request_body => json_build_object(
'messages', json_build_array(
json_build_object('role', 'user', 'content',prompt_text)
)))->'choices'->0->'message'->'content' AS resp
FROM
prompt)
SELECT
REPLACE(resp::text, '\n', CHR(10))
FROM
response;
Kết quả đầu ra dự kiến:
----------------------------------------------------------------------------------------------------------------------------------------------
"Hello there! I'd be happy to help you find the perfect tree for your garden. +
+
Based on your location, we have a wonderful option that would grow beautifully in your area: +
+
**Cherry Tree** +
* **Price:** $75.00 +
* **Description:** This is a stunning deciduous tree that not only provides a beautiful landscape but also produces delicious cherries. +
* **Supplemental Information:** +
* **Growth:** It grows to about 15 feet tall. +
* **Appearance:** You can look forward to dark green leaves in the summer that transform into a vibrant red in the fall. +
* **Benefits:** It's a great choice if you're looking for both fruit and extra shade or privacy in your yard. +
* **Care Tips:** It performs best in a cool, moist climate with sandy soil. Since you are in a suitable zone, it should thrive nicely!+
+
Would you like more details on how to plant this, or would you like to proceed with an order?"
(1 row)
Câu lệnh bổ sung cho câu lệnh đến LLM bằng kết quả tìm kiếm vectơ.
Hãy thử các truy vấn khác và thử nghiệm với các mẫu RAG. Lợi ích của cấu trúc được trình bày là khả năng tự cung tự cấp hoàn toàn. Dữ liệu không được gửi ra bên ngoài cụm của bạn và có thể chạy trong môi trường hoàn toàn tách biệt.
Thoát khỏi phiên psql:
\q
Ngắt kết nối khỏi phiên SSH với máy ảo:
exit
Đừng quên rằng AlloyDB Omni còn có nhiều tính năng và phòng thí nghiệm khác.
10. Dọn dẹp môi trường
Để tránh bị tính phí liên tục vào tài khoản Google Cloud, hãy xoá các tài nguyên đã tạo trong lớp học lập trình này.
Xoá cụm GKE
Trong Cloud Shell, hãy xoá cụm GKE:
export PROJECT_ID=$(gcloud config get-value project)
export CLUSTER_NAME=alloydb-ai-gke
gcloud container clusters delete ${CLUSTER_NAME} \
--project=${PROJECT_ID} \
--region=${LOCATION}
Kết quả đầu ra dự kiến:
student@cloudshell:~$ gcloud container clusters delete ${CLUSTER_NAME} \
> --project=${PROJECT_ID} \
> --region=${LOCATION}
The following clusters will be deleted.
- [alloydb-ai-gke] in [us-east4]
Do you want to continue (Y/n)? Y
Deleting cluster alloydb-ai-gke...done.
Deleted
Xoá máy ảo của ứng dụng
Trong Cloud Shell, hãy xoá phiên bản Compute Engine:
export PROJECT_ID=$(gcloud config get-value project)
gcloud compute instances delete instance-1 \
--project=${PROJECT_ID} \
--zone=${ZONE}
Kết quả đầu ra dự kiến:
student@cloudshell:~$ export PROJECT_ID=$(gcloud config get project)
export ZONE=us-east4-a
gcloud compute instances delete instance-1 \
--project=${PROJECT_ID} \
--zone=${ZONE}
Your active configuration is: [cloudshell-5399]
The following instances will be deleted. Any attached disks configured to be auto-deleted will be deleted unless they are attached to any other instances or the `--keep-disks` flag is given and specifies them for keeping. Deleting a disk
is irreversible and any data on the disk will be lost.
- [instance-1] in [us-east4-a]
Do you want to continue (Y/n)? Y
Deleted
Nếu đã tạo một dự án mới cho lớp học lập trình này, bạn có thể xoá toàn bộ dự án trong Cloud Resource Manager của Google (không bắt buộc).
11. Xin chúc mừng
Chúc mừng bạn đã hoàn thành lớp học lập trình này!
Nội dung bạn đã tìm hiểu
- Cách triển khai AlloyDB Omni trên một cụm GKE
- Cách kết nối với AlloyDB Omni
- Cách tải dữ liệu vào AlloyDB Omni
- Cách triển khai các mô hình AI (nhúng và LLM) cho GKE
- Cách đăng ký mô hình AI trong AlloyDB Omni
- Cách tạo các mục nhúng cho tính năng tìm kiếm ngữ nghĩa
- Cách chạy truy vấn tìm kiếm ngữ nghĩa trong AlloyDB Omni
- Cách tạo và sử dụng chỉ mục vectơ trong AlloyDB Omni
Bạn có thể đọc thêm về cách làm việc với AI trong AlloyDB Omni trong tài liệu.
Khảo sát
Kết quả: