การทดสอบพื้นฐานการคาดการณ์ออนไลน์ Vertex AI ด้วย HEY

1. บทนำ

บทแนะนำนี้จะแสดงวิธีสร้างและประเมินเมตริกการคาดการณ์ออนไลน์ของ Cloud Monitoring เมื่อทำการทดสอบพื้นฐานใน us-central1 และ us-west1 ไปยังปลายทางการคาดการณ์ที่ทำให้ใช้งานได้ใน us-central1 โดยใช้เครื่องมือวัดประสิทธิภาพเว็บ HEY

หมายเหตุ: แล็บนี้ใช้ Codelab ของโมเดลที่มีอยู่และปลายทางการคาดการณ์แบบออนไลน์ที่จำเป็นต่อการตรวจสอบการเชื่อมต่อการคาดการณ์ เมื่อสร้าง Notebook โปรดตรวจสอบว่าได้ใช้เครือข่าย aiml-vpc และส่วนเครือข่ายย่อย workbench-subnet ซึ่งเป็นส่วนหนึ่งของบทแนะนำ ระบบจะขอให้คุณติดตั้งใช้งาน Codelab ในขั้นตอน "ติดตั้งใช้งานโมเดลและการคาดการณ์ออนไลน์"

สิ่งที่คุณจะสร้าง

คุณจะตั้งค่าเครือข่าย VPC ชื่อ aiml-vpc ซึ่งประกอบด้วยซับเน็ตและอินสแตนซ์ใน us-west1 และ us-central1 ที่จะใช้เพื่อสร้างการรับส่งข้อมูลโดยใช้ HEY ที่กำหนดเป้าหมายการคาดการณ์ออนไลน์และโมเดลที่ใช้งานใน us-central1

นอกจากนี้ บทแนะนำยังรวม Private Service Connect และ DNS ส่วนตัวไว้ด้วยเพื่อแสดงให้เห็นว่าสภาพแวดล้อมภายในองค์กรและมัลติคลาวด์ใช้ประโยชน์จาก PSC เพื่อเข้าถึง googleapis ได้อย่างไร

Cloud Monitoring และ Network Intelligence จะใช้ในบทแนะนำเพื่อตรวจสอบการรับส่งข้อมูลที่สร้างจาก HEY ไปยังการคาดการณ์ออนไลน์ แม้ว่าขั้นตอนที่ระบุไว้ในบทแนะนำจะนำไปใช้ใน VPC แต่คุณก็สามารถใช้ขั้นตอนดังกล่าวเพื่อนำไปใช้และรับค่าพื้นฐานของ Vertex API จากสภาพแวดล้อมภายในองค์กรหรือมัลติคลาวด์ได้ สถาปัตยกรรมเครือข่ายประกอบด้วยคอมโพเนนต์ต่อไปนี้

รายละเอียดของกรณีการใช้งานมีดังนี้

1. เข้าถึงการคาดการณ์ออนไลน์ใน us-central1 จากอินสแตนซ์ GCE ใน us-west1 โดยใช้ HEY
2. ตรวจสอบว่ามีการใช้ PSC เพื่อเข้าถึง Vertex API
3. เรียกใช้ curl โดยใช้ HEY เป็นเวลา 5 นาที
4. ตรวจสอบเวลาในการตอบสนองโดยใช้ Cloud Monitoring
5. ตรวจสอบเวลาในการตอบสนองระหว่างภูมิภาคโดยใช้ข้อมูลเชิงลึกของเครือข่าย
6. เข้าถึงการคาดการณ์ออนไลน์ใน us-central1 จากอินสแตนซ์ GCE ใน us-central1 โดยใช้ HEY
7. ตรวจสอบว่ามีการใช้ PSC เพื่อเข้าถึง Vertex API
8. เรียกใช้ curl โดยใช้ HEY เป็นเวลา 5 นาที
9. ตรวจสอบเวลาในการตอบสนองโดยใช้ Cloud Monitoring
10. ตรวจสอบเวลาในการตอบสนองภายในภูมิภาคโดยใช้ข้อมูลเชิงลึกเกี่ยวกับเครือข่าย

หมายเหตุ: บทแนะนำจะแสดงขั้นตอนการกำหนดค่าและการตรวจสอบตามโทโพโลยีที่แสดงไว้ ให้แก้ไขขั้นตอนตามที่จำเป็นเพื่อให้เป็นไปตามข้อกำหนดขององค์กร

สิ่งที่คุณจะได้เรียนรู้

• วิธีสร้างปลายทาง Private Service Connect
• วิธีสร้างโหลดไปยังการคาดการณ์ออนไลน์โดยใช้ HEY
• วิธีสร้างเมตริก Vertex AI โดยใช้ Cloud Monitoring
• วิธีใช้ข้อมูลเชิงลึกเกี่ยวกับเครือข่ายเพื่อตรวจสอบเวลาในการตอบสนองภายในและระหว่างภูมิภาค

สิ่งที่คุณต้องมี

• โปรเจ็กต์ Google Cloud

สิทธิ์ IAM

ผู้ดูแลระบบเครือข่าย Compute

ผู้ดูแลระบบเครือข่าย Compute

ผู้แก้ไข Service Directory

ผู้ดูแลระบบ DNS

ผู้ดูการจัดการเครือข่าย

2. ก่อนเริ่มต้น

อัปเดตโปรเจ็กต์เพื่อรองรับบทแนะนำ

บทแนะนำนี้ใช้ $variables เพื่อช่วยในการติดตั้งใช้งานการกำหนดค่า gcloud ใน Cloud Shell

ใน Cloud Shell ให้ทำดังนี้

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid

3. การตั้งค่า aiml-vpc

สร้าง aiml-vpc

gcloud services enable networkmanagement.googleapis.com

ใน Cloud Shell ให้ทำดังนี้

gcloud compute networks create aiml-vpc --project=$projectid --subnet-mode=custom

ใน Cloud Shell ให้เปิดใช้ Network Management API สำหรับ Network Intelligence

gcloud services enable networkmanagement.googleapis.com

สร้างซับเน็ตของ Notebook ที่ผู้ใช้จัดการ

สร้าง workbench-subnet ภายใน Cloud Shell

gcloud compute networks subnets create workbench-subnet --project=$projectid --range=172.16.10.0/28 --network=aiml-vpc --region=us-central1 --enable-private-ip-google-access

สร้าง us-west1-subnet ภายใน Cloud Shell

gcloud compute networks subnets create us-west1-subnet --project=$projectid --range=192.168.10.0/28 --network=aiml-vpc --region=us-west1

สร้าง us-central1-subnet ภายใน Cloud Shell

gcloud compute networks subnets create us-central1-subnet --project=$projectid --range=192.168.20.0/28 --network=aiml-vpc --region=us-central1

การกำหนดค่า Cloud Router และ NAT

ในบทแนะนำนี้จะใช้ Cloud NAT เพื่อดาวน์โหลดแพ็กเกจซอฟต์แวร์เนื่องจากอินสแตนซ์ GCE ไม่มีที่อยู่ IP ภายนอก Cloud NAT มีความสามารถ NAT ขาออก ซึ่งหมายความว่าโฮสต์อินเทอร์เน็ตไม่ได้รับอนุญาตให้เริ่มการสื่อสารกับ Notebook ที่ผู้ใช้จัดการ ทำให้มีความปลอดภัยมากขึ้น

สร้าง Cloud Router ระดับภูมิภาค us-west1 ภายใน Cloud Shell

gcloud compute routers create cloud-router-us-west1-aiml-nat --network aiml-vpc --region us-west1

สร้างเกตเวย์ Cloud NAT ระดับภูมิภาค us-west1 ภายใน Cloud Shell

gcloud compute routers nats create cloud-nat-us-west1 --router=cloud-router-us-west1-aiml-nat --auto-allocate-nat-external-ips --nat-all-subnet-ip-ranges --region us-west1

สร้าง Cloud Router ระดับภูมิภาค us-central1 ภายใน Cloud Shell

gcloud compute routers create cloud-router-us-central1-aiml-nat --network aiml-vpc --region us-central1

สร้างเกตเวย์ Cloud NAT ระดับภูมิภาค us-central1 ภายใน Cloud Shell

gcloud compute routers nats create cloud-nat-us-central1 --router=cloud-router-us-central1-aiml-nat --auto-allocate-nat-external-ips --nat-all-subnet-ip-ranges --region us-central1

4. สร้างปลายทาง Private Service Connect

ในส่วนต่อไปนี้ คุณจะสร้างปลายทาง Private Service Connect (PSC) ที่จะใช้เพื่อเข้าถึง Vertex API จาก aiml-vpc

จาก Cloud Shell

gcloud compute addresses create psc-ip \
    --global \
    --purpose=PRIVATE_SERVICE_CONNECT \
    --addresses=100.100.10.10 \
    --network=aiml-vpc

จัดเก็บ "pscendpointip" เป็นระยะเวลาของแล็บ

pscendpointip=$(gcloud compute addresses list --filter=name:psc-ip --format="value(address)")

echo $pscendpointip

สร้างปลายทาง PSC

จาก Cloud Shell

gcloud compute forwarding-rules create pscvertex \
    --global \
    --network=aiml-vpc \
    --address=psc-ip \
    --target-google-apis-bundle=all-apis

แสดงรายการปลายทาง Private Service Connect ที่กำหนดค่าไว้

จาก Cloud Shell

gcloud compute forwarding-rules list  \
--filter target="(all-apis OR vpc-sc)" --global

อธิบายปลายทาง Private Service Connect ที่กำหนดค่าไว้

จาก Cloud Shell

gcloud compute forwarding-rules describe \
    pscvertex --global

5. สร้างบัญชีบริการสำหรับอินสแตนซ์ GCE

หากต้องการให้การควบคุม Vertex API มีความละเอียดสูง คุณต้องมีบัญชีบริการที่ผู้ใช้จัดการซึ่งจะใช้กับอินสแตนซ์ในฝั่งตะวันตกและส่วนกลาง เมื่อสร้างแล้ว คุณจะแก้ไขสิทธิ์ของบัญชีบริการได้ตามข้อกำหนดทางธุรกิจ ในบทแนะนำ บัญชีบริการที่มีการจัดการโดยผู้ใช้ vertex-sa จะมีบทบาทต่อไปนี้

• ผู้ใช้ Vertex AI
• ผู้ดูแลระบบอินสแตนซ์ Compute

คุณต้องเปิดใช้ Service Account API ก่อนดำเนินการต่อ

สร้างบัญชีบริการภายใน Cloud Shell

gcloud iam service-accounts create vertex-gce-sa \
    --description="service account for vertex" \
    --display-name="vertex-sa"

ใน Cloud Shell ให้อัปเดตบัญชีบริการด้วยบทบาทผู้ดูแลระบบอินสแตนซ์ Compute

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:vertex-gce-sa@$projectid.iam.gserviceaccount.com" --role="roles/compute.instanceAdmin.v1"

ใน Cloud Shell ให้อัปเดตบัญชีบริการด้วยบทบาทผู้ใช้ Vertex AI

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:vertex-gce-sa@$projectid.iam.gserviceaccount.com" --role="roles/aiplatform.user"

6. สร้างบัญชีบริการที่มีการจัดการโดยผู้ใช้ (Notebook)

ในส่วนต่อไปนี้ คุณจะสร้างบัญชีบริการที่มีการจัดการโดยผู้ใช้ซึ่งจะเชื่อมโยงกับ Vertex Workbench (Notebook) ที่ใช้ในบทแนะนำ

ในบทแนะนำ บัญชีบริการจะมีกฎต่อไปนี้

• ผู้ดูแลระบบพื้นที่เก็บข้อมูล
• ผู้ใช้ Vertex AI
• ผู้ดูแลระบบ Artifact Registry

สร้างบัญชีบริการภายใน Cloud Shell

gcloud iam service-accounts create user-managed-notebook-sa \
    --display-name="user-managed-notebook-sa"

ใน Cloud Shell ให้อัปเดตบัญชีบริการด้วยบทบาทผู้ดูแลระบบพื้นที่เก็บข้อมูล

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/storage.admin"

ใน Cloud Shell ให้อัปเดตบัญชีบริการด้วยบทบาทผู้ใช้ Vertex AI

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/aiplatform.user"

ใน Cloud Shell ให้อัปเดตบัญชีบริการด้วยบทบาทผู้ดูแลระบบ Artifact Registry

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/artifactregistry.admin"

ใน Cloud Shell ให้แสดงรายการบัญชีบริการและจดที่อยู่อีเมลที่จะใช้เมื่อสร้าง Notebook ที่ผู้ใช้จัดการ

gcloud iam service-accounts list

7. สร้างอินสแตนซ์ทดสอบ

ในส่วนต่อไปนี้ คุณจะสร้างอินสแตนซ์ทดสอบเพื่อทำการทดสอบพื้นฐานจาก us-west1 และ us-central1

สร้าง west-client ใน Cloud Shell

gcloud compute instances create west-client \
    --zone=us-west1-a \
    --image-family=debian-11 \
    --image-project=debian-cloud \
    --subnet=us-west1-subnet \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
    --no-address \
    --shielded-secure-boot --service-account=vertex-gce-sa@$projectid.iam.gserviceaccount.com \
    --metadata startup-script="#! /bin/bash
      sudo apt-get update
      sudo apt-get install tcpdump dnsutils -y"

สร้าง central-client ใน Cloud Shell

gcloud compute instances create central-client \
    --zone=us-central1-a \
    --image-family=debian-11 \
    --image-project=debian-cloud \
    --subnet=us-central1-subnet \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
    --no-address \
    --shielded-secure-boot --service-account=vertex-gce-sa@$projectid.iam.gserviceaccount.com \
    --metadata startup-script="#! /bin/bash
      sudo apt-get update
      sudo apt-get install tcpdump dnsutils -y"

หากต้องการอนุญาตให้ IAP เชื่อมต่อกับอินสแตนซ์ VM ให้สร้างกฎไฟร์วอลล์ที่มีลักษณะดังนี้

• มีผลกับอินสแตนซ์ VM ทั้งหมดที่คุณต้องการให้เข้าถึงได้โดยใช้ IAP
• อนุญาตการรับส่งข้อมูลขาเข้าจากช่วง IP 35.235.240.0/20 ช่วงนี้มีที่อยู่ IP ทั้งหมดที่ IAP ใช้สำหรับการส่งต่อ TCP

สร้างกฎไฟร์วอลล์ IAP ภายใน Cloud Shell

gcloud compute firewall-rules create ssh-iap-vpc \
    --network aiml-vpc \
    --allow tcp:22 \
    --source-ranges=35.235.240.0/20

8. สร้าง Notebook ที่ผู้ใช้จัดการ

เปิดใช้ Notebook API

ในส่วนต่อไปนี้ ให้สร้าง Notebook ที่ผู้ใช้จัดการซึ่งรวมบัญชีบริการที่สร้างไว้ก่อนหน้านี้ นั่นคือ user-managed-notebook-sa

สร้างอินสแตนซ์ไคลเอ็นต์ส่วนตัวภายใน Cloud Shell

gcloud notebooks instances create workbench-tutorial \
      --vm-image-project=deeplearning-platform-release \
      --vm-image-family=common-cpu-notebooks \
      --machine-type=n1-standard-4 \
      --location=us-central1-a \
      --subnet-region=us-central1 \
      --shielded-secure-boot \
      --subnet=workbench-subnet \
      --no-public-ip    --service-account=user-managed-notebook-sa@$projectid.iam.gserviceaccount.com

ไปที่ Vertex AI → Workbench เพื่อดู Notebook ที่ใช้งานจริง

9. ทำให้โมเดลและการคาดการณ์ออนไลน์ใช้งานได้

ในส่วนต่อไปนี้ ให้ใช้ codelabที่ระบุ Vertex AI:ใช้กิจวัตรการคาดการณ์ที่กำหนดเองกับ Sklearn เพื่อประมวลผลข้อมูลก่อนและหลังสำหรับการคาดการณ์ เริ่มต้นด้วยส่วนที่ 7 เนื่องจากคุณได้สร้าง Notebook ในขั้นตอนก่อนหน้าแล้ว เมื่อติดตั้งใช้งานโมเดลแล้ว ให้กลับไปที่บทแนะนำเพื่อเริ่มส่วนถัดไป

10. สร้างแดชบอร์ดการตรวจสอบที่กำหนดเองสำหรับการคาดการณ์แบบออนไลน์

การคาดการณ์ออนไลน์จะสร้างแดชบอร์ดการตรวจสอบเริ่มต้นในส่วน VERTEX AI → การคาดการณ์ออนไลน์ → ชื่ออุปกรณ์ปลายทาง (diamonds-cpr_endpoint) อย่างไรก็ตาม ในการทดสอบ เราจำเป็นต้องกำหนดเวลาเริ่มต้นและหยุด จึงต้องใช้แดชบอร์ดที่กำหนดเอง

ในส่วนต่อไปนี้ คุณจะสร้างเมตริก Cloud Monitoring เพื่อรับการวัดค่าเวลาในการตอบสนองตามการเข้าถึงระดับภูมิภาคไปยังปลายทางการคาดการณ์แบบออนไลน์เพื่อตรวจสอบเวลาในการตอบสนองที่แตกต่างกันเมื่อเข้าถึงปลายทางใน us-central1 จากอินสแตนซ์ GCE ที่ติดตั้งใช้งานใน us-west1 และ us-central

สำหรับบทแนะนำนี้ เราจะใช้เมตริก prediction_latencies และมีเมตริกเพิ่มเติมให้ใช้งานใน aiplatform

เมตริก	คำอธิบาย
prediction/online/prediction_latencies	เวลาในการตอบสนองการคาดการณ์ออนไลน์ของโมเดลที่ใช้งาน

สร้างแผนภูมิสำหรับเมตริก prediction_latencies

จาก Cloud Console ให้ไปที่ MONITORING → เครื่องมือสำรวจเมตริก

แทรกเมตริก prediction/online/prediction_latencies แล้วเลือกตัวเลือกต่อไปนี้ จากนั้นเลือก "ใช้"

อัปเดตจัดกลุ่มตามตัวเลือกต่อไปนี้ แล้วเลือกบันทึกแผนภูมิ

เลือกบันทึก แล้วระบบจะแจ้งให้คุณเลือกแดชบอร์ด เลือกแดชบอร์ดใหม่และตั้งชื่อ

แดชบอร์ดที่กำหนดเองของ Vertex

ในส่วนต่อไปนี้ ให้ตรวจสอบว่าแดชบอร์ดที่กำหนดเองของ Vertex แสดงเวลาที่ถูกต้อง

ไปที่การตรวจสอบ → แดชบอร์ด แล้วเลือกแดชบอร์ดที่กำหนดเองของ Vertex ตามด้วยการเลือกเวลา ตรวจสอบว่าเขตเวลาถูกต้อง

อย่าลืมขยายคำอธิบายเพื่อดูมุมมองตาราง

ตัวอย่างมุมมองแบบขยาย

11. สร้าง DNS ส่วนตัวสำหรับปลายทาง PSC

สร้างโซน DNS ส่วนตัวใน aiml-vpc เพื่อแก้ไข googleapis ทั้งหมดไปยังที่อยู่ IP ของปลายทาง PSC 100.100.10.10

สร้างโซน DNS ส่วนตัวจาก Cloud Shell

gcloud dns --project=$projectid managed-zones create psc-googleapis --description="Private Zone to resolve googleapis to a PSC endpoint" --dns-name="googleapis.com." --visibility="private" --networks="https://www.googleapis.com/compute/v1/projects/$projectid/global/networks/aiml-vpc"

สร้างระเบียน A ที่เชื่อมโยง *. googleapis.com กับ IP ของ PSC จาก Cloud Shell

gcloud dns --project=$projectid record-sets create *.googleapis.com. --zone="psc-googleapis" --type="A" --ttl="300" --rrdatas="100.100.10.10"

12. ตัวแปรการทดสอบ

Hey ช่วยให้ผู้ใช้ปลายทางปรับแต่งการทดสอบตามข้อกำหนดของเครือข่ายและแอปพลิเคชันได้ เราจะใช้ตัวเลือกที่ระบุไว้ด้านล่างพร้อมสตริงการดำเนินการตัวอย่างเพื่อวัตถุประสงค์ของบทแนะนำนี้

c == 1 worker

z == ระยะเวลา

m == HTTP method POST

D == เนื้อหาคำขอ HTTP จากไฟล์ instances.json

n == จำนวนคำขอที่จะเรียกใช้ ค่าเริ่มต้นคือ 200

ตัวอย่างสตริง curl ที่มี HEY (ไม่ต้องดำเนินการ)

user@us-central$ ./hey_linux_amd64 -c 1 -z 1m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid$}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

13. รับรหัสการคาดการณ์

รับรหัสปลายทางการคาดการณ์ออนไลน์จาก Cloud Console ซึ่งจะใช้ในขั้นตอนถัดไป

ไปที่ VERTEX AI → การคาดการณ์ออนไลน์

14. ดาวน์โหลดและเรียกใช้ HEY (us-west1)

ในส่วนต่อไปนี้ คุณจะเข้าสู่ระบบ west-client เพื่อดาวน์โหลดและเรียกใช้ HEY กับการคาดการณ์ออนไลน์ที่อยู่ใน us-central1

จาก Cloud Shell ให้เข้าสู่ระบบ west-client แล้วดาวน์โหลด HEY

gcloud compute ssh west-client --project=$projectid --zone=us-west1-a --tunnel-through-iap

ดาวน์โหลด HEY จากระบบปฏิบัติการและอัปเดตสิทธิ์

wget https://hey-release.s3.us-east-2.amazonaws.com/hey_linux_amd64
chmod +x hey_linux_amd64

สร้างตัวแปรต่อไปนี้จากระบบปฏิบัติการ

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid
ENDPOINT_ID="insert-your-endpoint-id-here"

ตัวอย่าง

ENDPOINT_ID="2706243362607857664"

ในส่วนต่อไปนี้ คุณจะสร้างไฟล์ instances.json โดยใช้โปรแกรมแก้ไข vi หรือ nano และแทรกสตริงข้อมูลที่ใช้เพื่อรับการคาดการณ์จากโมเดลที่ทำให้ใช้งานได้

จากระบบปฏิบัติการฝั่งไคลเอ็นต์ ให้สร้างไฟล์ instances.json ที่มีสตริงข้อมูลด้านล่าง

{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

ตัวอย่าง

user@west-client:$ more instances.json 
{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

user@west-client:$

การทดสอบก่อน

จากระบบปฏิบัติการ ให้เรียกใช้ curl เพื่อตรวจสอบว่าโมเดลและปลายทางการคาดการณ์ทํางานได้สําเร็จ จดบันทึก IP ของปลายทาง PSC ในบันทึกแบบละเอียดและ HTTP/2 200 ซึ่งบ่งบอกถึงความสำเร็จ

curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json

ตัวอย่างเช่น โปรดสังเกตที่อยู่ IP ของ PSC ที่ใช้เพื่อเข้าถึงการคาดการณ์และผลลัพธ์ที่สำเร็จ

user@west-client:$ curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json
Note: Unnecessary use of -X or --request, POST is already inferred.
*   Trying 100.100.10.10:443...
* Connected to us-central1-aiplatform.googleapis.com (100.100.10.10) port 443 (#0)
* ALPN, offering h2
* ALPN, offering http/1.1
* successfully set certificate verify locations:
*  CAfile: /etc/ssl/certs/ca-certificates.crt
*  CApath: /etc/ssl/certs
* TLSv1.3 (OUT), TLS handshake, Client hello (1):
* TLSv1.3 (IN), TLS handshake, Server hello (2):
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
* TLSv1.3 (IN), TLS handshake, Certificate (11):
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
* TLSv1.3 (IN), TLS handshake, Finished (20):
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
* TLSv1.3 (OUT), TLS handshake, Finished (20):
* SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384
* ALPN, server accepted to use h2
* Server certificate:
*  subject: CN=upload.video.google.com
*  start date: Jul 31 08:22:19 2023 GMT
*  expire date: Oct 23 08:22:18 2023 GMT
*  subjectAltName: host "us-central1-aiplatform.googleapis.com" matched cert's "*.googleapis.com"
*  issuer: C=US; O=Google Trust Services LLC; CN=GTS CA 1C3
*  SSL certificate verify ok.
* Using HTTP2, server supports multi-use
* Connection state changed (HTTP/2 confirmed)
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
* Using Stream ID: 1 (easy handle 0x55a9f38b42c0)
> POST /v1/projects/new-test-project-396322/locations/us-central1/endpoints/2706243362607857664:predict HTTP/2
> Host: us-central1-aiplatform.googleapis.com
> user-agent: curl/7.74.0
> accept: */*
> authorization: Bearer ya29.c.b0Aaekm1LqrcaOlWFFwuEOWX_tZVXXvJgN_K-u5_hFyEAYXAi3AnBEBwwtHS8dweW_P2QGfdyFfa31nMT_6BaKBI0mC9IsfzfIiUwXc8u2yJt01gTUSJpCmGAFKZKidRMgkPYivVYCnuymzdYbRAWacIe__StkRzI9UeQOGN3jNIeESr80AdH12goaxCFXWaNWxoYRfGVhekEgUcsKs7t1OhOM-937gy4YGkXcXa8sGuHWRqF5bnulYlTqlxqQ2aAxMTrQg2lwUWRGCmGhPrym7rXJq7oim0DkAJSbAarl1qFuz0PPfNXeHGbs13zY2r1giV7u8_w4Umj_Q5M7H9fTkq7EiqnLzqRkOHXismYL368P1jOUBYM__krFQt4M3X9RJa0g01tOw3FnOh27BmUqlFQ1J2h14JZpx215Q3xzRvgfJ5iW5YYSkv67uZRQk4V04naOUXyc0plzWuVOjj4nor3fYvkS_oW0IyxJoBjeXR16Vnvln8c04svWX9dt7eobczFvBOm9nVdh4lVp8qxbp__2WtMvc1QVg6y-2i6lRpbvmyp1oadxVRjxV1e0wiQFSe-qqsinJu3bnnaMbxdU2cu5j26o8o8Xpgo0SF1UM0b1WX84iatbWpdFSphZm1llwmRagMzcFBW0aBk-i35_bXSbzwURgMfY6Qbyb9Rv9y0F-Maf34I0WxiMldv2uc57nej7dVl9OSm_Ohnro-i9zcpq9fxo9soYVB8WjaZOUjauk4znstc2_6y4atcVVsQBkeU674biR567Ri3M74Jfv4MrrF02ObfrJRdB7UJ4MU_9kWW-kYeeJzoci15UqYV0f_yJgReBwQa66Supmebee2Sn2nku6xZkRMu5Mz55mXuva0XWrpIbor7WckSsXwUFbf7rj5ipa4mOOyf2hJe1Rq0x6yeBaariRzXrhfm5bBpFBU73-zd-IekvOji0ZJQSkk0o6gpX_794Jny7j14aQJ8VxezcFpZUztimYhMnRhlO2lqms1h0h48
> content-type: application/json
> content-length: 158
> 
* Connection state changed (MAX_CONCURRENT_STREAMS == 100)!
* We are completely uploaded and fine
< HTTP/2 200 
< x-vertex-ai-internal-prediction-backend: harpoon
< content-type: application/json; charset=UTF-8
< date: Sun, 20 Aug 2023 03:51:54 GMT
< vary: X-Origin
< vary: Referer
< vary: Origin,Accept-Encoding
< server: scaffolding on HTTPServer2
< cache-control: private
< x-xss-protection: 0
< x-frame-options: SAMEORIGIN
< x-content-type-options: nosniff
< accept-ranges: none
< 
{
  "predictions": [
    "$479.0",
    "$586.0"
  ],
  "deployedModelId": "3587550310781943808",
  "model": "projects/884291964428/locations/us-central1/models/6829574694488768512",
  "modelDisplayName": "diamonds-cpr",
  "modelVersionId": "1"
}
* Connection #0 to host us-central1-aiplatform.googleapis.com left intact

ดำเนินการ HEY

จากระบบปฏิบัติการ ให้เรียกใช้ HEY เพื่อเปิดใช้การทดสอบพื้นฐาน 10 นาที

./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

15. Hey Validation (us-west1)

ตอนนี้คุณได้เรียกใช้ Hey จากอินสแตนซ์ Compute ใน us-west1 แล้ว ให้ประเมินผลลัพธ์จากสิ่งต่อไปนี้

• ผลลัพธ์ HEY
• แดชบอร์ดที่กำหนดเองของ Vertex
• Network Intelligence

ผลลัพธ์ HEY

จากระบบปฏิบัติการ ให้ตรวจสอบผลลัพธ์ของ HEY ตามการดำเนินการ 10 นาที

17.5826 คำขอต่อวินาที

99% ใน 0.0686 วินาที | 68 มิลลิวินาที

การตอบกลับ 10,550 รายการที่มีรหัสสถานะ 200

user@west-client:$ ./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

Summary:
  Total:        600.0243 secs
  Slowest:      0.3039 secs
  Fastest:      0.0527 secs
  Average:      0.0569 secs
  Requests/sec: 17.5826
  

Response time histogram:
  0.053 [1]     |
  0.078 [10514] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
  0.103 [16]    |
  0.128 [4]     |
  0.153 [3]     |
  0.178 [1]     |
  0.203 [0]     |
  0.229 [2]     |
  0.254 [1]     |
  0.279 [5]     |
  0.304 [3]     |


Latency distribution:
  10% in 0.0546 secs
  25% in 0.0551 secs
  50% in 0.0559 secs
  75% in 0.0571 secs
  90% in 0.0596 secs
  95% in 0.0613 secs
  99% in 0.0686 secs

Details (average, fastest, slowest):
  DNS+dialup:   0.0000 secs, 0.0527 secs, 0.3039 secs
  DNS-lookup:   0.0000 secs, 0.0000 secs, 0.0116 secs
  req write:    0.0000 secs, 0.0000 secs, 0.0002 secs
  resp wait:    0.0567 secs, 0.0526 secs, 0.3038 secs
  resp read:    0.0001 secs, 0.0001 secs, 0.0696 secs

Status code distribution:
  [200] 10550 responses

แดชบอร์ดที่กำหนดเองของ Vertex

ไปที่การตรวจสอบ → แดชบอร์ด แล้วเลือกแดชบอร์ดที่กำหนดเองของ Vertex ป้อน 10m หรือระบุเวลาเริ่มต้นและเวลาสิ้นสุด ตรวจสอบว่าเขตเวลาถูกต้อง

การดูคําจํากัดความของเวลาในการตอบสนองของการคาดการณ์จะแสดงเมตริกฝั่งเซิร์ฟเวอร์ที่วัดเวลารวมในการตอบสนองต่อคําขอของไคลเอ็นต์หลังจากได้รับคําตอบจากโมเดล

• ระยะเวลาในการตอบสนองทั้งหมด: เวลาทั้งหมดที่คำขอใช้ในบริการ ซึ่งก็คือเวลาในการตอบสนองของโมเดลบวกกับเวลาในการตอบสนองของค่าใช้จ่าย

ในทางตรงกันข้าม HEY เป็นเมตริกฝั่งไคลเอ็นต์ที่พิจารณาพารามิเตอร์ต่อไปนี้

คำขอจากไคลเอ็นต์ + เวลาในการตอบสนองทั้งหมด (รวมเวลาในการตอบสนองของโมเดล) + การตอบกลับของไคลเอ็นต์

ข้อมูลวิเคราะห์เครือข่าย

ตอนนี้เรามาดูเวลาในการตอบสนองของเครือข่ายระหว่างภูมิภาคที่ Network Intelligence รายงานเพื่อดูแนวคิดเกี่ยวกับเวลาในการตอบสนองจาก us-west1 ไปยัง us-central1 ที่ Google Cloud Platform รายงาน

ไปที่ Cloud Console Network Intelligence → แดชบอร์ดประสิทธิภาพ แล้วเลือกตัวเลือกต่อไปนี้ตามที่ระบุไว้ในภาพหน้าจอด้านล่าง ซึ่งแสดงเวลาในการตอบสนองตั้งแต่ 32-39 มิลลิวินาที

สรุปพื้นฐานของ HEY us-west1

การเปรียบเทียบรายงานเวลาในการตอบสนองทั้งหมดตามเครื่องมือทดสอบจะให้เวลาในการตอบสนองที่ใกล้เคียงกับที่ HEY รายงาน เวลาในการตอบสนองระหว่างภูมิภาคเป็นปัจจัยหลักที่ทำให้เกิดเวลาในการตอบสนอง มาดูกันว่าไคลเอ็นต์ส่วนกลางจะมีประสิทธิภาพอย่างไรในการทดสอบชุดถัดไป

เครื่องมือวัดเวลาในการตอบสนอง	ระยะเวลา
Network Intelligence: เวลาในการตอบสนองจาก us-west1 ไปยัง us-central1	~32 ถึง 39 มิลลิวินาที
Cloud Monitoring: เวลาในการตอบสนองของการคาดการณ์ทั้งหมด [99th%]	34.58 มิลลิวินาที (99p)
เวลาในการตอบสนองทั้งหมดที่ Google รายงาน	~ 66.58 ถึง 73.58 มิลลิวินาที
การกระจายเวลาในการตอบสนองฝั่งไคลเอ็นต์ของ HEY	68 มิลลิวินาที (99p)

16. ดาวน์โหลดและเรียกใช้ HEY (us-central1)

ในส่วนต่อไปนี้ คุณจะเข้าสู่ระบบไคลเอ็นต์ส่วนกลางเพื่อดาวน์โหลดและเรียกใช้ HEY กับการคาดการณ์ออนไลน์ที่อยู่ใน us-central1

จาก Cloud Shell ให้เข้าสู่ระบบไคลเอ็นต์ส่วนกลางและดาวน์โหลด HEY

gcloud compute ssh central-client --project=$projectid --zone=us-central1-a --tunnel-through-iap

ดาวน์โหลด HEY จากระบบปฏิบัติการและอัปเดตสิทธิ์

wget https://hey-release.s3.us-east-2.amazonaws.com/hey_linux_amd64
chmod +x hey_linux_amd64

สร้างตัวแปรต่อไปนี้จากระบบปฏิบัติการ

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid
ENDPOINT_ID="insert-your-endpoint-id-here"

ตัวอย่าง

ENDPOINT_ID="2706243362607857664"

ในส่วนต่อไปนี้ คุณจะสร้างไฟล์ instances.json โดยใช้โปรแกรมแก้ไข vi หรือ nano และแทรกสตริงข้อมูลที่ใช้เพื่อรับการคาดการณ์จากโมเดลที่ทำให้ใช้งานได้

จากระบบปฏิบัติการฝั่งไคลเอ็นต์ ให้สร้างไฟล์ instances.json ที่มีสตริงข้อมูลด้านล่าง

{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

ตัวอย่าง

user@west-client:$ more instances.json 
{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

user@west-client:$

การทดสอบเบื้องต้น

จากระบบปฏิบัติการ ให้เรียกใช้ curl เพื่อตรวจสอบว่าโมเดลและปลายทางการคาดการณ์ทํางานได้สําเร็จ จดบันทึก IP ของปลายทาง PSC ในบันทึกแบบละเอียดและ HTTP/2 200 ซึ่งบ่งบอกถึงความสำเร็จ

curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json

ตัวอย่างเช่น โปรดสังเกตที่อยู่ IP ของ PSC ที่ใช้เพื่อเข้าถึงการคาดการณ์และผลลัพธ์ที่สำเร็จ

user@central-client:~$ curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json
Note: Unnecessary use of -X or --request, POST is already inferred.
*   Trying 100.100.10.10:443...
* Connected to us-central1-aiplatform.googleapis.com (100.100.10.10) port 443 (#0)
* ALPN, offering h2
* ALPN, offering http/1.1
* successfully set certificate verify locations:
*  CAfile: /etc/ssl/certs/ca-certificates.crt
*  CApath: /etc/ssl/certs
* TLSv1.3 (OUT), TLS handshake, Client hello (1):
* TLSv1.3 (IN), TLS handshake, Server hello (2):
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
* TLSv1.3 (IN), TLS handshake, Certificate (11):
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
* TLSv1.3 (IN), TLS handshake, Finished (20):
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
* TLSv1.3 (OUT), TLS handshake, Finished (20):
* SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384
* ALPN, server accepted to use h2
* Server certificate:
*  subject: CN=upload.video.google.com
*  start date: Jul 31 08:22:19 2023 GMT
*  expire date: Oct 23 08:22:18 2023 GMT
*  subjectAltName: host "us-central1-aiplatform.googleapis.com" matched cert's "*.googleapis.com"
*  issuer: C=US; O=Google Trust Services LLC; CN=GTS CA 1C3
*  SSL certificate verify ok.
* Using HTTP2, server supports multi-use
* Connection state changed (HTTP/2 confirmed)
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
* Using Stream ID: 1 (easy handle 0x559b57adc2c0)
> POST /v1/projects/new-test-project-396322/locations/us-central1/endpoints/2706243362607857664:predict HTTP/2
> Host: us-central1-aiplatform.googleapis.com
> user-agent: curl/7.74.0
> accept: */*
> authorization: Bearer ya29.c.b0Aaekm1KWqq-CIXuL6f1cx9d9jHHquQq9tlSV1oVZ1y3TACi82JFFZRwsagVY7MMovycsU4PLkt9MDMkNngxZE5RzXcS-AoaUaQf1tPT9-_JMTlFI6wCcR7Yr9MeRF5AZblr_k52ZZgEZKeYGcrXoGiqGQcAAwFtHiEVAkUhLuyukteXbMoep1JM9E0zFblJj7Z0yOCMJYBH-6XHcIDYnOKpStMVBR2wcTDbnFrCE08HXbvRnQVcENatTBoI9FzSVL1ORwqUiCcdfnTSjpIXcyD-W82d6ZHjGX_RUhfnH7RPfOJqkuU8pOovwoCjq_jvM_wJUfPuQnBKHp5rxbYxPE349DMBql62po2SWFguuFo-a2eoUnb8-FQeBZqan65zgV0lexR73gZlm071y9grlXv3fmJUo7vlj5W-7_-FJXaWWg8iWc6rmjYeO1Wz2h_8qnmojkX9xSUciI6JfmwdgMWwtvwJb63ppSmdwf8oagrYiQlpMzgRI6rekbRzg-1WOBeOf5nRg5vtxUMSc9iRaoarO5XwFX8vt7rxOUBvbXYVWmo3bsdhzsS9VopMwgMlxgcIJg7bq7_F3iapB-nRjfjfhZWpR83cWIkI2Wb9f89inpsxtYjZbbzdWkZvRB8FYSsY8F8tcpiVoWWyQWZiph9z7O59fF9irWY2gtUnbFcJJ_ZcYztjlMQaR45y42ZflkM3Qn668bzge3Y3hmVI1s6ZSmxxq6m27hoMwVn21R07Y613jwljmaFJ5V8MwkR6yvFhYngrh_JrhRUQtSSMh02Rz25wMfv7g8Fiqymr-12viM4btIFjXZBM3XFqzvso_rw1omI1yYWofmbaBYggpegpJBzSeqVUZe791agjVtiMUkyjXFy__9gI0Qk9ZUarI4p25SvS4I1hX4YyBk6ol32Z5zIsVr1Seff__aklm6M2Mlkumd7nurm46hjOIoOhFpfFxrQ6yivnhYapBOJMYirgbZvigvI3dom1fnmt0-ktmRxp69w7Uzzy
> content-type: application/json
> content-length: 158
> 
* Connection state changed (MAX_CONCURRENT_STREAMS == 100)!
* We are completely uploaded and fine
< HTTP/2 200 
< x-vertex-ai-internal-prediction-backend: harpoon
< date: Sun, 20 Aug 2023 22:25:31 GMT
< content-type: application/json; charset=UTF-8
< vary: X-Origin
< vary: Referer
< vary: Origin,Accept-Encoding
< server: scaffolding on HTTPServer2
< cache-control: private
< x-xss-protection: 0
< x-frame-options: SAMEORIGIN
< x-content-type-options: nosniff
< accept-ranges: none
< 
{
  "predictions": [
    "$479.0",
    "$586.0"
  ],
  "deployedModelId": "3587550310781943808",
  "model": "projects/884291964428/locations/us-central1/models/6829574694488768512",
  "modelDisplayName": "diamonds-cpr",
  "modelVersionId": "1"
}
* Connection #0 to host us-central1-aiplatform.googleapis.com left intact

เรียกใช้ HEY

จากระบบปฏิบัติการ ให้เรียกใช้ HEY เพื่อเปิดใช้การทดสอบพื้นฐาน 10 นาที

./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

17. Hey Validation (us-central1)

ตอนนี้คุณได้เรียกใช้ Hey จากอินสแตนซ์การคำนวณใน us-central1 แล้ว ให้ประเมินผลลัพธ์จากสิ่งต่อไปนี้

• ผลลัพธ์ HEY
• แดชบอร์ดที่กำหนดเองของ Vertex
• Network Intelligence

ผลลัพธ์ของ HEY

จากระบบปฏิบัติการ ให้ตรวจสอบผลลัพธ์ของ HEY ตามการดำเนินการ 10 นาที

44.9408 คำขอต่อวินาที

99% ใน 0.0353 วินาที | 35 มิลลิวินาที

26965 responses with 200 status code

devops_user_1_deepakmichael_alto@central-client:~$ ./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

Summary:
  Total:        600.0113 secs
  Slowest:      0.3673 secs
  Fastest:      0.0184 secs
  Average:      0.0222 secs
  Requests/sec: 44.9408
  

Response time histogram:
  0.018 [1]     |
  0.053 [26923] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
  0.088 [25]    |
  0.123 [4]     |
  0.158 [0]     |
  0.193 [1]     |
  0.228 [9]     |
  0.263 [1]     |
  0.298 [0]     |
  0.332 [0]     |
  0.367 [1]     |


Latency distribution:
  10% in 0.0199 secs
  25% in 0.0205 secs
  50% in 0.0213 secs
  75% in 0.0226 secs
  90% in 0.0253 secs
  95% in 0.0273 secs
  99% in 0.0353 secs

Details (average, fastest, slowest):
  DNS+dialup:   0.0000 secs, 0.0184 secs, 0.3673 secs
  DNS-lookup:   0.0000 secs, 0.0000 secs, 0.0079 secs
  req write:    0.0000 secs, 0.0000 secs, 0.0007 secs
  resp wait:    0.0220 secs, 0.0182 secs, 0.3672 secs
  resp read:    0.0002 secs, 0.0001 secs, 0.0046 secs

Status code distribution:
  [200] 26965 responses

แดชบอร์ดที่กำหนดเองของ Vertex

ไปที่การตรวจสอบ → แดชบอร์ด แล้วเลือกแดชบอร์ดที่กำหนดเองของ Vertex จากนั้นป้อน 10m หรือเวลาเริ่มต้นและหยุด ตรวจสอบว่าเขตเวลาถูกต้อง

เวลาในการตอบสนองของการคาดการณ์ในช่วง 10 นาทีที่ผ่านมาคือ 30.533 มิลลิวินาที

การดูคําจํากัดความของเวลาในการตอบสนองของการคาดการณ์จะแสดงเมตริกฝั่งเซิร์ฟเวอร์ที่วัดเวลารวมในการตอบสนองต่อคําขอของไคลเอ็นต์หลังจากได้รับคําตอบจากโมเดล

• ระยะเวลาในการตอบสนองทั้งหมด: เวลาทั้งหมดที่คำขอใช้ในบริการ ซึ่งก็คือเวลาในการตอบสนองของโมเดลบวกกับเวลาในการตอบสนองของค่าใช้จ่าย

ในทางตรงกันข้าม HEY เป็นเมตริกฝั่งไคลเอ็นต์ที่พิจารณาพารามิเตอร์ต่อไปนี้

คำขอจากไคลเอ็นต์ + เวลาในการตอบสนองทั้งหมด (รวมเวลาในการตอบสนองของโมเดล) + การตอบกลับของไคลเอ็นต์

ข้อมูลวิเคราะห์เครือข่าย

ตอนนี้เรามาดูเวลาในการตอบสนองของเครือข่ายภายในภูมิภาคที่ Network Intelligence รายงาน เพื่อให้ทราบถึงเวลาในการตอบสนองของ us-central1 ที่ Google Cloud Platform รายงาน

ไปที่ Cloud Console Network Intelligence → แดชบอร์ดประสิทธิภาพ แล้วเลือกตัวเลือกต่อไปนี้ตามที่ระบุไว้ในภาพหน้าจอด้านล่าง ซึ่งแสดงเวลาในการตอบสนองตั้งแต่ 0.2 ถึง 0.8 มิลลิวินาที

สรุปพื้นฐานของ HEY us-central1

การเปรียบเทียบเวลาในการตอบสนองทั้งหมดที่เครื่องมือทดสอบรายงานจะให้เวลาในการตอบสนองที่ต่ำกว่าไคลเอ็นต์ฝั่งตะวันตกเนื่องจากปลายทางของ Compute (ไคลเอ็นต์ส่วนกลาง) และ Vertex (โมเดลและการคาดการณ์ออนไลน์) อยู่ในภูมิภาคเดียวกัน

เครื่องมือวัดเวลาในการตอบสนอง	ระยะเวลา
ข้อมูลเชิงลึกเกี่ยวกับเครือข่าย: เวลาในการตอบสนองภายในภูมิภาค us-central1	~0.2 ถึง 0 .8 มิลลิวินาที
Cloud Monitoring: เวลาในการตอบสนองของการคาดการณ์ทั้งหมด [99th%]	30.533 มิลลิวินาที (99p)
เวลาในการตอบสนองทั้งหมดที่ Google รายงาน	~30.733 ถึง 31.333 มิลลิวินาที
เวลาในการตอบสนองฝั่งไคลเอ็นต์ของ HEY	35 มิลลิวินาที (99p)

18. ขอแสดงความยินดี

ขอแสดงความยินดี คุณได้ติดตั้งใช้งานและตรวจสอบ HEY เรียบร้อยแล้วเพื่อรับเวลาในการตอบสนองพื้นฐานของการคาดการณ์ฝั่งไคลเอ็นต์โดยใช้การผสมผสานระหว่าง Cloud Monitoring และ Network Intelligence จากการทดสอบ คุณควรระบุปลายทางการคาดการณ์ใน us-central ที่สามารถให้บริการระหว่างภูมิภาคได้ แต่พบว่ามีความหน่วง

Cosmopup คิดว่าบทแนะนำนั้นยอดเยี่ยมมาก!!

19. ล้างข้อมูล

ลบคอมโพเนนต์ของบทแนะนำจาก Cloud Shell

gcloud compute instances delete central-client --zone=us-central1-a -q

gcloud compute instances delete west-client --zone=us-west1-a -q

gcloud compute instances delete workbench-tutorial --zone=us-central1-a -q

gcloud compute forwarding-rules delete pscvertex --global --quiet 

gcloud compute addresses delete psc-ip --global --quiet

gcloud compute networks subnets delete workbench-subnet --region=us-central1 --quiet 

gcloud compute networks subnets delete us-west1-subnet --region=us-west1 --quiet

gcloud compute networks subnets delete us-central1-subnet --region=us-central1 --quiet

gcloud compute routers delete cloud-router-us-west1-aiml-nat --region=us-west1 --quiet

gcloud compute routers delete cloud-router-us-central1-aiml-nat --region=us-central1 --quiet

gcloud compute firewall-rules delete  ssh-iap-vpc --quiet

gcloud dns record-sets delete *.googleapis.com. --zone=psc-googleapis --type=A --quiet

gcloud dns managed-zones delete psc-googleapis --quiet

gcloud compute networks delete aiml-vpc --quiet

gcloud storage rm -r gs://$projectid-cpr-bucket

จาก Cloud Console ให้ลบรายการต่อไปนี้

โฟลเดอร์ Artifact Registry

ยกเลิกการติดตั้งใช้งานโมเดลจาก Vertex AI Model Registry โดยทำดังนี้

ลบปลายทางจากการคาดการณ์ออนไลน์ของ Vertex AI

สิ่งต่อไปที่ควรทำ

ดูบทแนะนำเหล่านี้

• Private Service Connect สำหรับ Google APIs
• Vertex AI สร้าง Notebook ที่จัดการโดยผู้ใช้ที่ปลอดภัย

อ่านเพิ่มเติมและวิดีโอ

• ภาพรวมของ Private Service Connect
• Private Service Connect คืออะไร
• วิธีรับการคาดการณ์จากโมเดล ML
• Vertex AI คืออะไร

เอกสารอ้างอิง

• ภาพรวมของการรับการคาดการณ์ใน Vertex AI
• รับการคาดการณ์จากโมเดลที่ฝึกแบบกำหนดเอง
• เมตริกของ Cloud Monitoring
• HEY Github
• Cloud Monitoring