หน้านี้ได้รับการแปลโดย Cloud Translation API

Vertex AI เข้าถึงปลายทางการคาดการณ์ออนไลน์แบบส่วนตัวโดยใช้ PSC

1. บทนำ

โฮสต์ภายในองค์กรเข้าถึงการคาดการณ์ออนไลน์ได้จากอินเทอร์เน็ตสาธารณะ (ตัวเลือกที่ 1) หรือใช้ Cloud VPN หรือ Cloud Interconnect ด้วย Private Service Connect (PSC) (ตัวเลือกที่ 2) จากเครือข่ายภายในองค์กรของคุณ โดยทั้ง 2 บริการมีการเข้ารหัส SSL/TLS การเชื่อมต่อแบบผสมไปยังการคาดการณ์ออนไลน์ผ่านการเชื่อมต่อถึงกันมีประสิทธิภาพมากกว่าอินเทอร์เน็ต ดังนั้นเราจึงแนะนำสำหรับแอปพลิเคชันที่สำคัญ ดังที่แสดงในรูปที่ 1

ในบทแนะนำนี้ เราจะสาธิตวิธีใช้ VPN ความพร้อมใช้งานสูง (HA VPN) เพื่อเข้าถึงการคาดการณ์ออนไลน์แบบส่วนตัวระหว่างเครือข่าย VPC 2 เครือข่ายที่ใช้เป็นพื้นฐานของการเชื่อมต่อแบบมัลติคลาวด์และภายในองค์กรได้

โปรดทราบว่า Vertex Online Prediction เป็นปลายทางสาธารณะ คุณจึงต้องจำกัดการเข้าถึงโดยใช้การควบคุมบริการ VPC (VPC-SC) เพื่อสร้างขอบเขตที่ปลอดภัยเพื่ออนุญาตหรือปฏิเสธการเข้าถึง Vertex และ Googleapis อื่นๆ บทแนะนำนี้ไม่ครอบคลุม VPC-SC โปรดดูรายละเอียดเพิ่มเติมที่การควบคุมบริการ VPC กับ Vertex AI

สิ่งที่คุณจะสร้าง

คุณจะตั้งค่าเครือข่าย VPC ชื่อ on-prem-vpc เพื่อแสดงสภาพแวดล้อมภายในองค์กร on-prem-vpc สำหรับการทำให้ใช้งานได้นี้จะไม่มีอยู่ แต่จะใช้เครือข่ายแบบผสมไปยังศูนย์ข้อมูลภายในองค์กรหรือผู้ให้บริการคลาวด์แทน

คุณกำลังจะสร้างสถาปัตยกรรม Private Service Connect ที่ครอบคลุมซึ่งแสดงการเข้าถึงการคาดการณ์ออนไลน์แบบสาธารณะผ่าน Cloud NAT และใช้ PSC ผ่าน HA VPN โดยละเอียดตามรายละเอียดด้านล่าง

หมายเหตุ: Lab ใช้โมเดลที่มีอยู่และ Codelab ปลายทางของการคาดการณ์ออนไลน์ ซึ่งจำเป็นต่อการตรวจสอบการเชื่อมต่อการคาดการณ์ เมื่อสร้างสมุดบันทึก โปรดตรวจสอบว่าได้ใช้ส่วนเครือข่าย SPM-Vpc และเครือข่ายย่อย Workbench-subnet ของบทแนะนำ ระบบจะขอให้คุณทำให้ Codelab ใช้งานได้ในขั้นตอนการติดตั้งใช้งานโมเดลและการคาดการณ์ออนไลน์

เมื่อใช้งานการคาดการณ์ออนไลน์ในโปรเจ็กต์ Google Cloud แล้ว ระบบจะสำรวจกรณีการใช้งานต่อไปนี้

การเข้าถึงการคาดการณ์ออนไลน์แบบสาธารณะประกอบด้วยรายการต่อไปนี้

สร้างอินสแตนซ์ GCE (nat-client) ที่ใช้ประโยชน์จาก NAT สำหรับการเข้าถึงอินเทอร์เน็ตขาออก
ใช้ CURL เพื่ออนุมานกับโมเดล
ใช้ TCPDUMP เพื่อตรวจสอบว่ามีการเข้าถึงการคาดการณ์ออนไลน์ผ่าน VIP สาธารณะ

การเข้าถึงการคาดการณ์ออนไลน์แบบส่วนตัวประกอบด้วยข้อมูลต่อไปนี้

ทำให้โมเดลใช้งานได้ที่ปลายทางการคาดการณ์ออนไลน์ aVertex ในโปรเจ็กต์
สร้างปลายทาง Private Service Connect (Googleapis) ใน SPM-vpc
ส่งออกที่อยู่ IP ของ PSC ผ่านเราเตอร์ระบบคลาวด์เป็นโฆษณาที่กำหนดเองไปยัง VPC ภายในองค์กร
สร้างอินสแตนซ์ GCE (private-client) และอัปเดตไฟล์ etc/hosts ด้วย IP ปลายทางของ PSC
ใช้ CURL เพื่ออนุมานกับโมเดล
ใช้ TCPDUMP เพื่อตรวจสอบว่ามีการเข้าถึงการคาดการณ์ออนไลน์ผ่านที่อยู่ IP ปลายทางของ PSC

สิ่งที่คุณจะได้เรียนรู้

วิธีสร้างปลายทาง Private Service Connect
วิธีโฆษณา IP ปลายทางของ PSC ผ่าน Cloud Router
วิธีใช้ TCPDUMP เพื่อตรวจสอบสิทธิ์เข้าถึงการคาดการณ์ออนไลน์ ทั้งแบบสาธารณะและส่วนตัว

สิ่งที่คุณต้องมี

โปรเจ็กต์ Google Cloud

สิทธิ์ IAM

ผู้ดูแลระบบเครือข่ายคอมพิวเตอร์

ผู้แก้ไข Service Directory

ผู้ดูแลระบบ DNS

ผู้ดูแลระบบเครือข่าย

ผู้ดูแลระบบโควต้า

ผู้ดูแลระบบสมุดบันทึก

ผู้ใช้บัญชีบริการ

ผู้ดูแลระบบพื้นที่เก็บข้อมูล

ผู้ใช้ Vertex AI

ผู้ดูแลระบบบัญชีบริการ

2. ก่อนเริ่มต้น

อัปเดตโปรเจ็กต์เพื่อรองรับบทแนะนำ

บทแนะนำนี้ใช้ $variables เพื่อช่วยในการติดตั้งใช้งานการกำหนดค่า gcloud ใน Cloud Shell

ภายใน Cloud Shell ให้ดำเนินการต่อไปนี้

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid

3. เปิดใช้บริการ

ภายใน Cloud Shell ให้ดำเนินการต่อไปนี้

gcloud services enable dns.googleapis.com
gcloud services enable aiplatform.googleapis.com
gcloud services enable iam.googleapis.com 
gcloud services enable compute.googleapis.com 
gcloud services enable notebooks.googleapis.com

4. การตั้งค่า ANRL-VPC

สร้าง SPM-vpc

ภายใน Cloud Shell ให้ดำเนินการต่อไปนี้

gcloud compute networks create aiml-vpc --project=$projectid --subnet-mode=custom

สร้างซับเน็ตของสมุดบันทึกที่จัดการโดยผู้ใช้

ภายใน Cloud Shell ให้ดำเนินการต่อไปนี้

gcloud compute networks subnets create workbench-subnet --project=$projectid --range=172.16.10.0/28 --network=aiml-vpc --region=us-central1 --enable-private-ip-google-access

การกำหนดค่า Cloud Router และ NAT

Cloud NAT จะใช้ในบทแนะนำสำหรับการดาวน์โหลดแพ็กเกจซอฟต์แวร์สมุดบันทึกเนื่องจากอินสแตนซ์สมุดบันทึกที่จัดการโดยผู้ใช้ไม่มีที่อยู่ IP ภายนอก Cloud NAT ยังมีความสามารถ NAT ขาออก ซึ่งหมายความว่าโฮสต์อินเทอร์เน็ตจะไม่ได้รับอนุญาตให้เริ่มต้นการสื่อสารกับสมุดบันทึกที่จัดการโดยผู้ใช้ ซึ่งทำให้มีความปลอดภัยมากขึ้น

สร้างเราเตอร์ระบบคลาวด์ระดับภูมิภาคใน Cloud Shell

gcloud compute routers create cloud-router-us-central1-aiml-nat --network aiml-vpc --region us-central1

สร้างเกตเวย์ Cloud nat ระดับภูมิภาคใน Cloud Shell

gcloud compute routers nats create cloud-nat-us-central1 --router=cloud-router-us-central1-aiml-nat --auto-allocate-nat-external-ips --nat-all-subnet-ip-ranges --region us-central1

5. การตั้งค่า VPC ภายในองค์กร

สร้าง on-prem-vpc

ภายใน Cloud Shell ให้ดำเนินการต่อไปนี้

gcloud compute networks create on-prem-vpc --project=$projectid --subnet-mode=custom

สร้างซับเน็ต Nat

ภายใน Cloud Shell ให้ดำเนินการต่อไปนี้

gcloud compute networks subnets create nat-subnet --project=$projectid --range=192.168.10.0/28 --network=on-prem-vpc --region=us-central1

สร้างซับเน็ต IP ส่วนตัว

ภายใน Cloud Shell ให้ดำเนินการต่อไปนี้

gcloud compute networks subnets create private-ip-subnet --project=$projectid --range=192.168.20.0/28 --network=on-prem-vpc --region=us-central1

การกำหนดค่า Cloud Router และ NAT

มีการใช้ Cloud NAT ในบทแนะนำสำหรับการดาวน์โหลดแพ็กเกจซอฟต์แวร์ Cloud NAT ยังมีความสามารถ NAT ขาออก ซึ่งหมายความว่าโฮสต์อินเทอร์เน็ตจะไม่ได้รับอนุญาตให้เริ่มการสื่อสารกับการประมวลผล ซึ่งทำให้ปลอดภัยมากขึ้น

สร้างเราเตอร์ระบบคลาวด์ระดับภูมิภาคใน Cloud Shell

gcloud compute routers create cloud-router-us-central1-on-prem-nat --network on-prem-vpc --region us-central1

สร้างเกตเวย์ Cloud nat ระดับภูมิภาคใน Cloud Shell

gcloud compute routers nats create cloud-nat-us-central1 --router=cloud-router-us-central1-on-prem-nat --auto-allocate-nat-external-ips --nat-all-subnet-ip-ranges --region us-central1

6. สร้างปลายทาง Private Service Connect

ในส่วนต่อไปนี้ คุณจะต้องสร้างปลายทาง Private Service Connect (PSC) ที่จะใช้ในการเข้าถึง Vertex API จาก on-prem-vpc ระบบจะโฆษณาที่อยู่ IP ของ PSC 100.100.10.10 จากขีปนาวุธ vpc-cloud-Router-vpn เป็นโฆษณาเราเตอร์ที่กําหนดเองไปยังเครือข่ายภายในองค์กรในขั้นตอนถัดไป

จาก Cloud Shell

gcloud compute addresses create psc-ip \
    --global \
    --purpose=PRIVATE_SERVICE_CONNECT \
    --addresses=100.100.10.10 \
    --network=aiml-vpc

สร้างปลายทาง PSC

จาก Cloud Shell

gcloud compute forwarding-rules create pscvertex \
    --global \
    --network=aiml-vpc \
    --address=psc-ip \
    --target-google-apis-bundle=all-apis

แสดงรายการปลายทาง Private Service Connect ที่กำหนดค่าไว้

จาก Cloud Shell

gcloud compute forwarding-rules list  \
--filter target="(all-apis OR vpc-sc)" --global

อธิบายปลายทาง Private Service Connect ที่กำหนดค่าไว้

จาก Cloud Shell

gcloud compute forwarding-rules describe \
    pscvertex --global

7. การเชื่อมต่อแบบผสม

ในส่วนต่อไปนี้ คุณจะสร้าง Cloud Router เพื่อแลกเปลี่ยนเส้นทางแบบไดนามิกระหว่าง Virtual Private Cloud (VPC) และเครือข่ายเพียร์โดยใช้ Border Gateway Protocol (BGP)

เราเตอร์ระบบคลาวด์สามารถตั้งค่าเซสชัน BGP ผ่านอุโมงค์ข้อมูล Cloud VPN เพื่อเชื่อมต่อเครือข่ายของคุณ ซึ่งจะเรียนรู้ช่วงที่อยู่ IP ของซับเน็ตใหม่โดยอัตโนมัติและประกาศให้กับเครือข่ายเพียร์ของคุณ

ในบทแนะนำ คุณจะได้ทำให้ HA VPN ใช้งานได้ระหว่าง aiml-vpc และ on-prem-vpc

สร้างเกตเวย์ VPN ความพร้อมใช้งานสูงสำหรับ aiml-vpc

เมื่อสร้างเกตเวย์แต่ละรายการแล้ว ระบบจะจัดสรรที่อยู่ IPv4 ภายนอก 2 รายการโดยอัตโนมัติ 1 รายการสำหรับแต่ละอินเทอร์เฟซเกตเวย์

สร้างเกตเวย์ VPN ความพร้อมใช้งานสูงใน Cloud Shell

gcloud compute vpn-gateways create aiml-vpn-gw \
   --network=aiml-vpc\
   --region=us-central1

สร้างเกตเวย์ VPN ความพร้อมใช้งานสูงสำหรับ on-prem-vpc

เมื่อสร้างเกตเวย์แต่ละรายการแล้ว ระบบจะจัดสรรที่อยู่ IPv4 ภายนอก 2 รายการโดยอัตโนมัติ 1 รายการสำหรับแต่ละอินเทอร์เฟซเกตเวย์ จดที่อยู่ IP เหล่านี้ไว้เพื่อใช้ในภายหลังในขั้นตอนการกำหนดค่า

สร้างเกตเวย์ VPN ความพร้อมใช้งานสูงใน Cloud Shell

gcloud compute vpn-gateways create on-prem-vpn-gw \
   --network=on-prem-vpc\
   --region=us-central1

ตรวจสอบการสร้างเกตเวย์ VPN ความพร้อมใช้งานสูง

เมื่อใช้คอนโซล ให้ไปที่การเชื่อมต่อไฮบริด → VPN → เกตเวย์ VPN ของ CLOUD และตรวจสอบว่าได้สร้าง IP เกตเวย์แล้ว

สร้างเราเตอร์ระบบคลาวด์สำหรับ scorel-vpc

ใน Cloud Shell ให้สร้าง Cloud Router ใน us-central1

gcloud compute routers create aiml-cr-us-central1 \
   --region=us-central1 \
   --network=aiml-vpc\
   --asn=65001

สร้างเราเตอร์ระบบคลาวด์สำหรับ on-prem-vpc

ใน Cloud Shell ให้สร้าง Cloud Router ใน us-central1

gcloud compute routers create on-prem-cr-us-central1 \
   --region=us-central1 \
   --network=on-prem-vpc \
   --asn=65002

สร้างอุโมงค์ข้อมูล VPN สำหรับ AOL-vpc

คุณจะต้องสร้างอุโมงค์ข้อมูล VPN 2 รายการบนเกตเวย์ HA VPN แต่ละรายการ

สร้างอุโมงค์ข้อมูล VPN0

สร้าง Tunnel0 ใน Cloud Shell:

gcloud compute vpn-tunnels create aiml-vpc-tunnel0 \
    --peer-gcp-gateway on-prem-vpn-gw \
    --region us-central1 \
    --ike-version 2 \
    --shared-secret [ZzTLxKL8fmRykwNDfCvEFIjmlYLhMucH] \
    --router aiml-cr-us-central1 \
    --vpn-gateway aiml-vpn-gw \
    --interface 0

สร้างอุโมงค์ข้อมูล VPN 1

สร้าง Tunnel1 ใน Cloud Shell:

gcloud compute vpn-tunnels create aiml-vpc-tunnel1 \
    --peer-gcp-gateway on-prem-vpn-gw \
    --region us-central1 \
    --ike-version 2 \
    --shared-secret [bcyPaboPl8fSkXRmvONGJzWTrc6tRqY5] \
    --router aiml-cr-us-central1 \
    --vpn-gateway aiml-vpn-gw \
    --interface 1

สร้างอุโมงค์ข้อมูล VPN สำหรับ on-prem-vpc

คุณจะต้องสร้างอุโมงค์ข้อมูล VPN 2 รายการบนเกตเวย์ HA VPN แต่ละรายการ

สร้างอุโมงค์ข้อมูล VPN0

สร้าง Tunnel0 ใน Cloud Shell:

gcloud compute vpn-tunnels create on-prem-tunnel0 \
    --peer-gcp-gateway aiml-vpn-gw \
    --region us-central1 \
    --ike-version 2 \
    --shared-secret [ZzTLxKL8fmRykwNDfCvEFIjmlYLhMucH] \
    --router on-prem-cr-us-central1 \
    --vpn-gateway on-prem-vpn-gw \
    --interface 0

สร้างอุโมงค์ข้อมูล VPN 1

สร้าง Tunnel1 ใน Cloud Shell:

gcloud compute vpn-tunnels create on-prem-tunnel1 \
    --peer-gcp-gateway aiml-vpn-gw \
    --region us-central1 \
    --ike-version 2 \
    --shared-secret [bcyPaboPl8fSkXRmvONGJzWTrc6tRqY5] \
    --router on-prem-cr-us-central1 \
    --vpn-gateway on-prem-vpn-gw \
    --interface 1

ตรวจสอบการสร้างอุโมงค์ข้อมูล VPN

ในการใช้คอนโซล ให้ไปที่การเชื่อมต่อแบบไฮบริด → VPN → CLOUD VPN TUNNELS

8. สร้างเพื่อนบ้าน BGP

สร้างเซสชัน BGP

ในส่วนนี้ คุณจะได้กำหนดค่าอินเทอร์เฟซ Cloud Router และเพียร์ BGP

สร้างอินเทอร์เฟซ BGP และการเพียร์สำหรับ Goall-vpc

สร้างอินเทอร์เฟซ BGP ใน Cloud Shell ดังนี้

gcloud compute routers add-interface aiml-cr-us-central1 \
    --interface-name if-tunnel0-to-onprem \
    --ip-address 169.254.1.1 \
    --mask-length 30 \
    --vpn-tunnel aiml-vpc-tunnel0 \
    --region us-central1

สร้างเพียร์ BGP ใน Cloud Shell ดังนี้

gcloud compute routers add-bgp-peer aiml-cr-us-central1 \
    --peer-name bgp-on-premises-tunnel0 \
    --interface if-tunnel1-to-onprem \
    --peer-ip-address 169.254.1.2 \
    --peer-asn 65002 \
    --region us-central1

สร้างอินเทอร์เฟซ BGP ใน Cloud Shell ดังนี้

gcloud compute routers add-interface aiml-cr-us-central1 \
    --interface-name if-tunnel1-to-onprem \
    --ip-address 169.254.2.1 \
    --mask-length 30 \
    --vpn-tunnel aiml-vpc-tunnel1 \
    --region us-central1

สร้างเพียร์ BGP ใน Cloud Shell ดังนี้

gcloud compute routers add-bgp-peer aiml-cr-us-central1 \
    --peer-name bgp-on-premises-tunnel1 \
    --interface if-tunnel2-to-onprem \
    --peer-ip-address 169.254.2.2 \
    --peer-asn 65002 \
    --region us-central1

สร้างอินเทอร์เฟซ BGP และการเพียร์สำหรับ on-prem-vpc

สร้างอินเทอร์เฟซ BGP ใน Cloud Shell ดังนี้

gcloud compute routers add-interface on-prem-cr-us-central1 \
    --interface-name if-tunnel0-to-aiml-vpc\
    --ip-address 169.254.1.2 \
    --mask-length 30 \
    --vpn-tunnel on-prem-tunnel0 \
    --region us-central1

สร้างเพียร์ BGP ใน Cloud Shell ดังนี้

gcloud compute routers add-bgp-peer on-prem-cr-us-central1 \
    --peer-name bgp-aiml-vpc-tunnel0 \
    --interface if-tunnel1-to-aiml-vpc\
    --peer-ip-address 169.254.1.1 \
    --peer-asn 65001 \
    --region us-central1

สร้างอินเทอร์เฟซ BGP ใน Cloud Shell ดังนี้

gcloud compute routers add-interface on-prem-cr-us-central1 \
    --interface-name if-tunnel1-to-aiml-vpc\
    --ip-address 169.254.2.2 \
    --mask-length 30 \
    --vpn-tunnel on-prem-tunnel1 \
    --region us-central1

สร้างเพียร์ BGP ใน Cloud Shell ดังนี้

gcloud compute routers add-bgp-peer on-prem-cr-us-central1 \
    --peer-name bgp-aiml-vpc-tunnel1\
    --interface if-tunnel2-to-aiml-vpc\
    --peer-ip-address 169.254.2.1 \
    --peer-asn 65001 \
    --region us-central1

ไปที่การเชื่อมต่อแบบผสม → VPN เพื่อดูรายละเอียดอุโมงค์ข้อมูล VPN

ตรวจสอบเส้นทางที่เรียนรู้ DMCAL-vpc ผ่าน HA VPN

เมื่อใช้คอนโซล ให้ไปที่เครือข่าย VPC → เครือข่าย VPC → requestl-vpc→ ROUTES → REGION → US-CENTRAL1 → VIEW

สังเกต Gemini ที่เรียนรู้เส้นทางจากซับเน็ต nat-VPC ภายในองค์กรและซับเน็ต IP ส่วนตัว

ตรวจสอบว่า on-prem-vpc เรียนรู้ซับเน็ต Workbench ผ่าน HA-VPN

ในการใช้คอนโซล ให้ไปที่เครือข่าย VPC → เครือข่าย VPC → on-prem-vpc → เส้นทาง → ภูมิภาค → US-CENTRAL1 → VIEW

9. สร้างโฆษณาเส้นทางที่กำหนดเอง DMCAL-vpc

เราเตอร์ระบบคลาวด์targetl-cr-us-central1 ไม่ได้โฆษณา IP Endpoint สำหรับ Private Service Connect โดยอัตโนมัติ เนื่องจากไม่มีการกำหนดค่าซับเน็ตใน VPC

แต่คุณจะต้องสร้างโฆษณาเส้นทางที่กำหนดเองจากเราเตอร์ระบบคลาวด์ Azurel-cr-us-central สำหรับที่อยู่ IP ปลายทาง 100.100.10.10 ที่จะโฆษณาในสภาพแวดล้อมภายในองค์กรผ่าน BGP ไปยัง VM ภายในองค์กรแทน

จากคอนโซล ให้ไปที่การเชื่อมต่อขั้นสูง → CLOUD ROUTERS → scorel-cr-us-central1 แล้วเลือกแก้ไข

ในส่วนเส้นทางที่โฆษณา ให้เลือกตัวเลือกสร้างเส้นทางที่กำหนดเอง อัปเดตช่องตามตัวอย่างด้านล่าง เลือกเสร็จสิ้น แล้วคลิกบันทึก

การตรวจสอบความถูกต้อง

ตรวจสอบว่า on-prem-vpc เรียนรู้ที่อยู่ IP ปลายทางของ PSC ผ่าน HA-VPN

10. สร้างโฆษณาเส้นทางที่กำหนดเองบน Prem-vpc

เราเตอร์ระบบคลาวด์ VPC ภายในองค์กรจะโฆษณาซับเน็ตทั้งหมดโดยค่าเริ่มต้น แต่จำเป็นต้องใช้เฉพาะซับเน็ต IP ส่วนตัวเท่านั้น

ในส่วนต่อไปนี้ ให้อัปเดตเส้นทางโฆษณาจากเราเตอร์ระบบคลาวด์ on-prem-cr-us-central1

จากคอนโซล ให้ไปที่ HYBRID CONNECTIVITY → CLOUD ROUTERS → on-prem-cr-us-central1 แล้วเลือกแก้ไข

การตรวจสอบความถูกต้อง

ตรวจสอบว่า DMCAl-vpc เรียนรู้เส้นทาง Private-IP-subnet จาก on-prem-vpc

11. สร้างบัญชีบริการที่จัดการโดยผู้ใช้ (อินสแตนซ์ GCE)

คุณต้องมีบัญชีบริการที่จัดการโดยผู้ใช้ซึ่งจะนำไปใช้กับอินสแตนซ์ไคลเอ็นต์ nat และ Private ทั้งนี้เพื่อให้การควบคุม Vertex API เป็นไปในระดับที่เหมาะสม เมื่อสร้างแล้ว คุณจะแก้ไขสิทธิ์ของบัญชีบริการได้ตามข้อกําหนดทางธุรกิจ ในบทแนะนำ บัญชีบริการที่จัดการโดยผู้ใช้ vertex-sa จะมีบทบาทต่อไปนี้

คุณต้อง Service Account API ก่อนดำเนินการต่อ

สร้างบัญชีบริการใน Cloud Shell

gcloud iam service-accounts create gce-vertex-sa \
    --description="service account for vertex" \
    --display-name="gce-vertex-sa"

ใน Cloud Shell ให้อัปเดตบัญชีบริการด้วยบทบาทผู้ดูแลระบบอินสแตนซ์การประมวลผล

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:gce-vertex-sa@$projectid.iam.gserviceaccount.com" --role="roles/compute.instanceAdmin.v1"

ใน Cloud Shell ให้อัปเดตบัญชีบริการด้วยบทบาทผู้ใช้ Vertex AI

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:gce-vertex-sa@$projectid.iam.gserviceaccount.com" --role="roles/aiplatform.user"

12. สร้างบัญชีบริการที่จัดการโดยผู้ใช้ (สมุดบันทึก)

ในส่วนต่อไปนี้ คุณจะต้องสร้างบัญชีบริการที่มีการจัดการโดยผู้ใช้ซึ่งจะเชื่อมโยงกับ Vertex Workbench (สมุดบันทึก) ที่ใช้ในบทแนะนำ

ในบทแนะนำ บัญชีบริการจะใช้บทบาทต่อไปนี้

สร้างบัญชีบริการใน Cloud Shell

gcloud iam service-accounts create user-managed-notebook-sa \
    --display-name="user-managed-notebook-sa"

ภายใน Cloud Shell ให้อัปเดตบัญชีบริการด้วยบทบาทผู้ดูแลระบบ Storage

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/storage.admin"

ใน Cloud Shell ให้อัปเดตบัญชีบริการด้วยบทบาทผู้ใช้ Vertex AI

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/aiplatform.user"

ใน Cloud Shell ให้อัปเดตบัญชีบริการด้วยบทบาทผู้ดูแลระบบ Artifact Registry

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/artifactregistry.admin"

ภายใน Cloud Shell ให้ระบุบัญชีบริการและจดบันทึกอีเมลที่จะใช้เมื่อสร้างสมุดบันทึกที่จัดการโดยผู้ใช้

gcloud iam service-accounts list

13. สร้างอินสแตนซ์ทดสอบแล้ว

ในส่วนต่อไปนี้ คุณจะต้องสร้างอินสแตนซ์ทดสอบเพื่อตรวจสอบเมธอดต่างๆ ในการเข้าถึง Vertex API โดยเฉพาะ

อินสแตนซ์ nat-client, จะใช้ Cloud NAT เพื่อแก้ไข Vertex AI จึงเข้าถึงปลายทางการคาดการณ์ออนไลน์ผ่านอินเทอร์เน็ต
อินสแตนซ์ private-client จะใช้ IP 100.100.10.10 ของ Private Service Connect เพื่อเข้าถึงปลายทางการคาดการณ์ออนไลน์ผ่าน HA-VPN

สร้างอินสแตนซ์ nat-client ใน Cloud Shell

gcloud compute instances create nat-client \
    --zone=us-central1-a \
    --image-family=debian-11 \
    --image-project=debian-cloud \
    --subnet=nat-subnet \
    --service-account=vertex-sa@$projectid.iam.gserviceaccount.com \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
    --no-address \
    --metadata startup-script="#! /bin/bash
      sudo apt-get update
      sudo apt-get install tcpdump dnsutils -y"

สร้างอินสแตนซ์ private-client ใน Cloud Shell

gcloud compute instances create private-client \
    --zone=us-central1-a \
    --image-family=debian-11 \
    --image-project=debian-cloud \
    --subnet=private-ip-subnet \
    --service-account=vertex-sa@$projectid.iam.gserviceaccount.com \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
    --no-address \
    --metadata startup-script="#! /bin/bash
      sudo apt-get update
      sudo apt-get install tcpdump dnsutils -y"

หากต้องการอนุญาตให้ Identity-Aware Proxy (IAP) เชื่อมต่อกับอินสแตนซ์ VM ให้สร้างกฎการเก็บรักษาดังนี้

ใช้กับอินสแตนซ์ VM ทั้งหมดที่คุณต้องการให้เข้าถึงได้โดยใช้ IAP
อนุญาตการรับส่งข้อมูลขาเข้าจากช่วง IP 35.235.240.0/20 ช่วงนี้ประกอบด้วยที่อยู่ IP ทั้งหมดที่ IAP ใช้สำหรับการส่งต่อ TCP

สร้างกฎไฟร์วอลล์ IAP ใน Cloud Shell

gcloud compute firewall-rules create ssh-iap-on-prem-vpc \
    --network on-prem-vpc \
    --allow tcp:22 \
    --source-ranges=35.235.240.0/20

14. สร้างสมุดบันทึกที่จัดการโดยผู้ใช้

Notebook API

ในส่วนต่อไปนี้ ให้สร้างสมุดบันทึกที่จัดการโดยผู้ใช้ ซึ่งรวมบัญชีบริการที่สร้างไว้ก่อนหน้านี้ ซึ่งก็คือ user-managed-notebook-sa

ภายใน Cloud Shell ให้สร้างอินสแตนซ์ Private-client

gcloud notebooks instances create workbench-tutorial \
      --vm-image-project=deeplearning-platform-release \
      --vm-image-family=common-cpu-notebooks \
      --machine-type=n1-standard-4 \
      --location=us-central1-a \
      --subnet-region=us-central1 \
      --subnet=workbench-subnet \
      --no-public-ip    --service-account=user-managed-notebook-sa@$projectid.iam.gserviceaccount.com

15. ทำให้โมเดลและการคาดการณ์ออนไลน์ใช้งานได้

ในส่วนต่อไปนี้ ให้ใช้ Codelab,Vertex AI:ใช้กิจวัตรการคาดการณ์ที่กำหนดเองกับ Sklearn เพื่อประมวลผลล่วงหน้าและโพสต์ข้อมูลการประมวลผลสำหรับการคาดการณ์โดยเริ่มจากส่วนที่ 7 เนื่องจากคุณสร้างสมุดบันทึกไว้แล้วในขั้นตอนก่อนหน้า เมื่อทำให้โมเดลใช้งานได้แล้ว ให้กลับไปที่บทแนะนำเพื่อเริ่มส่วนถัดไป

16. ตรวจสอบการเข้าถึง Vertex API ผ่านอินเทอร์เน็ต

ในหัวข้อต่อไปนี้ คุณจะเข้าสู่ระบบอินสแตนซ์, nat-client และตรวจสอบการเชื่อมต่อกับ Vertex AI ผ่านการใช้ dig และ tcpdump เทียบกับโดเมน us-central1-aiplatform.googleapis.com ที่ใช้แก้ปัญหา Vertex API

เข้าสู่ระบบ nat-client โดยใช้ IAP ใน Cloud Shell เพื่อตรวจสอบการเชื่อมต่อกับ Vertex API โดยทำการค้นหาโดเมน Vertex us-central1-aiplatform.googleapis.com

gcloud compute ssh nat-client --project=$projectid --zone=us-central1-a --tunnel-through-iap

ดำเนินการสำรวจ

dig us-central1-aiplatform.googleapis.com

ตัวอย่างเช่น ให้จด IP สาธารณะในการตอบกลับ DNS

user@nat-client:~$ dig us-central1-aiplatform.googleapis.com

; <<>> DiG 9.16.42-Debian <<>> us-central1-aiplatform.googleapis.com
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 56761
;; flags: qr rd ra; QUERY: 1, ANSWER: 16, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 512
;; QUESTION SECTION:
;us-central1-aiplatform.googleapis.com. IN A

;; ANSWER SECTION:
us-central1-aiplatform.googleapis.com. 300 IN A 108.177.111.95
us-central1-aiplatform.googleapis.com. 300 IN A 142.250.1.95
us-central1-aiplatform.googleapis.com. 300 IN A 108.177.121.95
us-central1-aiplatform.googleapis.com. 300 IN A 142.250.103.95
us-central1-aiplatform.googleapis.com. 300 IN A 108.177.120.95
us-central1-aiplatform.googleapis.com. 300 IN A 142.251.171.95
us-central1-aiplatform.googleapis.com. 300 IN A 142.250.159.95
us-central1-aiplatform.googleapis.com. 300 IN A 142.251.120.95
us-central1-aiplatform.googleapis.com. 300 IN A 142.251.161.95
us-central1-aiplatform.googleapis.com. 300 IN A 142.251.172.95
us-central1-aiplatform.googleapis.com. 300 IN A 74.125.126.95
us-central1-aiplatform.googleapis.com. 300 IN A 74.125.70.95
us-central1-aiplatform.googleapis.com. 300 IN A 74.125.132.95
us-central1-aiplatform.googleapis.com. 300 IN A 74.125.201.95
us-central1-aiplatform.googleapis.com. 300 IN A 74.125.202.95
us-central1-aiplatform.googleapis.com. 300 IN A 74.125.69.95

;; Query time: 4 msec
;; SERVER: 169.254.169.254#53(169.254.169.254)
;; WHEN: Thu Jun 29 01:35:57 UTC 2023
;; MSG SIZE  rcvd: 322

จากระบบปฏิบัติการ nat-client ให้ใช้ tcpdump เพื่อตรวจสอบการแปลง DNS เมื่อดำเนินการ curl กับการคาดการณ์ออนไลน์

 sudo tcpdump -i any port 53 -n

ตัวอย่าง

user@nat-client:~$ sudo tcpdump -i any port 53 -n 
tcpdump: data link type LINUX_SLL2
tcpdump: verbose output suppressed, use -v[v]... for full protocol decode
listening on any, link-type LINUX_SLL2 (Linux cooked v2), snapshot length 262144 bytes

เปิดเทอร์มินัล Cloud Shell ใหม่โดยเลือก "+" เมื่อเปิดแท็บใหม่แล้ว ให้อัปเดตตัวแปรชื่อโปรเจ็กต์

ภายใน Cloud Shell ให้อัปเดตตัวแปรชื่อโปรเจ็กต์

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid

ใน Cloud Shell 2 ให้ดำเนินการอินสแตนซ์ ssh ไปยัง nat-client

gcloud compute ssh --zone "us-central1-a" "nat-client" --project "$projectid"

ในส่วนต่อไปนี้ คุณจะต้องสร้างไฟล์อินสแตนซ์.json โดยใช้ตัวแก้ไข sudo VI หรือ nano และแทรกสตริงข้อมูลที่ใช้เพื่อรับการคาดการณ์จากโมเดลที่ทำให้ใช้งานได้

จากระบบปฏิบัติการ nat-client ให้สร้าง instances.json f ที่มีสตริงข้อมูลด้านล่าง

{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

ตัวอย่าง

user@nat-client:$ more instances.json 
{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

user@nat-client:$

รับรหัสปลายทางของการคาดการณ์ออนไลน์จาก Cloud Console ซึ่งจะนำไปใช้ในขั้นตอนถัดไป

ไปที่ VERTEX AI → การคาดการณ์ออนไลน์

สร้างตัวแปรต่อไปนี้จากระบบปฏิบัติการ Nat-client

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid
ENDPOINT_ID="insert-your-endpoint-id-here"

ตัวอย่าง

ENDPOINT_ID="3328226095324463104"

ดำเนินการ Curl จากระบบปฏิบัติการ Nat-client เพื่อรับการตอบสนองจากโมเดล

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json

ตัวอย่างเช่น บันทึกการคาดคะเนที่สำเร็จ

user@nat-client$ curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json
{
  "predictions": [
    "$479.0",
    "$586.0"
  ],
  "deployedModelId": "1949163636186415104",
  "model": "projects/234086459238/locations/us-central1/models/947543727654567936",
  "modelDisplayName": "diamonds-cpr",
  "modelVersionId": "1"
}

17. การตรวจสอบ - การเข้าถึงอินเทอร์เน็ตสำหรับ Vertex API

ตอนนี้คุณดำเนินการคาดการณ์แล้ว มาดูผลลัพธ์ TCPDUMP (เทอร์มินัล 1) ที่ระบุว่าอินสแตนซ์ nat-client (192.168.10.2) ทำการค้นหา DNS ไปยังเซิร์ฟเวอร์ dns ในเครื่อง 169.254.169.254 สำหรับโดเมน Vertex AI us-central1-aiplatform.googleapis.com ผลลัพธ์ของคำขอ DNS คือที่อยู่ IP เสมือน (VIPS) สาธารณะสำหรับ Vertex API ตามที่ระบุไว้ด้านล่าง

user@nat-client:~$ sudo tcpdump -i any port 53 -n
tcpdump: data link type LINUX_SLL2
tcpdump: verbose output suppressed, use -v[v]... for full protocol decode
listening on any, link-type LINUX_SLL2 (Linux cooked v2), snapshot length 262144 bytes
20:05:09.260937 ens4  Out IP 192.168.10.2.40782 > 169.254.169.254.53: 47190+ A? oauth2.googleapis.com. (39)
20:05:09.260946 ens4  Out IP 192.168.10.2.40782 > 169.254.169.254.53: 28075+ AAAA? oauth2.googleapis.com. (39)
20:05:09.263556 ens4  In  IP 169.254.169.254.53 > 192.168.10.2.40782: 28075 4/0/0 AAAA 2607:f8b0:4001:c34::5f, AAAA 2607:f8b0:4001:c54::5f, AAAA 2607:f8b0:4001:c16::5f, AAAA 2607:f8b0:4001:c17::5f (151)
20:05:09.265018 ens4  In  IP 169.254.169.254.53 > 192.168.10.2.40782: 47190 16/0/0 A 74.125.201.95, A 74.125.202.95, A 74.125.69.95, A 64.233.183.95, A 173.194.193.95, A 173.194.194.95, A 173.194.195.95, A 173.194.196.95, A 173.194.197.95, A 64.233.191.95, A 173.194.74.95, A 173.194.192.95, A 209.85.145.95, A 209.85.146.95, A 209.85.147.95, A 142.250.125.95 (295)
20:05:09.474478 ens4  Out IP 192.168.10.2.57356 > 169.254.169.254.53: 36008+ A? us-central1-aiplatform.googleapis.com. (55)
20:05:09.474488 ens4  Out IP 192.168.10.2.57356 > 169.254.169.254.53: 47020+ AAAA? us-central1-aiplatform.googleapis.com. (55)
20:05:09.477190 ens4  In  IP 169.254.169.254.53 > 192.168.10.2.57356: 36008 16/0/0 A 173.194.194.95, A 173.194.195.95, A 173.194.196.95, A 173.194.197.95, A 173.194.74.95, A 173.194.192.95, A 209.85.145.95, A 209.85.146.95, A 209.85.147.95, A 142.250.125.95, A 142.250.136.95, A 142.250.148.95, A 209.85.200.95, A 209.85.234.95, A 142.250.152.95, A 142.250.128.95 (311)
20:05:09.478607 ens4  In  IP 169.254.169.254.53 > 192.168.10.2.57356: 47020 4/0/0 AAAA 2607:f8b0:4001:c1b::5f, AAAA 2607:f8b0:4001:c0c::5f, AAAA 2607:f8b0:4001:c0e::5f, AAAA 2607:f8b0:4001:c1e::5f (167)

18. เปิดใช้การเข้าถึง Vertex API แบบส่วนตัว

ในส่วนต่อไปนี้ คุณจะเข้าถึง Vertex API โดยใช้ Private Service Connect ผ่านเครือข่ายแบบผสม (HA VPN) เพื่อเข้าถึงการคาดการณ์ออนไลน์แบบส่วนตัว ในตัวอย่างที่ใช้ในบทแนะนำ คุณจะได้อัปเดตไฟล์ /etc/hosts ในอินสแตนซ์ private-client

ในสภาพแวดล้อมภายในองค์กรของคุณ การอัปเดตไฟล์ /etc/hosts เครื่องเดียวหรือหลายเครื่องสำหรับการทดสอบจะเหมาะสม อย่างไรก็ตาม สำหรับสภาพแวดล้อมขนาดใหญ่และสภาพแวดล้อมที่ใช้งานจริงที่สร้างโซนการส่งต่อใหม่โดยใช้ FQDN ปลายทางของ PSC จะเป็นสิ่งที่ควรมากกว่า

ตัวอย่างเช่น ปลายทาง psc ที่สร้างในบทแนะนำนี้เรียกว่า pscvertex ซึ่งแปลเป็น pscvertex.p.googleapis.com เมื่อใช้ปลายทางสำหรับ Vertex ให้ต่อท้าย FQDN ด้วยบริการ เช่น us-central1-aiplatform-pscvertex.p.googleapis.com

การอัปเดต DNS ภายในองค์กรด้วยปลายทาง PSC ยังต้องเปลี่ยนโครงสร้างภายในโค้ดของแอปพลิเคชันในเครื่องเพื่อเรียกใช้ FDQN เช่น us-central1-aiplatform-pscvertex.p.googleapis.com แทนปลายทางสาธารณะแบบเนทีฟ us-central1-aiplatform.googleapis.com

ไคลเอ็นต์ที่สามารถกำหนดค่าให้ใช้ปลายทางที่กำหนดเองสามารถใช้ชื่อ DNS ของ p.googleapis.com เพื่อส่งคำขอไปยังปลายทางได้

โปรดดูข้อมูลเกี่ยวกับการกำหนดค่าเพื่อใช้ปลายทางที่กำหนดเองในเอกสารประกอบของไคลเอ็นต์หรือไลบรารีของไคลเอ็นต์ เช่น

Python: คุณสามารถกำหนดค่า api_endpoint ในคลาสตัวเลือกไคลเอ็นต์ในแพ็กเกจ google-api-core
ไป: คุณสามารถกำหนดค่า WithEndpoint ในแพ็กเกจตัวเลือกไคลเอ็นต์ในแพ็กเกจ API
gcloud: คุณกำหนดค่า api_endpoint_overrides ได้

จาก Cloud Shell

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid

เข้าสู่ระบบ Private-client โดยใช้ IAP ใน Cloud Shell ใหม่เพื่อตรวจสอบการเชื่อมต่อกับ Vertex API โดยค้นหาโดเมน Vertex us-central1-aiplatform.googleapis.com

เข้าสู่ระบบอินสแตนซ์ระบบปฏิบัติการของไคลเอ็นต์ส่วนตัวจาก Cloud Shell

gcloud compute ssh private-client --project=$projectid --zone=us-central1-a --tunnel-through-iap

ดำเนินการสำรวจ

dig us-central1-aiplatform.googleapis.com

ตัวอย่างเช่น ให้จด IP สาธารณะตามการตอบสนองของ DNS

user@private-client:~$ dig us-central1-aiplatform.googleapis.com

; <<>> DiG 9.16.42-Debian <<>> us-central1-aiplatform.googleapis.com
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 33311
;; flags: qr rd ra; QUERY: 1, ANSWER: 16, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 512
;; QUESTION SECTION:
;us-central1-aiplatform.googleapis.com. IN A

;; ANSWER SECTION:
us-central1-aiplatform.googleapis.com. 300 IN A 74.125.132.95
us-central1-aiplatform.googleapis.com. 300 IN A 74.125.201.95
us-central1-aiplatform.googleapis.com. 300 IN A 74.125.202.95
us-central1-aiplatform.googleapis.com. 300 IN A 74.125.69.95
us-central1-aiplatform.googleapis.com. 300 IN A 64.233.182.95
us-central1-aiplatform.googleapis.com. 300 IN A 64.233.183.95
us-central1-aiplatform.googleapis.com. 300 IN A 173.194.193.95
us-central1-aiplatform.googleapis.com. 300 IN A 173.194.194.95
us-central1-aiplatform.googleapis.com. 300 IN A 173.194.195.95
us-central1-aiplatform.googleapis.com. 300 IN A 173.194.196.95
us-central1-aiplatform.googleapis.com. 300 IN A 173.194.197.95
us-central1-aiplatform.googleapis.com. 300 IN A 64.233.191.95
us-central1-aiplatform.googleapis.com. 300 IN A 173.194.74.95
us-central1-aiplatform.googleapis.com. 300 IN A 173.194.192.95
us-central1-aiplatform.googleapis.com. 300 IN A 209.85.145.95
us-central1-aiplatform.googleapis.com. 300 IN A 209.85.146.95

;; Query time: 4 msec
;; SERVER: 169.254.169.254#53(169.254.169.254)
;; WHEN: Sun Jul 02 20:5

อัปเดตอินสแตนซ์ Private-client /etc/hosts โดยใช้ตัวแก้ไข sudo VI หรือ nano เพื่อสร้างระเบียน Vertext AI FQDN us-central1-aiplatform.googleapis.com ที่ชี้ไปยังปลายทาง PSC 100.100.10.10 โดยไม่ต้องเปลี่ยนแปลงเพิ่มเติม

ตัวอย่าง

user@private-client:~$ more /etc/hosts
127.0.0.1       localhost
::1             localhost ip6-localhost ip6-loopback
ff02::1         ip6-allnodes
ff02::2         ip6-allrouters

100.100.10.10 us-central1-aiplatform.googleapis.com
192.168.20.2 private-client.c.$projectid.internal private-client  # Added by Google
169.254.169.254 metadata.google.internal  # Added by Google

จากระบบปฏิบัติการ Private-client ให้ PING ไปยังปลายทาง Vertex API

ping us-central1-aiplatform.googleapis.com

ตัวอย่างเช่น PING แสดงผล IP ปลายทางของ PSC แต่คาดว่าจะไม่ตอบกลับ

user@private-client:~$ ping us-central1-aiplatform.googleapis.com
PING us-central1-aiplatform.googleapis.com (100.100.10.10) 56(84) bytes of data.

จากระบบปฏิบัติการ Private-client ให้ใช้ tcpdump เพื่อตรวจสอบการแปลง DNS และพาธข้อมูล IP ไปยังปลายทาง PSC เมื่อดำเนินการ curl กับการคาดการณ์ออนไลน์

 sudo tcpdump -i any port 53 -n or host 100.100.10.10

เปิดเทอร์มินัล Cloud Shell 4 โดยเลือก "+" เมื่อเปิดแท็บใหม่แล้ว ให้อัปเดตตัวแปรชื่อโปรเจ็กต์

ภายใน Cloud Shell ให้อัปเดตตัวแปรชื่อโปรเจ็กต์

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid

ใน Cloud Shell 4 ให้ดำเนินการจาก SSH ไปยังอินสแตนซ์ Private-client

gcloud compute ssh --zone "us-central1-a" "private-client" --project "$projectid"

จากระบบปฏิบัติการ Private-client ให้สร้าง instances.json f โดยใช้สตริงข้อมูลด้านล่าง

{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

ตัวอย่าง

user@private-client:$ more instances.json 
{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

user@private-client:$

สร้างตัวแปรต่อไปนี้จากระบบปฏิบัติการ Private-client

gcloud config list project
projectid=YOUR-PROJECT-NAME
echo $projectid
ENDPOINT_ID="insert-your-endpoint-id-here"

ตัวอย่าง

ENDPOINT_ID="3328226095324463104"

จากระบบปฏิบัติการ Private-client ใน Cloud Shell 4 ให้ทำ Curl เพื่อรับการตอบสนองจากโมเดล

curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json

19. การตรวจสอบ - การเข้าถึง Vertex API แบบส่วนตัว

จากระบบปฏิบัติการ Private-client ใน Cloud Shell 4 โปรดทราบว่ามีการใช้ IP ปลายทางของ PSC (100.100.10.10) เพื่อเข้าถึง Vertex API

user@private-client$ curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json
Note: Unnecessary use of -X or --request, POST is already inferred.
*   Trying 100.100.10.10:443...
* Connected to us-central1-aiplatform.googleapis.com (100.100.10.10) port 443 (#0)
* ALPN, offering h2
* ALPN, offering http/1.1
* successfully set certificate verify locations:
*  CAfile: /etc/ssl/certs/ca-certificates.crt
*  CApath: /etc/ssl/certs
* TLSv1.3 (OUT), TLS handshake, Client hello (1):
* TLSv1.3 (IN), TLS handshake, Server hello (2):
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
* TLSv1.3 (IN), TLS handshake, Certificate (11):
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
* TLSv1.3 (IN), TLS handshake, Finished (20):
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
* TLSv1.3 (OUT), TLS handshake, Finished (20):
* SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384
* ALPN, server accepted to use h2
* Server certificate:
*  subject: CN=upload.video.google.com
*  start date: May 29 08:21:36 2023 GMT
*  expire date: Aug 21 08:21:35 2023 GMT
*  subjectAltName: host "us-central1-aiplatform.googleapis.com" matched cert's "*.googleapis.com"
*  issuer: C=US; O=Google Trust Services LLC; CN=GTS CA 1C3
*  SSL certificate verify ok.
* Using HTTP2, server supports multi-use
* Connection state changed (HTTP/2 confirmed)
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
* Using Stream ID: 1 (easy handle 0x55f2ab65c2c0)
> POST /v1/projects/$projectid/locations/us-central1/endpoints/3328226095324463104:predict HTTP/2
> Host: us-central1-aiplatform.googleapis.com
> user-agent: curl/7.74.0
> accept: */*
> authorization: Bearer ya29.a0AbVbY6NdCbIJYj0mQROeq-xYgQCw534TTtjRc1kBAEOimKCFxb3gqgD5AvhfefJatSNr33eW1YJirfQVMptFoqfjRoB-i8zEJJ_GGCVqhsVnpSOjK0hzJQSuo2YGjIiSe1o1zdo7lWmh1Px-vLe8FImieGkrQ1hqVaa6aCgYKAXgSARESFQFWKvPlUQ_FuKB2hrDJRyFDjupL1g0171
> content-type: application/json
> content-length: 154
> 
* Connection state changed (MAX_CONCURRENT_STREAMS == 100)!
* We are completely uploaded and fine
< HTTP/2 200 
< content-type: application/json; charset=UTF-8
< x-vertex-ai-internal-prediction-backend: harpoon
< date: Mon, 03 Jul 2023 22:13:35 GMT
< vary: X-Origin
< vary: Referer
< vary: Origin,Accept-Encoding
< server: scaffolding on HTTPServer2
< cache-control: private
< x-xss-protection: 0
< x-frame-options: SAMEORIGIN
< x-content-type-options: nosniff
< accept-ranges: none
< 
{
  "predictions": [
    "$479.0",
    "$586.0"
  ],
  "deployedModelId": "1949163636186415104",
  "model": "projects/234086459238/locations/us-central1/models/947543727654567936",
  "modelDisplayName": "diamonds-cpr",
  "modelVersionId": "1"
}
* Connection #0 to host us-central1-aiplatform.googleapis.com left intact

จากเทอร์มินัล TCPDUMP 3 ใน Cloud Shell เราสามารถตรวจสอบได้ว่าการค้นหา DNS ไปยัง us-central1-aiplatform.googleapis.com ไม่ได้รับการสังเกตการณ์เนื่องจากไฟล์ /etc/host มีความสำคัญเหนือกว่า แต่มีการใช้ที่อยู่ IP 100.100.10.10 ของ PSC ในเส้นทางข้อมูล

user@private-client:~$ sudo tcpdump -i any port 53 -n or host 100.100.10.10
tcpdump: data link type LINUX_SLL2
tcpdump: verbose output suppressed, use -v[v]... for full protocol decode
listening on any, link-type LINUX_SLL2 (Linux cooked v2), snapshot length 262144 bytes
22:13:35.507625 ens4  Out IP 192.168.20.2.37004 > 169.254.169.254.53: 58585+ A? oauth2.googleapis.com. (39)
22:13:35.507631 ens4  Out IP 192.168.20.2.37004 > 169.254.169.254.53: 15580+ AAAA? oauth2.googleapis.com. (39)
22:13:35.511796 ens4  In  IP 169.254.169.254.53 > 192.168.20.2.37004: 58585 16/0/0 A 142.251.6.95, A 108.177.112.95, A 74.125.124.95, A 172.217.212.95, A 172.217.214.95, A 172.253.114.95, A 172.253.119.95, A 108.177.111.95, A 142.250.1.95, A 108.177.121.95, A 142.250.103.95, A 108.177.120.95, A 142.251.171.95, A 142.250.159.95, A 142.251.120.95, A 142.251.161.95 (295)
22:13:35.512002 ens4  In  IP 169.254.169.254.53 > 192.168.20.2.37004: 15580 4/0/0 AAAA 2607:f8b0:4001:c2b::5f, AAAA 2607:f8b0:4001:c18::5f, AAAA 2607:f8b0:4001:c5f::5f, AAAA 2607:f8b0:4001:c58::5f (151)
22:13:35.722145 ens4  Out IP 192.168.20.2.47304 > 100.100.10.10.443: Flags [S], seq 1951267724, win 65320, options [mss 1420,sackOK,TS val 1371205990 ecr 0,nop,wscale 7], length 0
22:13:35.730727 ens4  In  IP 100.100.10.10.443 > 192.168.20.2.47304: Flags [S.], seq 3198878726, ack 1951267725, win 65535, options [mss 1366,sackOK,TS val 67847676 ecr 1371205990,nop,wscale 8], length 0
22:13:35.730760 ens4  Out IP 192.168.20.2.47304 > 100.100.10.10.443: Flags [.], ack 1, win 511, options [nop,nop,TS val 1371205999 ecr 67847676], length 0
22:13:35.738339 ens4  Out IP 192.168.20.2.47304 > 100.100.10.10.443: Flags [P.], seq 1:518, ack 1, win 511, options [nop,nop,TS val 1371206006 ecr 67847676], length 517
22:13:35.739922 ens4  In  IP 100.100.10.10.443 > 192.168.20.2.47304: Flags [.], ack 518, win 261, options [nop,nop,TS val 67847688 ecr 1371206006], length 0
22:13:35.740860 ens4  In  IP 100.100.10.10.443 > 192.168.20.2.47304: Flags [.], seq 1:2709, ack 518, win 261, options [nop,nop,TS val 67847689 ecr 1371206006], length 2708
22:13:35.740863 ens4  In  IP 100.100.10.10.443 > 192.168.20.2.47304: Flags [P.], seq 2709:4699, ack 518, win 261, options [nop,nop,TS val 67847689 ecr 1371206006], length 1990
22:13:35.740874 ens4  Out IP 192.168.20.2.47304 > 100.100.10.10.443: Flags [.], ack 2709, win 497, options [nop,nop,TS val 1371206009 ecr 67847689], length 0
22:13:35.740886 ens4  Out IP 192.168.20.2.47304 > 100.100.10.10.443: Flags [.], ack 4699, win 485, options [nop,nop,TS val 1371206009 ecr 67847689], length 0
22:13:35.742709 ens4  Out IP 192.168.20.2.47304 > 100.100.10.10.443: Flags [P.], seq 518:598, ack 4699, win 501, options [nop,nop,TS val 1371206011 ecr 67847689], length 80
22:13:35.743996 ens4  Out IP 192.168.20.2.47304 > 100.100.10.10.443: Flags [P.], seq 598:644, ack 4699, win 501, options [nop,nop,TS val 1371206012 ecr 67847689], length 46
22:13:35.744011 ens4  Out IP 192.168.20.2.47304 > 100.100.10.10.443: Flags [P.], seq 644:693, ack 4699, win 501, options [nop,nop,TS val 1371206012 ecr 67847689], length 49
22:13:35.744082 ens4  Out IP 192.168.20.2.47304 > 100.100.10.10.443: Flags [P.], seq 693:728, ack 4699, win 501, options [nop,nop,TS val 1371206012 ecr 67847689], length 35
22:13:35.744165 ens4  Out IP 192.168.20.2.47304 > 100.100.10.10.443: Flags [P.], seq 728:1069, ack 4699, win 501, options [nop,nop,TS val 1371206012 ecr 67847689], length 341

คุณได้ตรวจสอบการเชื่อมต่อกับการคาดการณ์ออนไลน์ผ่านปลายทางสาธารณะผ่านอินเทอร์เน็ตและแบบส่วนตัวโดยใช้เครือข่ายแบบผสมและ Private Service Connect (googleapis) เรียบร้อยแล้ว ออกจากระบบปฏิบัติการและกลับไปที่ข้อความแจ้งของ Cloud Shell

20. ล้างข้อมูล

ลบคอมโพเนนต์บทแนะนำจาก Cloud Shell

gcloud compute forwarding-rules delete pscvertex --global --quiet

gcloud compute instances delete workbench-tutorial --zone=us-central1-a --quiet 

gcloud compute addresses delete psc-ip --global --quiet

gcloud compute networks subnets delete workbench-subnet --region=us-central1 --quiet 

gcloud compute vpn-tunnels delete aiml-vpc-tunnel0 aiml-vpc-tunnel1 on-prem-tunnel0 on-prem-tunnel1 --region=us-central1 --quiet

gcloud compute vpn-gateways delete aiml-vpn-gw on-prem-vpn-gw --region=us-central1 --quiet 

gcloud compute routers delete aiml-cr-us-central1 cloud-router-us-central1-aiml-nat --region=us-central1 --quiet 

gcloud compute routers delete cloud-router-us-central1-on-prem-nat on-prem-cr-us-central1 --region=us-central1 --quiet

gcloud compute instances delete nat-client private-client --zone=us-central1-a --quiet

gcloud compute firewall-rules delete ssh-iap-on-prem-vpc --quiet

gcloud compute networks subnets delete nat-subnet  private-ip-subnet --region=us-central1 --quiet

gcloud compute networks delete on-prem-vpc --quiet

gcloud compute networks delete aiml-vpc --quiet

ลบคอมโพเนนต์ Vertex

หากต้องการลบอิมเมจคอนเทนเนอร์ ให้ไปที่ Artifact Registry เลือกที่เก็บที่คุณสร้างไว้ แล้วเลือกลบ

หากต้องการลบที่เก็บข้อมูลของพื้นที่เก็บข้อมูล โดยใช้เมนูการนำทางใน Cloud Console จากนั้นเรียกดูพื้นที่เก็บข้อมูล เลือกที่เก็บข้อมูล แล้วคลิกลบ:

ยกเลิกการทำให้โมเดลใช้งานได้จากปลายทาง ไปที่ Vertex AI → การคาดการณ์ออนไลน์ → เลือก diamonds-cpr_endpoint → ยกเลิกการทำให้โมเดลใช้งานได้จากปลายทาง → ยกเลิกการทำให้ใช้งานได้

ลบโมเดล ไปที่ Vertex AI → รีจิสทรีโมเดล → ลบโมเดล

ลบปลายทางการคาดการณ์ออนไลน์ ไปที่ VertexAI → การคาดการณ์ออนไลน์ → เลือก diamonds-cpr_endpoint → ลบปลายทาง

21. ขอแสดงความยินดี

ขอแสดงความยินดี คุณได้กำหนดค่าและตรวจสอบการเชื่อมต่อกับการคาดการณ์ออนไลน์ตามปกติโดยใช้อินเทอร์เน็ตและแบบส่วนตัวด้วย Private Service Connect และเครือข่ายแบบผสมเรียบร้อยแล้ว

คุณสร้างแนทไคลเอ็นต์และไคลเอ็นต์ส่วนตัว และใช้ TCPDUMP เพื่อตรวจสอบที่อยู่ IP ที่ใช้เข้าถึง Vertex API นอกจากนี้ คุณยังได้เรียนรู้เกี่ยวกับ Private Service Connect (googleapis) และวิธีการใช้งาน API นี้เพื่อแยกแอปพลิเคชันภายในองค์กรและมัลติคลาวด์โดยการใช้ประโยชน์จากปลายทาง PSC ของลูกค้า

Vertex AI เข้าถึงปลายทางการคาดการณ์ออนไลน์แบบส่วนตัวโดยใช้ PSC

1. บทนำ

สิ่งที่คุณจะสร้าง

สิ่งที่คุณจะได้เรียนรู้

สิ่งที่คุณต้องมี

2. ก่อนเริ่มต้น

อัปเดตโปรเจ็กต์เพื่อรองรับบทแนะนำ

3. เปิดใช้บริการ

4. การตั้งค่า ANRL-VPC

สร้าง SPM-vpc

สร้างซับเน็ตของสมุดบันทึกที่จัดการโดยผู้ใช้

การกำหนดค่า Cloud Router และ NAT

5. การตั้งค่า VPC ภายในองค์กร

สร้าง on-prem-vpc

สร้างซับเน็ต Nat

สร้างซับเน็ต IP ส่วนตัว

การกำหนดค่า Cloud Router และ NAT

6. สร้างปลายทาง Private Service Connect

7. การเชื่อมต่อแบบผสม

ตรวจสอบการสร้างเกตเวย์ VPN ความพร้อมใช้งานสูง

สร้างเราเตอร์ระบบคลาวด์สำหรับ scorel-vpc

สร้างเราเตอร์ระบบคลาวด์สำหรับ on-prem-vpc

สร้างอุโมงค์ข้อมูล VPN สำหรับ AOL-vpc

สร้างอุโมงค์ข้อมูล VPN0

สร้างอุโมงค์ข้อมูล VPN 1

สร้างอุโมงค์ข้อมูล VPN สำหรับ on-prem-vpc

สร้างอุโมงค์ข้อมูล VPN0

สร้างอุโมงค์ข้อมูล VPN 1

ตรวจสอบการสร้างอุโมงค์ข้อมูล VPN

8. สร้างเพื่อนบ้าน BGP

สร้างเซสชัน BGP

สร้างอินเทอร์เฟซ BGP และการเพียร์สำหรับ Goall-vpc

สร้างอินเทอร์เฟซ BGP และการเพียร์สำหรับ on-prem-vpc

ตรวจสอบเส้นทางที่เรียนรู้ DMCAL-vpc ผ่าน HA VPN

ตรวจสอบว่า on-prem-vpc เรียนรู้ซับเน็ต Workbench ผ่าน HA-VPN

9. สร้างโฆษณาเส้นทางที่กำหนดเอง DMCAL-vpc

การตรวจสอบความถูกต้อง

ตรวจสอบว่า on-prem-vpc เรียนรู้ที่อยู่ IP ปลายทางของ PSC ผ่าน HA-VPN

10. สร้างโฆษณาเส้นทางที่กำหนดเองบน Prem-vpc

การตรวจสอบความถูกต้อง

11. สร้างบัญชีบริการที่จัดการโดยผู้ใช้ (อินสแตนซ์ GCE)

12. สร้างบัญชีบริการที่จัดการโดยผู้ใช้ (สมุดบันทึก)

13. สร้างอินสแตนซ์ทดสอบแล้ว

14. สร้างสมุดบันทึกที่จัดการโดยผู้ใช้

15. ทำให้โมเดลและการคาดการณ์ออนไลน์ใช้งานได้

16. ตรวจสอบการเข้าถึง Vertex API ผ่านอินเทอร์เน็ต

17. การตรวจสอบ - การเข้าถึงอินเทอร์เน็ตสำหรับ Vertex API

18. เปิดใช้การเข้าถึง Vertex API แบบส่วนตัว

19. การตรวจสอบ - การเข้าถึง Vertex API แบบส่วนตัว

20. ล้างข้อมูล

21. ขอแสดงความยินดี

สิ่งที่ต้องทำต่อไป

อ่านเพิ่มเติมและ วิดีโอ

เอกสารอ้างอิง