HEY এর সাথে Vertex AI অনলাইন ভবিষ্যদ্বাণী বেসলাইন পরীক্ষা

১. ভূমিকা

এই টিউটোরিয়ালটি আপনাকে দেখাবে কিভাবে HEY ওয়েব পারফরম্যান্স টুল ব্যবহার করে us-central1-এ ডেপ্লয় করা একটি প্রেডিকশন এন্ডপয়েন্টে us-central1 এবং us-west1 জুড়ে বেসলাইন টেস্টিং করার সময় ক্লাউড মনিটরিং অনলাইন প্রেডিকশন মেট্রিক্স তৈরি এবং মূল্যায়ন করতে হয়।

আপনি যা তৈরি করবেন

আপনি aiml-vpc নামে একটি VPC নেটওয়ার্ক সেট আপ করবেন, যা us-west1 এবং us-central1-এ অবস্থিত সাবনেট ও ইনস্ট্যান্স নিয়ে গঠিত হবে এবং যা us-central1-এ ডেপ্লয় করা একটি অনলাইন প্রেডিকশন ও মডেলকে টার্গেট করে HEY ব্যবহার করে ট্র্যাফিক জেনারেট করতে ব্যবহৃত হবে।

অন-প্রিমিসেস এবং মাল্টি-ক্লাউড এনভায়রনমেন্টগুলো কীভাবে PSC-এর সুবিধা নিয়ে googleapis অ্যাক্সেস করতে পারে, তা দেখানোর জন্য এই টিউটোরিয়ালে Private Service Connect এবং Private DNS-ও অন্তর্ভুক্ত করা হয়েছে।

এই টিউটোরিয়ালে, HEY থেকে অনলাইন প্রেডিকশনে উৎপন্ন ট্র্যাফিক যাচাই করার জন্য ক্লাউড মনিটরিং এবং নেটওয়ার্ক ইন্টেলিজেন্স ব্যবহার করা হবে। যদিও টিউটোরিয়ালে বর্ণিত ধাপগুলো একটি VPC-তে প্রয়োগ করা হয়েছে, আপনি এই ধাপগুলো ব্যবহার করে অন-প্রিমিসেস বা মাল্টি-ক্লাউড পরিবেশ থেকে Vertex APIS স্থাপন করতে এবং তার একটি বেসলাইন পেতে পারেন। নেটওয়ার্ক আর্কিটেকচারটি নিচের উপাদানগুলো নিয়ে গঠিত:

dd5c102ce1ab0150.png

নিম্নে ব্যবহার ক্ষেত্রটির বিবরণ দেওয়া হলো:

  1. HEY ব্যবহার করে us-west1-এর GCE ইনস্ট্যান্স থেকে us-central1-এ অনলাইন প্রেডিকশন অ্যাক্সেস করুন।
  2. Vertex API অ্যাক্সেস করার জন্য PSC ব্যবহৃত হচ্ছে কিনা তা যাচাই করুন।
  3. ৫ মিনিটের জন্য HEY ব্যবহার করে কার্ল করুন।
  4. ক্লাউড মনিটরিং ব্যবহার করে লেটেন্সি যাচাই করুন
  5. নেটওয়ার্ক ইন্টেলিজেন্স ব্যবহার করে আন্তঃ-আঞ্চলিক লেটেন্সি যাচাই করুন
  6. HEY ব্যবহার করে us-central1-এর GCE ইনস্ট্যান্স থেকে us-central1-এ অনলাইন প্রেডিকশন অ্যাক্সেস করুন
  7. Vertex API অ্যাক্সেস করার জন্য PSC ব্যবহৃত হচ্ছে কিনা তা যাচাই করুন।
  8. ৫ মিনিটের জন্য HEY ব্যবহার করে কার্ল করুন।
  9. ক্লাউড মনিটরিং ব্যবহার করে লেটেন্সি যাচাই করুন
  10. নেটওয়ার্ক ইন্টেলিজেন্স ব্যবহার করে আন্তঃ-অঞ্চল লেটেন্সি যাচাই করুন

আপনি যা শিখবেন

  • কীভাবে একটি ব্যক্তিগত সার্ভিস কানেক্ট এন্ডপয়েন্ট স্থাপন করবেন
  • HEY ব্যবহার করে কীভাবে অনলাইন প্রেডিকশনে লোড তৈরি করবেন
  • ক্লাউড মনিটরিং ব্যবহার করে কীভাবে ভার্টেক্স এআই মেট্রিক্স তৈরি করবেন
  • আন্তঃ ও অন্তঃ-আঞ্চলিক লেটেন্সি যাচাই করতে নেটওয়ার্ক ইন্টেলিজেন্স কীভাবে ব্যবহার করবেন

আপনার যা যা লাগবে

  • গুগল ক্লাউড প্রজেক্ট

আইএএম অনুমতি

কম্পিউটার নেটওয়ার্ক অ্যাডমিন

কম্পিউটার নেটওয়ার্ক অ্যাডমিন

পরিষেবা ডিরেক্টরি সম্পাদক

ডিএনএস প্রশাসক

নেটওয়ার্ক ম্যানেজমেন্ট ভিউয়ার

২. শুরু করার আগে

টিউটোরিয়ালটি সমর্থন করার জন্য প্রজেক্টটি আপডেট করুন।

এই টিউটোরিয়ালটিতে ক্লাউড শেলে gcloud কনফিগারেশন বাস্তবায়নে সহায়তার জন্য $variables ব্যবহার করা হয়েছে।

ক্লাউড শেলের ভিতরে, নিম্নলিখিতগুলি সম্পাদন করুন:

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid

৩. aiml-vpc সেটআপ

aiml-vpc তৈরি করুন

gcloud services enable networkmanagement.googleapis.com

ক্লাউড শেলের ভিতরে, নিম্নলিখিতগুলি সম্পাদন করুন:

gcloud compute networks create aiml-vpc --project=$projectid --subnet-mode=custom

ক্লাউড শেলের ভিতরে, নেটওয়ার্ক ইন্টেলিজেন্সের জন্য নেটওয়ার্ক ম্যানেজমেন্ট এপিআই সক্রিয় করুন।

gcloud services enable networkmanagement.googleapis.com

ব্যবহারকারী-পরিচালিত নোটবুক সাবনেট তৈরি করুন

ক্লাউড শেলের ভিতরে ওয়ার্কবেঞ্চ-সাবনেটটি তৈরি করুন।

gcloud compute networks subnets create workbench-subnet --project=$projectid --range=172.16.10.0/28 --network=aiml-vpc --region=us-central1 --enable-private-ip-google-access

ক্লাউড শেলের ভিতরে us-west1-subnet তৈরি করুন।

gcloud compute networks subnets create us-west1-subnet --project=$projectid --range=192.168.10.0/28 --network=aiml-vpc --region=us-west1

ক্লাউড শেলের ভিতরে us-central1-subnet তৈরি করুন।

gcloud compute networks subnets create us-central1-subnet --project=$projectid --range=192.168.20.0/28 --network=aiml-vpc --region=us-central1

ক্লাউড রাউটার এবং NAT কনফিগারেশন

টিউটোরিয়ালে সফটওয়্যার প্যাকেজ ডাউনলোড করার জন্য ক্লাউড ন্যাট (Cloud NAT) ব্যবহার করা হয়, কারণ জিসিই (GCE) ইনস্ট্যান্সটির কোনো এক্সটার্নাল আইপি অ্যাড্রেস নেই। ক্লাউড ন্যাট ইগ্রেস ন্যাট (egress NAT) সুবিধা প্রদান করে, যার অর্থ হলো ইন্টারনেট হোস্টগুলোকে ব্যবহারকারী-পরিচালিত নোটবুকের সাথে যোগাযোগ শুরু করার অনুমতি দেওয়া হয় না, যা এটিকে আরও সুরক্ষিত করে তোলে।

ক্লাউড শেলের ভিতরে, us-west1 নামে আঞ্চলিক ক্লাউড রাউটারটি তৈরি করুন।

gcloud compute routers create cloud-router-us-west1-aiml-nat --network aiml-vpc --region us-west1

ক্লাউড শেলের ভিতরে, us-west1 নামে আঞ্চলিক ক্লাউড ন্যাট গেটওয়ে তৈরি করুন।

gcloud compute routers nats create cloud-nat-us-west1 --router=cloud-router-us-west1-aiml-nat --auto-allocate-nat-external-ips --nat-all-subnet-ip-ranges --region us-west1

ক্লাউড শেলের ভিতরে, us-central1 নামে আঞ্চলিক ক্লাউড রাউটারটি তৈরি করুন।

gcloud compute routers create cloud-router-us-central1-aiml-nat --network aiml-vpc --region us-central1

ক্লাউড শেলের ভিতরে, us-central1 নামে আঞ্চলিক ক্লাউড ন্যাট গেটওয়ে তৈরি করুন। 

gcloud compute routers nats create cloud-nat-us-central1 --router=cloud-router-us-central1-aiml-nat --auto-allocate-nat-external-ips --nat-all-subnet-ip-ranges --region us-central1

৪. প্রাইভেট সার্ভিস কানেক্ট এন্ডপয়েন্ট তৈরি করুন

পরবর্তী অংশে, আপনি একটি প্রাইভেট সার্ভিস কানেক্ট (PSC) এন্ডপয়েন্ট তৈরি করবেন যা aiml-vpc থেকে Vertex API অ্যাক্সেস করতে ব্যবহৃত হবে।

ক্লাউড শেল থেকে 

gcloud compute addresses create psc-ip \
    --global \
    --purpose=PRIVATE_SERVICE_CONNECT \
    --addresses=100.100.10.10 \
    --network=aiml-vpc

ল্যাব চলাকালীন সময়ের জন্য 'pscendpointip' সংরক্ষণ করুন। 

pscendpointip=$(gcloud compute addresses list --filter=name:psc-ip --format="value(address)")

echo $pscendpointip

PSC এন্ডপয়েন্ট তৈরি করুন

ক্লাউড শেল থেকে 

gcloud compute forwarding-rules create pscvertex \
    --global \
    --network=aiml-vpc \
    --address=psc-ip \
    --target-google-apis-bundle=all-apis

কনফিগার করা প্রাইভেট সার্ভিস কানেক্ট এন্ডপয়েন্টগুলির তালিকা

ক্লাউড শেল থেকে 

gcloud compute forwarding-rules list  \
--filter target="(all-apis OR vpc-sc)" --global

কনফিগার করা প্রাইভেট সার্ভিস কানেক্ট এন্ডপয়েন্টগুলো বর্ণনা করুন

ক্লাউড শেল থেকে 

gcloud compute forwarding-rules describe \
    pscvertex --global

৫. GCE ইনস্ট্যান্সগুলির জন্য একটি পরিষেবা অ্যাকাউন্ট তৈরি করুন

ভার্টেক্স এপিআই-কে সূক্ষ্ম স্তরের নিয়ন্ত্রণ দেওয়ার জন্য একটি ইউজার-ম্যানেজড সার্ভিস অ্যাকাউন্ট প্রয়োজন, যা ওয়েস্ট এবং সেন্ট্রাল ইনস্ট্যান্সগুলিতে প্রয়োগ করা হবে। একবার তৈরি হয়ে গেলে, ব্যবসায়িক প্রয়োজন অনুসারে সার্ভিস অ্যাকাউন্টের অনুমতিগুলি পরিবর্তন করা যেতে পারে। এই টিউটোরিয়ালে, ইউজার-ম্যানেজড সার্ভিস অ্যাকাউন্ট, vertex-sa-তে নিম্নলিখিত রোলগুলি প্রয়োগ করা হবে:

এগিয়ে যাওয়ার আগে আপনাকে অবশ্যই সার্ভিস অ্যাকাউন্ট এপিআই (Service Account API) হবে।

ক্লাউড শেলের ভিতরে সার্ভিস অ্যাকাউন্টটি তৈরি করুন। 

gcloud iam service-accounts create vertex-gce-sa \
    --description="service account for vertex" \
    --display-name="vertex-sa"

ক্লাউড শেলের ভিতরে, সার্ভিস অ্যাকাউন্টটিকে 'compute instance admin' রোল দিয়ে আপডেট করুন। 

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:vertex-gce-sa@$projectid.iam.gserviceaccount.com" --role="roles/compute.instanceAdmin.v1"

Cloud Shell-এর ভিতরে, Vertex AI User রোলটি দিয়ে সার্ভিস অ্যাকাউন্টটি আপডেট করুন। 

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:vertex-gce-sa@$projectid.iam.gserviceaccount.com" --role="roles/aiplatform.user"

৬. একটি ব্যবহারকারী পরিচালিত পরিষেবা অ্যাকাউন্ট (নোটবুক) তৈরি করুন

পরবর্তী অংশে, আপনি একটি ব্যবহারকারী-পরিচালিত পরিষেবা অ্যাকাউন্ট তৈরি করবেন যা এই টিউটোরিয়ালে ব্যবহৃত Vertex Workbench (নোটবুক)-এর সাথে যুক্ত থাকবে।

এই টিউটোরিয়ালে, সার্ভিস অ্যাকাউন্টের ক্ষেত্রে নিম্নলিখিত নিয়মগুলো প্রয়োগ করা হবে:

ক্লাউড শেলের ভিতরে সার্ভিস অ্যাকাউন্টটি তৈরি করুন। 

gcloud iam service-accounts create user-managed-notebook-sa \
    --display-name="user-managed-notebook-sa"

ক্লাউড শেলের ভিতরে, সার্ভিস অ্যাকাউন্টটিকে স্টোরেজ অ্যাডমিন রোল দিয়ে আপডেট করুন। 

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/storage.admin"

ক্লাউড শেলের ভিতরে, সার্ভিস অ্যাকাউন্টটিকে 'Vertex AI User' রোল দিয়ে আপডেট করুন। 

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/aiplatform.user"

ক্লাউড শেলের ভিতরে, সার্ভিস অ্যাকাউন্টটিকে আর্টিফ্যাক্ট রেজিস্ট্রি অ্যাডমিন রোল দিয়ে আপডেট করুন। 

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/artifactregistry.admin"

ক্লাউড শেলের ভিতরে, সার্ভিস অ্যাকাউন্টটি তালিকাভুক্ত করুন এবং ব্যবহারকারী-পরিচালিত নোটবুক তৈরি করার সময় যে ইমেল ঠিকানাটি ব্যবহার করা হবে তা নোট করে রাখুন। 

gcloud iam service-accounts list

৭. টেস্ট ইনস্ট্যান্সগুলো তৈরি করুন

পরবর্তী অংশে, আপনি us-west1 এবং us-central1 থেকে বেসলাইন টেস্টিং করার জন্য টেস্ট ইনস্ট্যান্স তৈরি করবেন।

ক্লাউড শেলের ভিতরে west-client তৈরি করুন। 

gcloud compute instances create west-client \
    --zone=us-west1-a \
    --image-family=debian-11 \
    --image-project=debian-cloud \
    --subnet=us-west1-subnet \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
    --no-address \
    --shielded-secure-boot --service-account=vertex-gce-sa@$projectid.iam.gserviceaccount.com \
    --metadata startup-script="#! /bin/bash
      sudo apt-get update
      sudo apt-get install tcpdump dnsutils -y"

ক্লাউড শেলের ভিতরে সেন্ট্রাল-ক্লায়েন্ট তৈরি করুন। 

gcloud compute instances create central-client \
    --zone=us-central1-a \
    --image-family=debian-11 \
    --image-project=debian-cloud \
    --subnet=us-central1-subnet \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
    --no-address \
    --shielded-secure-boot --service-account=vertex-gce-sa@$projectid.iam.gserviceaccount.com \
    --metadata startup-script="#! /bin/bash
      sudo apt-get update
      sudo apt-get install tcpdump dnsutils -y"

আপনার VM ইনস্ট্যান্সগুলিতে IAP-কে সংযোগ করার অনুমতি দিতে, এমন একটি ফায়ারওয়াল নিয়ম তৈরি করুন যা:

  • এটি সেই সমস্ত VM ইনস্ট্যান্সের ক্ষেত্রে প্রযোজ্য, যেগুলোকে আপনি IAP ব্যবহার করে অ্যাক্সেসযোগ্য করতে চান।
  • 35.235.240.0/20 আইপি রেঞ্জ থেকে ইনগ্রেস ট্র্যাফিকের অনুমতি দেয়। এই রেঞ্জে সেই সমস্ত আইপি অ্যাড্রেস রয়েছে যা IAP টিসিপি ফরওয়ার্ডিংয়ের জন্য ব্যবহার করে।

ক্লাউড শেলের ভিতরে IAP ফায়ারওয়াল নিয়মটি তৈরি করুন। 

gcloud compute firewall-rules create ssh-iap-vpc \
    --network aiml-vpc \
    --allow tcp:22 \
    --source-ranges=35.235.240.0/20

৮. একটি ব্যবহারকারী পরিচালিত নোটবুক তৈরি করুন

নোটবুক এপিআই

পরবর্তী অংশে, পূর্বে তৈরি করা সার্ভিস অ্যাকাউন্ট user-managed-notebook-sa-কে অন্তর্ভুক্ত করে একটি ইউজার-ম্যানেজড নোটবুক তৈরি করুন।

ক্লাউড শেলের ভিতরে প্রাইভেট-ক্লায়েন্ট ইনস্ট্যান্সটি তৈরি করুন। 

gcloud notebooks instances create workbench-tutorial \
      --vm-image-project=deeplearning-platform-release \
      --vm-image-family=common-cpu-notebooks \
      --machine-type=n1-standard-4 \
      --location=us-central1-a \
      --subnet-region=us-central1 \
      --shielded-secure-boot \
      --subnet=workbench-subnet \
      --no-public-ip    --service-account=user-managed-notebook-sa@$projectid.iam.gserviceaccount.com

আপনার ডেপ্লয় করা নোটবুকটি দেখতে Vertex AI → Workbench-এ যান।

b02fcb9b07dca06a.png

৯. মডেল এবং অনলাইন পূর্বাভাস স্থাপন করুন

পরবর্তী অংশে, প্রদত্ত কোডল্যাব ‘ Vertex AI: Use custom prediction routines with Sklearn to preprocess and post process data for predictions’ ব্যবহার করুন এবং ৭ নং সেকশন থেকে শুরু করুন, যেহেতু আপনি আগের ধাপে একটি নোটবুক তৈরি করে রেখেছেন। মডেলটি ডেপ্লয় করা হয়ে গেলে, পরবর্তী সেকশন শুরু করার জন্য টিউটোরিয়ালে ফিরে যান।

ee68b7ba0cfd2746.png

১০. অনলাইন প্রেডিকশনের জন্য একটি কাস্টম মনিটরিং ড্যাশবোর্ড তৈরি করুন।

অনলাইন প্রেডিকশন VERTEX AI → ONLINE PREDICTION → ENDPOINT NAME (diamonds-cpr_endpoint)-এর অধীনে একটি ডিফল্ট মনিটরিং ড্যাশবোর্ড তৈরি করে। তবে, আমাদের পরীক্ষার জন্য একটি শুরু এবং শেষের সময় নির্ধারণ করতে হবে, যার জন্য একটি কাস্টম ড্যাশবোর্ড প্রয়োজন।

পরবর্তী অংশে, আপনি অনলাইন প্রেডিকশন এন্ডপয়েন্টে আঞ্চলিক অ্যাক্সেসের উপর ভিত্তি করে লেটেন্সি পরিমাপ পেতে ক্লাউড মনিটরিং মেট্রিক্স তৈরি করবেন। এর মাধ্যমে us-west1 এবং us-central-এ ডেপ্লয় করা GCE ইনস্ট্যান্স থেকে us-central1-এর কোনো এন্ডপয়েন্ট অ্যাক্সেস করার সময়কার ভিন্ন লেটেন্সি যাচাই করা যাবে।

টিউটোরিয়ালের জন্য আমরা prediction_latencies মেট্রিক ব্যবহার করব, aiplatform- এ অতিরিক্ত মেট্রিক পাওয়া যায়।

মেট্রিক

বর্ণনা

পূর্বাভাস/অনলাইন/পূর্বাভাস_বিলম্ব

স্থাপনকৃত মডেলের অনলাইন পূর্বাভাস বিলম্ব।

prediction_latencies মেট্রিকের জন্য একটি চার্ট তৈরি করুন

ক্লাউড কনসোল থেকে মনিটরিং → মেট্রিক্স এক্সপ্লোরার-এ যান।

536668ab0b29d77.png

মেট্রিক prediction/online/prediction_latencies প্রবেশ করান এবং নিম্নলিখিত বিকল্পগুলি নির্বাচন করুন, তারপর Apply নির্বাচন করুন।

c1edd34208cb5ee2.png

নিম্নলিখিত বিকল্পের উপর ভিত্তি করে গ্রুপ আপডেট করতে, 'সেভ চার্ট' নির্বাচন করুন।

e180a5d8a044b6e1.png

d2ecd6677a3b34e0.png

সেভ নির্বাচন করুন, আপনাকে একটি ড্যাশবোর্ড নির্বাচন করতে বলা হবে। নিউ ড্যাশবোর্ড নির্বাচন করুন এবং একটি নাম দিন।

e29a39dc941c8599.png

ভার্টেক্স কাস্টম ড্যাশবোর্ড

পরবর্তী অংশে, ভার্টেক্স কাস্টম ড্যাশবোর্ডে সঠিক সময় প্রদর্শিত হচ্ছে কিনা তা যাচাই করুন।

মনিটরিং → ড্যাশবোর্ড-এ যান এবং ভার্টেক্স কাস্টম ড্যাশবোর্ড নির্বাচন করার পর সময় নির্বাচন করুন। আপনার টাইম জোন সঠিক আছে কিনা তা নিশ্চিত করুন।

f43ebed798ce1147.png

টেবিল ভিউ পেতে লিজেন্ডটি প্রসারিত করতে ভুলবেন না।

61ffeef22e067ca9.png

উদাহরণস্বরূপ বিস্তারিত দৃশ্য:

9027e8785c023129.png

১১. PSC এন্ডপয়েন্টের জন্য প্রাইভেট DNS তৈরি করুন

সমস্ত googleapis-কে PSC এন্ডপয়েন্ট IP অ্যাড্রেস 100.100.10.10-এ রিজলভ করার জন্য aiml-vpc-তে একটি প্রাইভেট DNS জোন তৈরি করুন।

ক্লাউড শেল থেকে একটি প্রাইভেট ডিএনএস জোন তৈরি করুন। 

gcloud dns --project=$projectid managed-zones create psc-googleapis --description="Private Zone to resolve googleapis to a PSC endpoint" --dns-name="googleapis.com." --visibility="private" --networks="https://www.googleapis.com/compute/v1/projects/$projectid/global/networks/aiml-vpc"

ক্লাউড শেল থেকে, * .googleapis.com- কে PSC IP-এর সাথে সংযুক্ত করে একটি A রেকর্ড তৈরি করুন। 

gcloud dns --project=$projectid record-sets create *.googleapis.com. --zone="psc-googleapis" --type="A" --ttl="300" --rrdatas="100.100.10.10"

১২. হে ভেরিয়েবল পরীক্ষা করা

Hey ব্যবহারকারীদের নেটওয়ার্ক এবং অ্যাপ্লিকেশনের প্রয়োজন অনুযায়ী টেস্টিং কাস্টমাইজ করার সুযোগ দেয়। এই টিউটোরিয়ালের জন্য আমরা নিচে বিস্তারিত বর্ণিত অপশনটি একটি নমুনা এক্সিকিউশন স্ট্রিং সহ ব্যবহার করব:

c == ১ জন কর্মী

z == সময়কাল

m == HTTP পদ্ধতি POST

D == instances.json ফাইল থেকে প্রাপ্ত HTTP অনুরোধের মূল অংশ

n == চালানোর জন্য অনুরোধের সংখ্যা। ডিফল্ট মান হলো ২০০।

HEY সহ কার্ল স্ট্রিং এর উদাহরণ (এক্সিকিউশনের প্রয়োজন নেই) 

user@us-central$ ./hey_linux_amd64 -c 1 -z 1m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid$}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

১৩. প্রেডিকশন আইডি সংগ্রহ করুন।

ক্লাউড কনসোল থেকে আপনার অনলাইন প্রেডিকশন এন্ডপয়েন্ট আইডি সংগ্রহ করুন, যা পরবর্তী ধাপগুলোতে ব্যবহার করা হবে।

VERTEX AI → অনলাইন প্রেডিকশন- এ যান

ce4d4a88a3fa2345.png

১৪. HEY (us-west1) ডাউনলোড এবং কার্যকর করুন।

পরবর্তী অংশে, আপনি us-central1-এ অবস্থিত অনলাইন প্রেডিকশনের বিপরীতে HEY ডাউনলোড ও কার্যকর করার জন্য west-client-এ লগ ইন করবেন।

ক্লাউড শেল থেকে west-client-এ লগ ইন করুন এবং HEY ডাউনলোড করুন। 

gcloud compute ssh west-client --project=$projectid --zone=us-west1-a --tunnel-through-iap

অপারেটিং সিস্টেম থেকে HEY ডাউনলোড করুন এবং পারমিশনগুলো আপডেট করুন। 

wget https://hey-release.s3.us-east-2.amazonaws.com/hey_linux_amd64
chmod +x hey_linux_amd64

অপারেটিং সিস্টেম থেকে নিম্নলিখিত ভেরিয়েবলগুলো তৈরি করুন: 

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid
ENDPOINT_ID="insert-your-endpoint-id-here"

উদাহরণ: 

ENDPOINT_ID="2706243362607857664"

পরবর্তী অংশে, আপনি vi এডিটর বা nano ব্যবহার করে একটি instances.json ফাইল তৈরি করবেন এবং ডেপ্লয় করা মডেল থেকে প্রেডিকশন পাওয়ার জন্য ব্যবহৃত ডেটা স্ট্রিংটি তাতে প্রবেশ করাবেন।

west-client OS থেকে, নিচের ডেটা স্ট্রিংটি দিয়ে একটি instances.json ফাইল তৈরি করুন: 

{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

উদাহরণ: 

user@west-client:$ more instances.json 
{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

user@west-client:$

প্রাক-পরীক্ষা

অপারেটিং সিস্টেম থেকে, মডেল এবং প্রেডিকশন এন্ডপয়েন্ট সফলভাবে কাজ করছে কিনা তা যাচাই করতে একটি `curl` কমান্ড চালান। ভার্বোস লগে PSC এন্ডপয়েন্টের IP এবং সফলতার নির্দেশক HTTP/2 200 কোডটি নোট করুন। 

curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json

উদাহরণস্বরূপ, পূর্বাভাস ও সফল ফলাফল অ্যাক্সেস করতে ব্যবহৃত PSC IP ঠিকানাটি লক্ষ্য করুন। 

user@west-client:$ curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json
Note: Unnecessary use of -X or --request, POST is already inferred.
*   Trying 100.100.10.10:443...
* Connected to us-central1-aiplatform.googleapis.com (100.100.10.10) port 443 (#0)
* ALPN, offering h2
* ALPN, offering http/1.1
* successfully set certificate verify locations:
*  CAfile: /etc/ssl/certs/ca-certificates.crt
*  CApath: /etc/ssl/certs
* TLSv1.3 (OUT), TLS handshake, Client hello (1):
* TLSv1.3 (IN), TLS handshake, Server hello (2):
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
* TLSv1.3 (IN), TLS handshake, Certificate (11):
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
* TLSv1.3 (IN), TLS handshake, Finished (20):
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
* TLSv1.3 (OUT), TLS handshake, Finished (20):
* SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384
* ALPN, server accepted to use h2
* Server certificate:
*  subject: CN=upload.video.google.com
*  start date: Jul 31 08:22:19 2023 GMT
*  expire date: Oct 23 08:22:18 2023 GMT
*  subjectAltName: host "us-central1-aiplatform.googleapis.com" matched cert's "*.googleapis.com"
*  issuer: C=US; O=Google Trust Services LLC; CN=GTS CA 1C3
*  SSL certificate verify ok.
* Using HTTP2, server supports multi-use
* Connection state changed (HTTP/2 confirmed)
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
* Using Stream ID: 1 (easy handle 0x55a9f38b42c0)
> POST /v1/projects/new-test-project-396322/locations/us-central1/endpoints/2706243362607857664:predict HTTP/2
> Host: us-central1-aiplatform.googleapis.com
> user-agent: curl/7.74.0
> accept: */*
> authorization: Bearer ya29.c.b0Aaekm1LqrcaOlWFFwuEOWX_tZVXXvJgN_K-u5_hFyEAYXAi3AnBEBwwtHS8dweW_P2QGfdyFfa31nMT_6BaKBI0mC9IsfzfIiUwXc8u2yJt01gTUSJpCmGAFKZKidRMgkPYivVYCnuymzdYbRAWacIe__StkRzI9UeQOGN3jNIeESr80AdH12goaxCFXWaNWxoYRfGVhekEgUcsKs7t1OhOM-937gy4YGkXcXa8sGuHWRqF5bnulYlTqlxqQ2aAxMTrQg2lwUWRGCmGhPrym7rXJq7oim0DkAJSbAarl1qFuz0PPfNXeHGbs13zY2r1giV7u8_w4Umj_Q5M7H9fTkq7EiqnLzqRkOHXismYL368P1jOUBYM__krFQt4M3X9RJa0g01tOw3FnOh27BmUqlFQ1J2h14JZpx215Q3xzRvgfJ5iW5YYSkv67uZRQk4V04naOUXyc0plzWuVOjj4nor3fYvkS_oW0IyxJoBjeXR16Vnvln8c04svWX9dt7eobczFvBOm9nVdh4lVp8qxbp__2WtMvc1QVg6y-2i6lRpbvmyp1oadxVRjxV1e0wiQFSe-qqsinJu3bnnaMbxdU2cu5j26o8o8Xpgo0SF1UM0b1WX84iatbWpdFSphZm1llwmRagMzcFBW0aBk-i35_bXSbzwURgMfY6Qbyb9Rv9y0F-Maf34I0WxiMldv2uc57nej7dVl9OSm_Ohnro-i9zcpq9fxo9soYVB8WjaZOUjauk4znstc2_6y4atcVVsQBkeU674biR567Ri3M74Jfv4MrrF02ObfrJRdB7UJ4MU_9kWW-kYeeJzoci15UqYV0f_yJgReBwQa66Supmebee2Sn2nku6xZkRMu5Mz55mXuva0XWrpIbor7WckSsXwUFbf7rj5ipa4mOOyf2hJe1Rq0x6yeBaariRzXrhfm5bBpFBU73-zd-IekvOji0ZJQSkk0o6gpX_794Jny7j14aQJ8VxezcFpZUztimYhMnRhlO2lqms1h0h48
> content-type: application/json
> content-length: 158
> 
* Connection state changed (MAX_CONCURRENT_STREAMS == 100)!
* We are completely uploaded and fine
< HTTP/2 200 
< x-vertex-ai-internal-prediction-backend: harpoon
< content-type: application/json; charset=UTF-8
< date: Sun, 20 Aug 2023 03:51:54 GMT
< vary: X-Origin
< vary: Referer
< vary: Origin,Accept-Encoding
< server: scaffolding on HTTPServer2
< cache-control: private
< x-xss-protection: 0
< x-frame-options: SAMEORIGIN
< x-content-type-options: nosniff
< accept-ranges: none
< 
{
  "predictions": [
    "$479.0",
    "$586.0"
  ],
  "deployedModelId": "3587550310781943808",
  "model": "projects/884291964428/locations/us-central1/models/6829574694488768512",
  "modelDisplayName": "diamonds-cpr",
  "modelVersionId": "1"
}
* Connection #0 to host us-central1-aiplatform.googleapis.com left intact

HEY কার্যকর করুন

অপারেটিং সিস্টেম থেকে, ১০ মিনিটের বেসলাইন টেস্ট চালু করতে HEY কমান্ডটি চালান। 

./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

১৫. হে ভ্যালিডেশন (us-west1)

এখন যেহেতু আপনি us-west1-এর একটি কম্পিউট ইনস্ট্যান্স থেকে Hey এক্সিকিউট করেছেন, নিম্নলিখিত ফলাফলগুলো মূল্যায়ন করুন:

  • HEY ফলাফল
  • ভার্টেক্স কাস্টম ড্যাশবোর্ড
  • নেটওয়ার্ক ইন্টেলিজেন্স

HEY ফলাফল

অপারেটিং সিস্টেম থেকে, চলুন ১০ মিনিটের এক্সিকিউশনের উপর ভিত্তি করে HEY ফলাফলগুলো যাচাই করি।

প্রতি সেকেন্ডে ১৭.৫৮২৬টি অনুরোধ

০.০৬৮৬ সেকেন্ডে ৯৯% | ৬৮ মিলিসেকেন্ড

২০০ স্ট্যাটাস কোড সহ ১০,৫৫০টি প্রতিক্রিয়া 

user@west-client:$ ./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

Summary:
  Total:        600.0243 secs
  Slowest:      0.3039 secs
  Fastest:      0.0527 secs
  Average:      0.0569 secs
  Requests/sec: 17.5826
  

Response time histogram:
  0.053 [1]     |
  0.078 [10514] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
  0.103 [16]    |
  0.128 [4]     |
  0.153 [3]     |
  0.178 [1]     |
  0.203 [0]     |
  0.229 [2]     |
  0.254 [1]     |
  0.279 [5]     |
  0.304 [3]     |


Latency distribution:
  10% in 0.0546 secs
  25% in 0.0551 secs
  50% in 0.0559 secs
  75% in 0.0571 secs
  90% in 0.0596 secs
  95% in 0.0613 secs
  99% in 0.0686 secs

Details (average, fastest, slowest):
  DNS+dialup:   0.0000 secs, 0.0527 secs, 0.3039 secs
  DNS-lookup:   0.0000 secs, 0.0000 secs, 0.0116 secs
  req write:    0.0000 secs, 0.0000 secs, 0.0002 secs
  resp wait:    0.0567 secs, 0.0526 secs, 0.3038 secs
  resp read:    0.0001 secs, 0.0001 secs, 0.0696 secs

Status code distribution:
  [200] 10550 responses

ভার্টেক্স কাস্টম ড্যাশবোর্ড

মনিটরিং → ড্যাশবোর্ড-এ যান এবং ভার্টেক্স কাস্টম ড্যাশবোর্ড নির্বাচন করুন। ১০ মিনিট লিখুন অথবা আপনার শুরু এবং শেষের সময় নির্দিষ্ট করুন। আপনার টাইম জোন সঠিক আছে কিনা তা নিশ্চিত করুন।

4102b1d0438c78e3.png

প্রেডিকশন ল্যাটেন্সির সংজ্ঞা অনুযায়ী, এটি একটি সার্ভার সাইড মেট্রিক যা মডেল থেকে প্রতিক্রিয়া পাওয়ার পর ক্লায়েন্টের অনুরোধে সাড়া দিতে মোট কত সময় লাগে তা পরিমাপ করে।

  • মোট লেটেন্সি সময়কাল : একটি অনুরোধ সার্ভিসে যে মোট সময় ব্যয় করে, যা মডেল লেটেন্সি এবং ওভারহেড লেটেন্সির যোগফল।

এর বিপরীতে, HEY হলো একটি ক্লায়েন্ট-সাইড মেট্রিক্স যা নিম্নলিখিত প্যারামিটারগুলো বিবেচনা করে:

ক্লায়েন্টের অনুরোধ + মোট লেটেন্সি (মডেল লেটেন্সি সহ) + ক্লায়েন্টের প্রতিক্রিয়া

নেটওয়ার্ক ইন্টেলিজেন্স

চলুন এখন নেটওয়ার্ক ইন্টেলিজেন্স দ্বারা রিপোর্ট করা আন্তঃ-আঞ্চলিক নেটওয়ার্ক ল্যাটেন্সি দেখে নেওয়া যাক, যা গুগল ক্লাউড প্ল্যাটফর্ম দ্বারা রিপোর্ট করা us-west1 থেকে us-central1 ল্যাটেন্সি সম্পর্কে একটি ধারণা দেবে।

ক্লাউড কনসোল নেটওয়ার্ক ইন্টেলিজেন্স → পারফরম্যান্স ড্যাশবোর্ডে যান এবং নিচের স্ক্রিনশটে দেখানো ৩২ - ৩৯ মিলিসেকেন্ড ল্যাটেন্সি নির্দেশক অপশনগুলো নির্বাচন করুন।

aade5f757115721.png

HEY us-west1 বেসলাইন সারাংশ

টেস্ট টুলগুলোর মোট ল্যাটেন্সি রিপোর্ট তুলনা করলে দেখা যায় যে, তা HEY-এর রিপোর্ট করা ল্যাটেন্সির প্রায় সমান। মোট ল্যাটেন্সির সিংহভাগই আসে আন্তঃ-অঞ্চল ল্যাটেন্সি থেকে। দেখা যাক, পরবর্তী পরীক্ষাগুলোতে সেন্ট্রাল-ক্লায়েন্ট কেমন পারফর্ম করে।

লেটেন্সি টুল

সময়কাল

নেটওয়ার্ক ইন্টেলিজেন্স: us-west1 থেকে us-central1 লেটেন্সি

~৩২ থেকে ৩৯ মিলিসেকেন্ড

ক্লাউড মনিটরিং: মোট পূর্বাভাস লেটেন্সি [৯৯তম পার্সেন্টাইল]

৩৪.৫৮ মিলিসেকেন্ড (৯৯পি)

গুগল কর্তৃক রিপোর্ট করা মোট লেটেন্সি

~ ৬৬.৫৮ থেকে ৭৩.৫৮ মিলিসেকেন্ড

হে ক্লায়েন্ট সাইড লেটেন্সি ডিস্ট্রিবিউশন

৬৮ মিলিসেকেন্ড (৯৯পি)

১৬. HEY (us-central1) ডাউনলোড এবং চালান।

পরবর্তী অংশে, আপনি us-central1-এ অবস্থিত অনলাইন প্রেডিকশনের বিপরীতে HEY ডাউনলোড ও কার্যকর করার জন্য central-client-এ লগ ইন করবেন।

ক্লাউড শেল থেকে সেন্ট্রাল-ক্লায়েন্টে লগ ইন করুন এবং HEY ডাউনলোড করুন। 

gcloud compute ssh central-client --project=$projectid --zone=us-central1-a --tunnel-through-iap

অপারেটিং সিস্টেম থেকে HEY ডাউনলোড করুন এবং পারমিশনগুলো আপডেট করুন। 

wget https://hey-release.s3.us-east-2.amazonaws.com/hey_linux_amd64
chmod +x hey_linux_amd64

অপারেটিং সিস্টেম থেকে নিম্নলিখিত ভেরিয়েবলগুলো তৈরি করুন: 

gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid
ENDPOINT_ID="insert-your-endpoint-id-here"

উদাহরণ: 

ENDPOINT_ID="2706243362607857664"

পরবর্তী অংশে, আপনি vi এডিটর বা nano ব্যবহার করে একটি instances.json ফাইল তৈরি করবেন এবং ডেপ্লয় করা মডেল থেকে প্রেডিকশন পাওয়ার জন্য ব্যবহৃত ডেটা স্ট্রিংটি তাতে প্রবেশ করাবেন।

west-client OS থেকে, নিচের ডেটা স্ট্রিংটি দিয়ে একটি instances.json ফাইল তৈরি করুন: 

{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

উদাহরণ: 

user@west-client:$ more instances.json 
{"instances": [
  [0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
  [0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}

user@west-client:$

প্রাক-পরীক্ষা

অপারেটিং সিস্টেম থেকে, মডেল এবং প্রেডিকশন এন্ডপয়েন্ট সফলভাবে কাজ করছে কিনা তা যাচাই করতে একটি `curl` কমান্ড চালান। ভার্বোস লগে PSC এন্ডপয়েন্টের IP এবং সফলতার নির্দেশক HTTP/2 200 কোডটি নোট করুন। 

curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json

উদাহরণস্বরূপ, পূর্বাভাস ও সফল ফলাফল অ্যাক্সেস করতে ব্যবহৃত PSC IP ঠিকানাটি লক্ষ্য করুন। 

user@central-client:~$ curl -v -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/${projectid}/locations/us-central1/endpoints/${ENDPOINT_ID}:predict -d @instances.json
Note: Unnecessary use of -X or --request, POST is already inferred.
*   Trying 100.100.10.10:443...
* Connected to us-central1-aiplatform.googleapis.com (100.100.10.10) port 443 (#0)
* ALPN, offering h2
* ALPN, offering http/1.1
* successfully set certificate verify locations:
*  CAfile: /etc/ssl/certs/ca-certificates.crt
*  CApath: /etc/ssl/certs
* TLSv1.3 (OUT), TLS handshake, Client hello (1):
* TLSv1.3 (IN), TLS handshake, Server hello (2):
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
* TLSv1.3 (IN), TLS handshake, Certificate (11):
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
* TLSv1.3 (IN), TLS handshake, Finished (20):
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
* TLSv1.3 (OUT), TLS handshake, Finished (20):
* SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384
* ALPN, server accepted to use h2
* Server certificate:
*  subject: CN=upload.video.google.com
*  start date: Jul 31 08:22:19 2023 GMT
*  expire date: Oct 23 08:22:18 2023 GMT
*  subjectAltName: host "us-central1-aiplatform.googleapis.com" matched cert's "*.googleapis.com"
*  issuer: C=US; O=Google Trust Services LLC; CN=GTS CA 1C3
*  SSL certificate verify ok.
* Using HTTP2, server supports multi-use
* Connection state changed (HTTP/2 confirmed)
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
* Using Stream ID: 1 (easy handle 0x559b57adc2c0)
> POST /v1/projects/new-test-project-396322/locations/us-central1/endpoints/2706243362607857664:predict HTTP/2
> Host: us-central1-aiplatform.googleapis.com
> user-agent: curl/7.74.0
> accept: */*
> authorization: Bearer ya29.c.b0Aaekm1KWqq-CIXuL6f1cx9d9jHHquQq9tlSV1oVZ1y3TACi82JFFZRwsagVY7MMovycsU4PLkt9MDMkNngxZE5RzXcS-AoaUaQf1tPT9-_JMTlFI6wCcR7Yr9MeRF5AZblr_k52ZZgEZKeYGcrXoGiqGQcAAwFtHiEVAkUhLuyukteXbMoep1JM9E0zFblJj7Z0yOCMJYBH-6XHcIDYnOKpStMVBR2wcTDbnFrCE08HXbvRnQVcENatTBoI9FzSVL1ORwqUiCcdfnTSjpIXcyD-W82d6ZHjGX_RUhfnH7RPfOJqkuU8pOovwoCjq_jvM_wJUfPuQnBKHp5rxbYxPE349DMBql62po2SWFguuFo-a2eoUnb8-FQeBZqan65zgV0lexR73gZlm071y9grlXv3fmJUo7vlj5W-7_-FJXaWWg8iWc6rmjYeO1Wz2h_8qnmojkX9xSUciI6JfmwdgMWwtvwJb63ppSmdwf8oagrYiQlpMzgRI6rekbRzg-1WOBeOf5nRg5vtxUMSc9iRaoarO5XwFX8vt7rxOUBvbXYVWmo3bsdhzsS9VopMwgMlxgcIJg7bq7_F3iapB-nRjfjfhZWpR83cWIkI2Wb9f89inpsxtYjZbbzdWkZvRB8FYSsY8F8tcpiVoWWyQWZiph9z7O59fF9irWY2gtUnbFcJJ_ZcYztjlMQaR45y42ZflkM3Qn668bzge3Y3hmVI1s6ZSmxxq6m27hoMwVn21R07Y613jwljmaFJ5V8MwkR6yvFhYngrh_JrhRUQtSSMh02Rz25wMfv7g8Fiqymr-12viM4btIFjXZBM3XFqzvso_rw1omI1yYWofmbaBYggpegpJBzSeqVUZe791agjVtiMUkyjXFy__9gI0Qk9ZUarI4p25SvS4I1hX4YyBk6ol32Z5zIsVr1Seff__aklm6M2Mlkumd7nurm46hjOIoOhFpfFxrQ6yivnhYapBOJMYirgbZvigvI3dom1fnmt0-ktmRxp69w7Uzzy
> content-type: application/json
> content-length: 158
> 
* Connection state changed (MAX_CONCURRENT_STREAMS == 100)!
* We are completely uploaded and fine
< HTTP/2 200 
< x-vertex-ai-internal-prediction-backend: harpoon
< date: Sun, 20 Aug 2023 22:25:31 GMT
< content-type: application/json; charset=UTF-8
< vary: X-Origin
< vary: Referer
< vary: Origin,Accept-Encoding
< server: scaffolding on HTTPServer2
< cache-control: private
< x-xss-protection: 0
< x-frame-options: SAMEORIGIN
< x-content-type-options: nosniff
< accept-ranges: none
< 
{
  "predictions": [
    "$479.0",
    "$586.0"
  ],
  "deployedModelId": "3587550310781943808",
  "model": "projects/884291964428/locations/us-central1/models/6829574694488768512",
  "modelDisplayName": "diamonds-cpr",
  "modelVersionId": "1"
}
* Connection #0 to host us-central1-aiplatform.googleapis.com left intact

HEY কার্যকর করুন

অপারেটিং সিস্টেম থেকে, ১০ মিনিটের বেসলাইন টেস্ট চালু করতে HEY কমান্ডটি চালান। 

./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

১৭. হে ভ্যালিডেশন (us-central1)

এখন যেহেতু আপনি us-central1-এর একটি কম্পিউট ইনস্ট্যান্স থেকে Hey এক্সিকিউট করেছেন, নিম্নলিখিত ফলাফলগুলো মূল্যায়ন করুন:

  • HEY ফলাফল
  • ভার্টেক্স কাস্টম ড্যাশবোর্ড
  • নেটওয়ার্ক ইন্টেলিজেন্স

HEY ফলাফল

অপারেটিং সিস্টেম থেকে, চলুন ১০ মিনিটের এক্সিকিউশনের উপর ভিত্তি করে HEY ফলাফলগুলো যাচাই করি।

প্রতি সেকেন্ডে ৪৪.৯৪০৮টি অনুরোধ

০.০৩৫৩ সেকেন্ডে ৯৯% | ৩৫ মিলিসেকেন্ড

২০০ স্ট্যাটাস কোড সহ ২৬৯৬৫টি প্রতিক্রিয়া 

devops_user_1_deepakmichael_alto@central-client:~$ ./hey_linux_amd64 -c 1 -z 10m -m POST -D instances.json  -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/endpoints/${ENDPOINT_ID}:predict

Summary:
  Total:        600.0113 secs
  Slowest:      0.3673 secs
  Fastest:      0.0184 secs
  Average:      0.0222 secs
  Requests/sec: 44.9408
  

Response time histogram:
  0.018 [1]     |
  0.053 [26923] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
  0.088 [25]    |
  0.123 [4]     |
  0.158 [0]     |
  0.193 [1]     |
  0.228 [9]     |
  0.263 [1]     |
  0.298 [0]     |
  0.332 [0]     |
  0.367 [1]     |


Latency distribution:
  10% in 0.0199 secs
  25% in 0.0205 secs
  50% in 0.0213 secs
  75% in 0.0226 secs
  90% in 0.0253 secs
  95% in 0.0273 secs
  99% in 0.0353 secs

Details (average, fastest, slowest):
  DNS+dialup:   0.0000 secs, 0.0184 secs, 0.3673 secs
  DNS-lookup:   0.0000 secs, 0.0000 secs, 0.0079 secs
  req write:    0.0000 secs, 0.0000 secs, 0.0007 secs
  resp wait:    0.0220 secs, 0.0182 secs, 0.3672 secs
  resp read:    0.0002 secs, 0.0001 secs, 0.0046 secs

Status code distribution:
  [200] 26965 responses

ভার্টেক্স কাস্টম ড্যাশবোর্ড

মনিটরিং → ড্যাশবোর্ড-এ যান এবং ভার্টেক্স কাস্টম ড্যাশবোর্ড নির্বাচন করুন, 10m অথবা আপনার শুরু এবং শেষের সময় লিখুন। আপনার টাইম জোন সঠিক আছে কিনা তা নিশ্চিত করুন।

শেষ ১০ মিনিটের পূর্বাভাস লেটেন্সি ৩০.৫৩৩ মিলিসেকেন্ড।

প্রেডিকশন ল্যাটেন্সির সংজ্ঞা অনুযায়ী, এটি একটি সার্ভার সাইড মেট্রিক যা মডেল থেকে প্রতিক্রিয়া পাওয়ার পর ক্লায়েন্টের অনুরোধে সাড়া দিতে মোট কত সময় লাগে তা পরিমাপ করে।

  • মোট লেটেন্সি সময়কাল : একটি অনুরোধ সার্ভিসে যে মোট সময় ব্যয় করে, যা মডেল লেটেন্সি এবং ওভারহেড লেটেন্সির যোগফল।

এর বিপরীতে, HEY হলো একটি ক্লায়েন্ট-সাইড মেট্রিক্স যা নিম্নলিখিত প্যারামিটারগুলো বিবেচনা করে:

ক্লায়েন্টের অনুরোধ + মোট লেটেন্সি (মডেল লেটেন্সি সহ) + ক্লায়েন্টের প্রতিক্রিয়া

নেটওয়ার্ক ইন্টেলিজেন্স

গুগল ক্লাউড প্ল্যাটফর্ম কর্তৃক রিপোর্ট করা us-central1 ল্যাটেন্সি সম্পর্কে ধারণা পেতে, চলুন এখন নেটওয়ার্ক ইন্টেলিজেন্স দ্বারা রিপোর্ট করা আন্তঃ-অঞ্চল নেটওয়ার্ক ল্যাটেন্সি দেখে নেওয়া যাক।

ক্লাউড কনসোল নেটওয়ার্ক ইন্টেলিজেন্স → পারফরম্যান্স ড্যাশবোর্ডে যান এবং নিচের স্ক্রিনশটে দেখানো .২ থেকে .৮ মিলিসেকেন্ড ল্যাটেন্সি নির্দেশকারী অপশনগুলো নির্বাচন করুন।

eaa84848c3185fde.png

HEY us-central1 বেসলাইন সারাংশ

টেস্ট টুলগুলো দ্বারা রিপোর্ট করা মোট ল্যাটেন্সি তুলনা করলে ওয়েস্ট-ক্লায়েন্টের চেয়ে কম ল্যাটেন্সি পাওয়া যায়, কারণ কম্পিউট (সেন্ট্রাল-ক্লায়েন্ট) এবং ভার্টেক্স এন্ডপয়েন্টগুলো (মডেল এবং অনলাইন প্রেডিকশন) একই অঞ্চলে অবস্থিত।

লেটেন্সি টুল

সময়কাল

নেটওয়ার্ক ইন্টেলিজেন্স: ইউএস-সেন্ট্রাল১ আন্তঃ-অঞ্চল লেটেন্সি

~.২ থেকে .৮ মিলিসেকেন্ড

ক্লাউড মনিটরিং: মোট পূর্বাভাস লেটেন্সি [৯৯তম পার্সেন্টাইল]

৩০.৫৩৩ মিলিসেকেন্ড (৯৯পি)

গুগল কর্তৃক রিপোর্ট করা মোট লেটেন্সি

~৩০.৭৩৩ থেকে ৩১.৩৩৩ মিলিসেকেন্ড

হে ক্লায়েন্ট সাইড লেটেন্সি

৩৫ মিলিসেকেন্ড (৯৯পি)

১৮. অভিনন্দন

অভিনন্দন, আপনি ক্লাউড মনিটরিং এবং নেটওয়ার্ক ইন্টেলিজেন্সের সমন্বয়ে ক্লায়েন্ট সাইড প্রেডিকশন বেসলাইন ল্যাটেন্সি পাওয়ার জন্য HEY সফলভাবে স্থাপন এবং যাচাই করেছেন। পরীক্ষার ভিত্তিতে আপনি শনাক্ত করেছেন যে us-central-এ অবস্থিত একটি প্রেডিকশন এন্ডপয়েন্টকে আন্তঃ-আঞ্চলিকভাবে পরিষেবা দেওয়া সম্ভব, তবে ল্যাটেন্সি পরিলক্ষিত হয়েছে।

কসমোপাপ মনে করে টিউটোরিয়ালগুলো অসাধারণ!!

e6d3675ca7c6911f.jpeg

১৯. পরিষ্কার করা

ক্লাউড শেল থেকে টিউটোরিয়াল উপাদানগুলো মুছে ফেলুন। 

gcloud compute instances delete central-client --zone=us-central1-a -q

gcloud compute instances delete west-client --zone=us-west1-a -q

gcloud compute instances delete workbench-tutorial --zone=us-central1-a -q

gcloud compute forwarding-rules delete pscvertex --global --quiet 

gcloud compute addresses delete psc-ip --global --quiet

gcloud compute networks subnets delete workbench-subnet --region=us-central1 --quiet 

gcloud compute networks subnets delete us-west1-subnet --region=us-west1 --quiet

gcloud compute networks subnets delete us-central1-subnet --region=us-central1 --quiet

gcloud compute routers delete cloud-router-us-west1-aiml-nat --region=us-west1 --quiet

gcloud compute routers delete cloud-router-us-central1-aiml-nat --region=us-central1 --quiet

gcloud compute firewall-rules delete  ssh-iap-vpc --quiet

gcloud dns record-sets delete *.googleapis.com. --zone=psc-googleapis --type=A --quiet

gcloud dns managed-zones delete psc-googleapis --quiet

gcloud compute networks delete aiml-vpc --quiet

gcloud storage rm -r gs://$projectid-cpr-bucket

ক্লাউড কনসোল থেকে নিম্নলিখিতগুলি মুছে ফেলা হয়েছে:

আর্টিফ্যাক্ট রেজিস্ট্রি ফোল্ডার

99c17044e2f80919.png

Vertex AI মডেল রেজিস্ট্রি থেকে মডেলটি আনডিপ্লয় করুন:

f5b315f089ae6283.png

Vertex AI অনলাইন প্রেডিকশন থেকে এন্ডপয়েন্টটি মুছে ফেলুন।

9b58688a5037de84.png

এরপর কী?

এই টিউটোরিয়ালগুলো দেখে নিন...

আরও পড়ুন ও ভিডিও

রেফারেন্স নথি