Google आपकी पसंदीदा भाषा में कॉन्टेंट का अनुवाद करने के लिए, एआई टेक्नोलॉजी का इस्तेमाल करता है. एआई से मिले अनुवादों में गलतियां हो सकती हैं.

Cloud Run में Gemma 4 और BigQuery एमसीपी सर्वर की मदद से, एआई एजेंट बनाना और उन्हें डिप्लॉय करना

1. परिचय

ध्यान दें: इस सुविधा पर, "Pre-GA के तहत आने वाले प्रॉडक्ट और सुविधाओं से जुड़ी शर्तें" लागू होती हैं. ये शर्तें, सेवा की खास शर्तें पेज पर 'सेवा की सामान्य शर्तें' सेक्शन में दी गई हैं. Pre-GA के तहत आने वाली सुविधाएं, "जैसी हैं वैसी" ही उपलब्ध कराई जाती हैं. ऐसा हो सकता है कि इनके लिए आपको सीमित सहायता ही मिले. ज़्यादा जानकारी के लिए, लॉन्च के चरणों की जानकारी देखें

खास जानकारी

आपको क्या सीखने को मिलेगा

vLLM की मदद से, Cloud Run RTX 6000 Pro GPU पर Gemma 4 मॉडल को डिप्लॉय करने का तरीका
एजेंट डेवलपमेंट किट (एडीके) का इस्तेमाल करके, एआई एजेंट बनाने और उसके साथ Gemma 4 का इस्तेमाल करने का तरीका.
BigQuery MCP सर्वर का इस्तेमाल करके, BigQuery में मौजूद स्ट्रक्चर्ड डेटा का ऐक्सेस एआई एजेंट को कैसे दिया जाता है.

Gemma 4, Google DeepMind के Apache 2-लाइसेंस वाले ओपन वेट मॉडल का एक परिवार है. ये मॉडल मल्टीमॉडल और कई भाषाओं में काम करते हैं. साथ ही, ये तर्क करने और बेहतर आर्किटेक्चर की सुविधा देते हैं.

Cloud Run, कंटेनर के लिए सर्वरलेस एनवायरमेंट है. इसमें जीपीयू का इस्तेमाल किया जा सकता है.

Agent Development Kit (ADK), एजेंट डेवलपमेंट का एक ओपन-सोर्स फ़्रेमवर्क है. इसकी मदद से, एंटरप्राइज़ लेवल पर भरोसेमंद एआई एजेंट बनाए, डीबग किए, और डिप्लॉय किए जा सकते हैं.

BigQuery, पूरी तरह से मैनेज किया जाने वाला, बिना सर्वर वाला एंटरप्राइज़ डेटा वेयरहाउस है. इसकी मदद से, बड़े डेटासेट को स्टोर, क्वेरी, और उनका विश्लेषण किया जा सकता है.

मॉडल कॉन्टेक्स्ट प्रोटोकॉल (एमसीपी), यह तय करता है कि लार्ज लैंग्वेज मॉडल (एलएलएम) और एआई ऐप्लिकेशन या एजेंट, बाहरी डेटा सोर्स से कैसे कनेक्ट होंगे. एमसीपी सर्वर, आपको अपने टूल, संसाधन, और प्रॉम्प्ट इस्तेमाल करने की सुविधा देते हैं. इससे कार्रवाइयाँ की जा सकती हैं और बैकएंड सेवा से अपडेट किया गया डेटा पाया जा सकता है. BigQuery MCP Server, आपके एआई एजेंट को BigQuery में मौजूद डेटा का विश्लेषण करने का एक सुरक्षित और सीधा तरीका देता है. पूरी तरह से मैनेज किए जा रहे इस एमसीपी सर्वर की मदद से, मैनेजमेंट से जुड़ी मुश्किलों को दूर किया जा सकता है. इससे आपको बेहतर एजेंट बनाने पर ध्यान देने में मदद मिलती है.

ध्यान दें: इस कोडलैब में, Gemma 4 31B Instruction-Tuned मॉडल का इस्तेमाल किया गया है. इस कोडलैब में बताया गया है कि Run:ai Model Streamer और डायरेक्ट वीपीसी इग्रेस का इस्तेमाल करके, कंटेनर स्टार्टअप के दौरान Cloud Storage से मॉडल लोड होने में लगने वाले समय को कैसे कम किया जा सकता है. ज़्यादा जानकारी के लिए, जीपीयू के सबसे सही तरीकों वाली गाइड पर जाएं.

2. सेटअप और ज़रूरी शर्तें

डिफ़ॉल्ट प्रोजेक्ट और Cloud Run क्षेत्र सेट अप करके शुरू करें:

# set the project
gcloud config set project YOUR_PROJECT_ID

YOUR_PROJECT_ID की जगह अपना Google Cloud प्रोजेक्ट आईडी डालें.

# set Cloud Run region
REGION="CLOUD-RUN-REGION"; gcloud config set run/region $REGION && echo $REGION > lab2rgn.txt

CLOUD-RUN-REGION को इनमें से किसी एक Cloud region से बदलें:

us-central1
asia-southeast1

यहां ऐसे एनवायरमेंट वैरिएबल दिए गए हैं जिनका इस्तेमाल इस कोडलैब में किया जाएगा. इन्हें एनवायरमेंट फ़ाइल में सेव किया जा सकता है और "सोर्स" किया जा सकता है. पक्का करें कि आपने प्रोजेक्ट आईडी की वैल्यू सही तरीके से सेट की हो. साथ ही, क्षेत्र की वैल्यू भी सेट की हो.

# Model name on HuggingFace Hub
export MODEL_NAME="google/gemma-4-31B-it"

# Cloud Run Service name
export SERVICE_NAME="gemma4-rtx-vllm-codelab"

# Cloud Project and Region for Cloud Run
export GOOGLE_CLOUD_PROJECT=$(gcloud config get project -q)
export GOOGLE_CLOUD_REGION=$(cat lab2rgn.txt 2> /dev/null || gcloud config get run/region -q)

# Service account for Cloud Run service
export SERVICE_ACCOUNT="vllm-service-sa"
export SERVICE_ACCOUNT_EMAIL="${SERVICE_ACCOUNT}@${GOOGLE_CLOUD_PROJECT}.iam.gserviceaccount.com"

# GCS Bucket for the model cache.
export MODEL_CACHE_BUCKET="${GOOGLE_CLOUD_PROJECT}-${GOOGLE_CLOUD_REGION}-hf-model-cache"
# Model cache location in GSC bucket
export GCS_MODEL_LOCATION="gs://${MODEL_CACHE_BUCKET}/model-cache/${MODEL_NAME}"
# Uncomment next line if loading gemma-4-31B-it directly from the public cache bucket
# export GCS_MODEL_LOCATION="gs://vertex-model-garden-public-us/gemma4/gemma-4-31B-it"

# VPC Network for Direct VPC Egress
export VPC_NETWORK="vllm-${GOOGLE_CLOUD_REGION}-net"
export VPC_SUBNET="vllm-${GOOGLE_CLOUD_REGION}-subnet"
export SUBNET_RANGE="10.8.0.0/26"

इस कोडलैब के लिए ज़रूरी एपीआई चालू करें. एपीआई में किए गए बदलावों को लागू होने में दो से तीन मिनट लग सकते हैं.

gcloud services enable --project "${GOOGLE_CLOUD_PROJECT}" \
    run.googleapis.com \
    cloudbuild.googleapis.com \
    artifactregistry.googleapis.com \
    iam.googleapis.com \
    compute.googleapis.com \
    vpcaccess.googleapis.com \
    storage.googleapis.com \
    bigquery.googleapis.com \
    aiplatform.googleapis.com

3. सेवा खाता बनाएं

अगर Cloud Run सेवा या नौकरी बनाते समय, सेवा खाते की जानकारी नहीं दी जाती है, तो Cloud Run, Compute Engine के डिफ़ॉल्ट सेवा खाते का इस्तेमाल करता है. हमारा सुझाव है कि Cloud Run सेवा के लिए अलग सेवा खाता इस्तेमाल करें, ताकि सेवा को ज़्यादा अनुमतियों के साथ न चलाना पड़े.

Cloud Run सेवा के लिए सेवा खाता बनाना

gcloud iam service-accounts create ${SERVICE_ACCOUNT} \
  --project "${GOOGLE_CLOUD_PROJECT}" \
  --display-name "vLLM Service Account"

4. Cloud Storage सेट अप करना

मॉडल के वेट को सेव करने के लिए, Cloud Storage बकेट बनाएं. इससे, Cloud Run के हर बार सेवा इंस्टेंस शुरू करने पर, मॉडल के वेट को तेज़ी से डाउनलोड करने के लिए डायरेक्ट वीपीसी इग्रेस का इस्तेमाल किया जा सकेगा.

vLLM में Run:ai Model Streamer सुविधा के साथ मिलकर काम करने से, मॉडल लोड होने में लगने वाला समय काफ़ी कम हो जाता है.

बकेट बनाना

पक्का करें कि यह एक ही क्षेत्र में मौजूद बकेट हो और Cloud Run सेवा के साथ को-लोकेट की गई हो.

gcloud storage buckets create "gs://${MODEL_CACHE_BUCKET}" \
    --uniform-bucket-level-access --public-access-prevention \
    --project "${GOOGLE_CLOUD_PROJECT}" --location "${GOOGLE_CLOUD_REGION}"

5. मॉडल के वज़न को वापस पाना और कैश मेमोरी में सेव करना

इसके बाद, Gemma 4 मॉडल को अपनी Cloud Storage बकेट में डाउनलोड करें. मॉडल के वज़न का मतलब है कि मॉडल का साइज़ कई गीगाबाइट का होता है. इन्हें पहले अपने कंप्यूटर या Cloud Shell पर डाउनलोड करना मुश्किल हो सकता है. इसके बजाय, Cloud Build का इस्तेमाल करें. इसमें मॉडल के वेट को सेव करने के लिए, ज़रूरत के मुताबिक स्टोरेज होना चाहिए.

शेयर किए गए Cloud Storage बकेट से मॉडल के वेट कॉपी करना

Google Cloud, सार्वजनिक तौर पर ऐक्सेस किए जा सकने वाले Cloud Storage बकेट को होस्ट करता है. इसमें Gemma 4 मॉडल के वेट होते हैं.

अगर आपने us- में से किसी एक क्षेत्र का इस्तेमाल किया है, तो मॉडल के वेट कॉपी करने के बजाय, GCS_MODEL_LOCATION में बदलाव करके इसे सार्वजनिक कैश मेमोरी की जगह पर पॉइंट किया जा सकता है. उदाहरण के लिए, gemma-4-31B-it मॉडल के लिए, export GCS_MODEL_LOCATION="gs://vertex-model-garden-public-us/gemma4/gemma-4-31B-it" सेट करें. अगर .env या env.sh जैसी एनवायरमेंट फ़ाइल का इस्तेमाल किया जाता है, तो उसमें बदलाव करना न भूलें.

इन्हें अपने स्टोरेज बकेट में कॉपी करने के लिए, यह कमांड चलाएं:

gcloud builds submit --project="${GOOGLE_CLOUD_PROJECT}" --region="${GOOGLE_CLOUD_REGION}" --no-source \
    --substitutions="_MODEL_NAME=${MODEL_NAME},_GCS_MODEL_LOCATION=${GCS_MODEL_LOCATION}" \
    --config=/dev/stdin <<'EOF'
steps:
- name: 'gcr.io/google.com/cloudsdktool/google-cloud-cli:slim'
  entrypoint: 'bash'
  args:
  - '-c'
  - |
    if [[ "$_GCS_MODEL_LOCATION" == *"vertex-model-garden-public-us"* ]]; then
      echo "Using the public cache bucket."
      exit 0
    fi
    gcloud config set storage/parallel_composite_upload_enabled True
    gcloud config set storage/parallel_composite_upload_threshold 150M
    gcloud config set storage/sliced_object_download_threshold 150M
    MODEL_NAME="$_MODEL_NAME"
    SHORT_NAME="$${MODEL_NAME#*/}"
    gcloud storage cp -r -D "gs://vertex-model-garden-public-us/gemma4/$${SHORT_NAME}" "$_GCS_MODEL_LOCATION"
EOF

6. डायरेक्ट वीपीसी इग्रेस के लिए नेटवर्किंग कॉन्फ़िगर करना

डायरेक्ट वीपीसी इग्रेस को कॉन्फ़िगर करने के लिए, आपको एक नेटवर्क और सबनेट बनाना होगा. साथ ही, प्राइवेट Google ऐक्सेस को चालू करना होगा.

इससे Cloud Run की सेवाएं, Google के एपीआई और सेवाओं के लिए इस्तेमाल किए जाने वाले बाहरी आईपी पतों के सेट से कनेक्ट हो सकती हैं. इनमें Cloud Storage भी शामिल है.

नेटवर्क बनाना

gcloud compute networks create "$VPC_NETWORK" \
        --subnet-mode=custom \
        --bgp-routing-mode=regional \
        --project "$GOOGLE_CLOUD_PROJECT"

सबनेट बनाना

gcloud compute networks subnets create "$VPC_SUBNET" \
        --network="$VPC_NETWORK" \
        --region="$GOOGLE_CLOUD_REGION" \
        --range="$SUBNET_RANGE" \
        --enable-private-ip-google-access \
        --project "$GOOGLE_CLOUD_PROJECT"

7. सेवा खाते के ऐक्सेस की नीति कॉन्फ़िगर करना

Cloud Run सेवा खाते को, आपके बनाए गए स्टोरेज बकेट में मॉडल के वेट को ऐक्सेस करने की अनुमतियां चाहिए.

gcloud storage buckets add-iam-policy-binding "gs://${MODEL_CACHE_BUCKET}" \
    --member "serviceAccount:${SERVICE_ACCOUNT_EMAIL}" \
    --role "roles/storage.admin" \
    --project "${GOOGLE_CLOUD_PROJECT}"

8. कॉन्फ़िगरेशन वैरिएबल शुरू करना

vLLM इन्फ़्रेंस इंजन और Cloud Run सेवा, दोनों के लिए वैरिएबल तय करें.

# vLLM variables
export MAX_MODEL_LEN="32767"    # 32767 to improve concurrency. Keep it empty to use model's maximim context length (256K)
export QUANTIZATION_TYPE="fp8"  # Model quantization for faster performance and lower memory usage.
export KV_CACHE_DTYPE="fp8"     # KV-cache quantization to save GPU memory.
export GPU_MEM_UTIL="0.95"      # Fraction of GPU memory to be used by the vLLM engine.
export TENSOR_PARALLEL_SIZE="1" # Partitioning model across GPUs (1 here as we have only 1 GPU).
export MAX_NUM_SEQS="16"         # Max concurrent requests vLLM processes in one batch.

# Cloud Run variables
export CLOUD_RUN_CPU_NUM=20
export CLOUD_RUN_MEMORY_GB=80
export CLOUD_RUN_MAX_INSTANCES=1
export CLOUD_RUN_CONCURRENCY=16

परफ़ॉर्मेंस के लिए ट्यूनिंग के बारे में जानकारी: इन वैरिएबल को ट्यून करने से थ्रूपुट और लेटेन्सी के बीच संतुलन बना रहता है:

MAX_NUM_SEQS vs CLOUD_RUN_CONCURRENCY: CLOUD_RUN_CONCURRENCY का साइज़ कम से कम MAX_NUM_SEQS के बराबर होना चाहिए. ट्रैफ़िक में अचानक बढ़ोतरी होने पर, इसका बेहतर तरीके से इस्तेमाल करने के लिए, इसे थोड़ा ज़्यादा (जैसे, 2x) पर सेट करें.
मेमोरी प्रेशर: MAX_MODEL_LEN और MAX_NUM_SEQS, दोनों केवी कैश के लिए जीपीयू मेमोरी का इस्तेमाल करते हैं. अगर आपको बड़े कॉन्टेक्स्ट लेंथ के साथ आउट-ऑफ़-मेमोरी (ओओएम) से जुड़ी गड़बड़ियां मिलती हैं, तो MAX_NUM_SEQS को कम करें.
लेटेंसी: एक साथ कई अनुरोध (MAX_NUM_SEQS) करने से, कुल थ्रूपुट बढ़ जाता है. हालांकि, इससे हर अनुरोध के लिए इंतज़ार का समय बढ़ सकता है.
स्केलिंग: CLOUD_RUN_MAX_INSTANCES की मदद से, हॉरिज़ॉन्टल तौर पर स्केल किया जा सकता है. अगर आपके सिंगल-इंस्टेंस की लेटेन्सी स्वीकार्य है, लेकिन आपको ज़्यादा कुल क्षमता की ज़रूरत है, तो इस वैल्यू को बढ़ाएं.

9. Cloud Run पर डिप्लॉय करना

vLLM कंटेनर कमांड लाइन तैयार करना

बड़े मॉडल को तेज़ी से और असरदार तरीके से चलाने के लिए, vLLM को कई पैरामीटर की ज़रूरत होती है. इन पैरामीटर को Cloud Run पर डिप्लॉय किए गए कंटेनर में आर्ग्युमेंट के तौर पर पास किया जाएगा.

CONTAINER_ARGS=(
    "vllm"
    "serve"
    "${GCS_MODEL_LOCATION}"
    "--served-model-name" "${MODEL_NAME}"
    "--enable-log-requests"
    "--enable-chunked-prefill"
    "--enable-prefix-caching"
    "--generation-config" "auto"
    "--enable-auto-tool-choice"
    "--tool-call-parser" "gemma4"
    "--reasoning-parser" "gemma4"
    "--dtype" "bfloat16"
    "--quantization" "${QUANTIZATION_TYPE}"
    "--kv-cache-dtype" "${KV_CACHE_DTYPE}"
    "--max-num-seqs" "${MAX_NUM_SEQS}"
    "--gpu-memory-utilization" "${GPU_MEM_UTIL}"
    "--tensor-parallel-size" "${TENSOR_PARALLEL_SIZE}"
    "--load-format" "runai_streamer"
    "--port" "8080"
    "--host" "0.0.0.0"
)

if [[ "${MAX_MODEL_LEN}" != "" ]]; then
    CONTAINER_ARGS+=("--max-model-len" "${MAX_MODEL_LEN}")
fi

export CONTAINER_ARGS_STR="${CONTAINER_ARGS[*]}"

Cloud Run सर्विस डिप्लॉय करना

Cloud Run सेवा को डिप्लॉय करने के लिए, यह कमांड चलाएं. जीपीयू का टाइप (RTX 6000 Pro), बेस इमेज (pytorch-vllm-serve:gemma4), और सेवा को चालू करने के लिए पुष्टि करने की ज़रूरत (--no-allow-unauthenticated) के बारे में ध्यान दें.

gcloud beta run deploy "${SERVICE_NAME}" \
    --image="us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:gemma4" \
    --project "${GOOGLE_CLOUD_PROJECT}" \
    --region "${GOOGLE_CLOUD_REGION}" \
    --service-account "${SERVICE_ACCOUNT_EMAIL}" \
    --execution-environment gen2 \
    --no-allow-unauthenticated \
    --cpu="${CLOUD_RUN_CPU_NUM}" \
    --memory="${CLOUD_RUN_MEMORY_GB}Gi" \
    --gpu=1 \
    --gpu-type=nvidia-rtx-pro-6000 \
    --no-gpu-zonal-redundancy \
    --no-cpu-throttling \
    --max-instances ${CLOUD_RUN_MAX_INSTANCES} \
    --concurrency ${CLOUD_RUN_CONCURRENCY} \
    --network ${VPC_NETWORK} \
    --subnet ${VPC_SUBNET} \
    --vpc-egress all-traffic \
    --set-env-vars "MODEL_NAME=${MODEL_NAME}" \
    --set-env-vars "GOOGLE_CLOUD_PROJECT=${GOOGLE_CLOUD_PROJECT}" \
    --set-env-vars "GOOGLE_CLOUD_REGION=${GOOGLE_CLOUD_REGION}" \
    --port=8080 \
    --timeout=3600 \
    --cpu-boost \
    --startup-probe tcpSocket.port=8080,initialDelaySeconds=240,failureThreshold=40,timeoutSeconds=10,periodSeconds=15 \
    --command "bash" \
    --args="^;^-c;${CONTAINER_ARGS_STR}"

इसे लागू होने में कुछ मिनट लगेंगे. इसके बाद, आपके पास जीपीयू की मदद से काम करने वाला ऐसा एनवायरमेंट होगा जो सर्वरलेस इन्फ़्रास्ट्रक्चर का इस्तेमाल करके Gemma 4 को सेवा देगा. इसमें ऑटो स्केलिंग की सुविधा भी शामिल होगी. साथ ही, इसमें स्केल-टू-ज़ीरो (कोई ट्रैफ़िक नहीं, कोई शुल्क नहीं) की सुविधा भी शामिल होगी.

10. सेवा को आज़माना

डप्लॉय होने के बाद, vLLM के OpenAI के साथ काम करने वाले API का इस्तेमाल करके, Gemma 4 मॉडल के साथ इंटरैक्ट किया जा सकता है.

सेवा का यूआरएल पाना

डिप्लॉय की गई Cloud Run सेवा का यूआरएल पाएं.

SERVICE_URL=$(gcloud run services describe $SERVICE_NAME --project "${GOOGLE_CLOUD_PROJECT}" --region "${GOOGLE_CLOUD_REGION}" --format 'value(status.url)')
echo "Service URL: $SERVICE_URL"

इन्फ़रेंस चलाना

curl का इस्तेमाल करके, मॉडल को कोई प्रॉम्प्ट भेजें.

curl -s "$SERVICE_URL/v1/chat/completions" \
  -H "Authorization: Bearer $(gcloud auth print-identity-token)" \
  -H "Content-Type: application/json" \
  -d '{
  "model": "'"${MODEL_NAME}"'",
  "messages": [
    {"role": "user", "content": "Why is the sky blue?"}
  ],
  "chat_template_kwargs": {
    "enable_thinking": true
  },
  "skip_special_tokens": false
}' | jq -r '.choices[0].message.content'

11. Agent Development Kit का इस्तेमाल करके डेटा एजेंट बनाना

एजेंट का कोड लिखना

Cloud Shell टर्मिनल या अपने लोकल टर्मिनल से, एजेंटिक ऐप्लिकेशन के लिए रूट डायरेक्ट्री बनाएं:

mkdir data_agent

Cloud Shell Editor या कोई दूसरा टेक्स्ट एडिटर खोलें. इसके बाद, agent.py डायरेक्ट्री में data_agent बनाएं:

data_agent/
    agent.py

agent.py

import os
import subprocess

from google.adk.agents import LlmAgent
from google.adk.models.lite_llm import LiteLlm
from google.adk.tools.mcp_tool.mcp_toolset import MCPToolset
from google.adk.tools.mcp_tool.mcp_session_manager import StreamableHTTPConnectionParams

import google.auth
from google.auth.transport.requests import Request
from google.oauth2 import id_token

# Fetch Application Default Credentials (ADC)
application_default_credentials, project_id = google.auth.default()
application_default_credentials.refresh(Request())

# Retrieve Google Cloud project to use.
project_id = os.getenv("GOOGLE_CLOUD_PROJECT", project_id)
if not project_id:
    raise ValueError("GOOGLE_CLOUD_PROJECT environment variable is not set.")

if os.getenv("GOOGLE_GENAI_USE_ENTERPRISE", "").lower() not in ["true", "1"]:
    # Using Cloud Run for hosting LLM with LiteLLM wrapper
    api_base = os.getenv(
        "API_BASE",
        os.environ.get("OPENAI_API_BASE", "")
    ).rstrip("/")
    if not api_base:
        raise ValueError("API_BASE environment variable is not set")
    if not api_base.endswith("/v1"):
        api_base += "/v1"

    model_name = os.getenv("MODEL_NAME")
    if not model_name:
        raise ValueError("MODEL_NAME environment variable is not set")
    # Format required by LiteLLM for OpenAI-compatible APIs
    model_name=f"openai/{model_name}"

    # To access the model's Cloud Run service,
    # we need an identity token.
    try:
        model_service_token_string = id_token.fetch_id_token(Request(), api_base)
    except Exception as e:
        # Fallback with using gcloud CLI to get the identity token
        model_service_token_string = subprocess.check_output(
            f"gcloud auth print-identity-token -q",
            shell=True
        ).decode().strip()

    # Gemma 4 in vLLM requires additional parameters in the request body.
    extra_body={
        "chat_template_kwargs": {
            "enable_thinking": True
        },
        "skip_special_tokens": False
    }
    # Configure the model with LiteLLM and an OpenAI-compatible endpoint
    custom_model = LiteLlm(
      model=model_name,
      base_url=api_base,
      api_key=model_service_token_string,
      extra_body=extra_body
    )
    model = custom_model
else:
    # Gemini API in Agent Platform fallback
    model = "gemini-3.5-flash-lite"

# Initialize the MCP Toolset with the connection parameters
bigquery_toolset = MCPToolset(
    connection_params=StreamableHTTPConnectionParams(
        url="https://bigquery.googleapis.com/mcp",
        headers={
            "Authorization": f"Bearer {application_default_credentials.token}",
            "x-goog-user-project": project_id, # This is used for billing
        },
        tool_filter=[
            'get_dataset_info',
            'list_table_ids',
            'get_table_info',
            # Using readonly is a security measure to prevent accidental data modification.
            'execute_sql_readonly',
        ]
    )
)

# Configure the agent

system_instruction = f"""
You are a helpful assistant that can answer questions about data in BigQuery.
To answer the user's question, use data you have access to by using tools `list_table_ids` and `get_table_info`.
Your data is in `bigquery-public-data.new_york_citibike` dataset
   (Citi Bike trips and stations in the NYC area.
    It includes trip records starting from September 2013 and is updated daily.)

Plan of action:
0. ALWAYS start by analyzing dataset.
1. Analyze your data, investigate schema and dimensions by querying distrinct values of columns using `execute_sql_readonly`.
   Output information about tables, columns, their data types and sets of values (for dimensions).
   Note which columns can be joined or used in aggregations/filters, and what type conversion may be needed for joining or aggregating.
   DO NOT MAKE ASSUMPTIONS ABOUT DATA (structure, type, values, relationships) BASED ON YOUR PRIOR KNOWLEDGE. ALWAYS VERIFY YOUR ASSUMPTIONS.
2. Understand and interpret the user's question.
3. Formulate a plan to answer the user's question.
4. Write a SQL query to retrieve relevant data in necessary form.
   This is where you must pay extra attention to column types and dimensions' sets of values.
5. Retrieve data by generating BigQuery SQL and using `execute_sql_readonly`.
   Always use Dry Run to verify SQL correctness.
   Use `{project_id}` to run BigQuery queries (`project_id` parameter of `execute_sql_readonly`).

Do not use LaTeX in your responses. When giving a final answer, use Markdown.
"""

root_agent = LlmAgent(
    model=model,
    name="data_agent",
    instruction=system_instruction,
    description="A helpful assistant that can answer questions using NYC Citibike data.",
    tools=[bigquery_toolset]
)

ADK को डिप्लॉय करने के लिए, __init__.py और requirements.txt की भी ज़रूरत होती है:

__init__.py में एजेंट के लिए इंपोर्ट की सुविधा होनी चाहिए.
requirements.txt Python डिपेंडेंसी की सूची: google-adk एजेंट डेवलपमेंट किट के लिए, litellm LiteLLM लाइब्रेरी के लिए, जिसका इस्तेमाल एडीके, Gemini के अलावा अन्य मॉडल का इस्तेमाल करने के लिए करता है, और mcp मॉडल कॉन्टेक्स्ट प्रोटोकॉल क्लाइंट के लिए.

इन कमांड की मदद से, __init__.py और requirements.txt बनाए जा सकते हैं:

echo "from . import agent" > data_agent/__init__.py
echo -e "google-adk==2.4.*\nlitellm\nmcp==1.29.*" > data_agent/requirements.txt

फ़ोल्डर का फ़ाइनल स्ट्रक्चर ऐसा दिखना चाहिए:

data_agent/
    __init__.py
    agent.py
    requirements.txt

एजेंट को स्थानीय तौर पर आज़माएं

Agent Development Kit में adk सीएलआई टूल शामिल होता है. यह एक इंटरैक्टिव टर्मिनल इंटरफ़ेस है, जिसका इस्तेमाल अपने एजेंट को टेस्ट करने के लिए किया जाता है. यह क्विक टेस्टिंग, स्क्रिप्टेड इंटरैक्शन, और CI/CD पाइपलाइन के लिए फ़ायदेमंद है. यह adk web - ADK वेब इंटरफ़ेस जैसी सुविधाएं देता है. यह इंटरैक्टिव तरीके से एजेंट डेवलप करने और उन्हें डीबग करने का एक आसान तरीका है. ADK Web का इस्तेमाल प्रोडक्शन डिप्लॉयमेंट में नहीं किया जा सकता. हालांकि, इससे एजेंट को आज़माना बहुत आसान हो जाता है.

यह कमांड adk web को लॉन्च करती है. यह पोर्ट 8080 पर एक लोकल वेब सर्वर शुरू करता है.

export API_BASE=$(gcloud run services describe $SERVICE_NAME \
  --project $GOOGLE_CLOUD_PROJECT \
  --region $GOOGLE_CLOUD_REGION \
  --format 'value(status.url)')

# If Gemma 4 deployment failed, use Gemini fallback
if [[ "${API_BASE}" == "" ]]; then
  export GOOGLE_GENAI_USE_ENTERPRISE=true
else
  export GOOGLE_GENAI_USE_ENTERPRISE=false
fi

uv tool run --with litellm,"mcp==1.29.*" --from "google-adk[mcp]==2.4.*" adk web --allow_origins="*" --port 8080 .

सेवा शुरू होने के बाद, स्थानीय ADK वेब पेज खोलें: http://localhost:8080/.

अगर Google Cloud Shell का इस्तेमाल किया जा रहा है, तो वेब की झलक बटन पर क्लिक करें.

ADK के वेब यूज़र इंटरफ़ेस (यूआई) में, एजेंट से उस डेटा के बारे में पूछें जिसे वह ऐक्सेस कर सकता है:

What data do you have?

एजेंट कोड, Cloud Run पर डिप्लॉय किए गए Gemma 4 मॉडल का इस्तेमाल करेगा. यह मॉडल, Citibike डेटासेट को एक्सप्लोर करने के लिए BigQuery MCP टूल का इस्तेमाल करेगा. इससे आपको Citibike डेटासेट में उपलब्ध टेबल और फ़ील्ड की खास जानकारी मिलेगी.

12. एजेंट को Cloud Run पर डिप्लॉय करना

इस कमांड से, ADK CLI का इस्तेमाल करके एजेंट को Cloud Run पर डिप्लॉय किया जाएगा.

export API_BASE=$(gcloud run services describe $SERVICE_NAME \
  --project $GOOGLE_CLOUD_PROJECT \
  --region $GOOGLE_CLOUD_REGION \
  --format 'value(status.url)')

# If Gemma 4 deployment failed, use Gemini fallback
if [[ "${API_BASE}" == "" ]]; then
  export GOOGLE_GENAI_USE_ENTERPRISE=true
else
  export GOOGLE_GENAI_USE_ENTERPRISE=false
fi

uv tool run --from google-adk==2.4.0 \
  adk deploy cloud_run \
      --with_ui \
      --project $GOOGLE_CLOUD_PROJECT \
      --region $GOOGLE_CLOUD_REGION \
      --service_name gemma4-data-agent \
      --app_name data_agent \
      data_agent \
      -- \
      --allow-unauthenticated \
      --max-instances 1 \
      --set-env-vars GOOGLE_GENAI_USE_ENTERPRISE=${GOOGLE_GENAI_USE_ENTERPRISE},MODEL_NAME="${MODEL_NAME}",API_BASE="${API_BASE}",GOOGLE_CLOUD_PROJECT="${GOOGLE_CLOUD_PROJECT}"

एजेंट को आज़माएं

हमने अपने एजेंट को डिप्लॉय करने के लिए, --with_ui विकल्प का इस्तेमाल किया. इसने ADK के वेब इंटरफ़ेस की मदद से एजेंट को डिप्लॉय किया है.

वेब ब्राउज़र में एजेंट का यूआरएल खोलें. adk deploy कमांड ने इसे वापस कर दिया है. साथ ही, gcloud run services कमांड को चलाकर भी यूआरएल को वापस पाया जा सकता है:

gcloud run services describe gemma4-data-agent \
  --project $GOOGLE_CLOUD_PROJECT \
  --region $GOOGLE_CLOUD_REGION \
  --format 'value(status.url)'

एजेंट से, Citibike के उपलब्ध डेटा के आधार पर जवाब देने के लिए कहें:

We have budget for 3 coffee trucks.
We want to find the best city bike stations to place our coffee trucks.

एजेंट को BigQuery MCP सर्वर का इस्तेमाल करके, Citibike डेटासेट को एक्सप्लोर करना चाहिए. साथ ही, कुछ SQL क्वेरी चलाने के बाद, तीन Citibike स्टेशनों की सूची दिखानी चाहिए.

13. बधाई हो!

कोडलैब पूरा करने के लिए बधाई!

हमारा सुझाव है कि आप Cloud Run का दस्तावेज़ पढ़ें.

हमने क्या-क्या कवर किया है

Cloud Run RTX 6000 Pro GPU पर Gemma 4 मॉडल को डिप्लॉय करने का तरीका
तेज़ी से सेवा शुरू करने के लिए, Cloud Storage के साथ डायरेक्ट वीपीसी इग्रेस और vLLM मॉडल स्ट्रीमिंग को कॉन्फ़िगर करने का तरीका.
एजेंट डेवलपमेंट किट की मदद से, एआई एजेंट बनाने और उसे डिप्लॉय करने का तरीका. यह एजेंट, Gemma 4 एलएलएम और BigQuery एमसीपी सर्वर का इस्तेमाल करता है.

14. व्यवस्थित करें

इस ट्यूटोरियल में इस्तेमाल किए गए संसाधनों के लिए, अपने Google Cloud खाते से शुल्क लिए जाने से बचने के लिए, प्रोजेक्ट या अलग-अलग संसाधनों को मिटाया जा सकता है.

पहला विकल्प: संसाधन मिटाना

Cloud Run की सेवाओं को मिटाना

gcloud run services delete gemma4-data-agent \
      --project "${GOOGLE_CLOUD_PROJECT}" \
      --region "${GOOGLE_CLOUD_REGION}" \
      --quiet
gcloud run services delete $SERVICE_NAME \
      --project "${GOOGLE_CLOUD_PROJECT}" \
      --region "${GOOGLE_CLOUD_REGION}" \
      --quiet

सेवा वाला खाता मिटाना

gcloud iam service-accounts delete \
      ${SERVICE_ACCOUNT_EMAIL} \
      --project "${GOOGLE_CLOUD_PROJECT}" \
      --quiet

Cloud Storage बकेट मिटाना

gcloud storage rm --recursive gs://$MODEL_CACHE_BUCKET

वीपीएन नेटवर्क और सबनेट मिटाना

gcloud compute networks subnets delete $VPC_SUBNET \
    --region "${GOOGLE_CLOUD_REGION}" \
    --project "${GOOGLE_CLOUD_PROJECT}" \
    --quiet

gcloud compute networks delete $VPC_NETWORK \
    --project "${GOOGLE_CLOUD_PROJECT}" \
    --quiet

दूसरा विकल्प: प्रोजेक्ट मिटाना

पूरे प्रोजेक्ट को मिटाने के लिए, संसाधन मैनेज करें पर जाएं. इसके बाद, दूसरे चरण में बनाया गया प्रोजेक्ट चुनें और मिटाएं को चुनें. प्रोजेक्ट मिटाने पर, आपको Cloud SDK में प्रोजेक्ट बदलने होंगे. gcloud projects list कमांड चलाकर, सभी उपलब्ध प्रोजेक्ट की सूची देखी जा सकती है. अगर आपको कमांड लाइन का इस्तेमाल करना है, तो इस कमांड का भी इस्तेमाल किया जा सकता है:

gcloud projects delete ${GOOGLE_CLOUD_PROJECT}