ক্লাউড রান জবস ব্যবহার করে কীভাবে একটি এলএলএম টিউন করবেন

1. ভূমিকা

ওভারভিউ

এই কোডল্যাবে, আপনি ক্লাউড রান জবগুলিকে একটি জেমা মডেলকে সুন্দর করার জন্য ব্যবহার করবেন, তারপর vLLM ব্যবহার করে ক্লাউড রানে ফলাফল পরিবেশন করবেন।

এই কোডল্যাবের উদ্দেশ্যে, আপনি একটি টেক্সট-টু-এসকিউএল ডেটাসেট ব্যবহার করবেন, যা স্বাভাবিক ভাষায় প্রশ্ন করা হলে SQL কোয়েরি সহ LLM উত্তর দেওয়ার উদ্দেশ্যে।

আপনি কি শিখবেন

• ক্লাউড রান জবস জিপিইউ ব্যবহার করে কীভাবে সূক্ষ্ম টিউনিং পরিচালনা করবেন
• ভিএলএলএম দিয়ে ক্লাউড রান ব্যবহার করে একটি মডেল কীভাবে পরিবেশন করবেন
• মডেলের দ্রুত আপলোড এবং পরিবেশনের জন্য একটি GPU কাজের জন্য সরাসরি ভিপিসি কনফিগারেশন কীভাবে ব্যবহার করবেন

2. আপনি শুরু করার আগে

এপিআই সক্ষম করুন

আপনি এই কোডল্যাব ব্যবহার শুরু করার আগে, চালানোর মাধ্যমে নিম্নলিখিত APIগুলি সক্ষম করুন:

gcloud services enable run.googleapis.com \
    compute.googleapis.com \
    run.googleapis.com \
    cloudbuild.googleapis.com \
    secretmanager.googleapis.com \
    artifactregistry.googleapis.com

GPU কোটা

একটি সমর্থিত অঞ্চলের জন্য একটি কোটা বৃদ্ধির অনুরোধ করুন ৷ কোটা হল nvidia_l4_gpu_allocation_no_zonal_redundancy , Cloud Run Admin API-এর অধীনে।

দ্রষ্টব্য: আপনি যদি একটি নতুন প্রকল্প ব্যবহার করেন, তাহলে এপিআই সক্ষম করা এবং এই পৃষ্ঠায় কোটাগুলি উপস্থিত হতে কয়েক মিনিট সময় লাগতে পারে৷

আলিঙ্গন মুখ

এই কোডল্যাব হাগিং ফেস -এ হোস্ট করা একটি মডেল ব্যবহার করে। এই মডেলটি পেতে, "পড়ুন" অনুমতি সহ আলিঙ্গন মুখ ব্যবহারকারী অ্যাক্সেস টোকেনের জন্য অনুরোধ করুন৷ আপনি এটিকে পরে YOUR_HF_TOKEN হিসাবে উল্লেখ করবেন।

মডেলটি ব্যবহার করার জন্য আপনাকে ব্যবহারের শর্তাবলীতেও সম্মত হতে হবে: https://huggingface.co/google/gemma-2b

3. সেটআপ এবং প্রয়োজনীয়তা

নিম্নলিখিত সংস্থান সেট আপ করুন:

• IAM পরিষেবা অ্যাকাউন্ট এবং সংশ্লিষ্ট IAM অনুমতি,
• আপনার আলিঙ্গন মুখের টোকেন সংরক্ষণ করার জন্য সিক্রেট ম্যানেজার গোপন ,
• ক্লাউড স্টোরেজ বালতি আপনার ফাইন-টিউনড মডেল সংরক্ষণ করতে, এবং
• আর্টিফ্যাক্ট রেজিস্ট্রি রিপোজিটরি আপনার মডেলকে সূক্ষ্ম-টিউন করতে আপনি যে ছবিটি তৈরি করবেন তা সংরক্ষণ করতে।

1. এই কোডল্যাবের জন্য পরিবেশ ভেরিয়েবল সেট করুন। আমরা আপনার জন্য বেশ কয়েকটি ভেরিয়েবল আগে থেকে তৈরি করেছি। আপনার প্রজেক্ট আইডি, অঞ্চল এবং আলিঙ্গন ফেস টোকেন নির্দিষ্ট করুন।

   export PROJECT_ID=<YOUR_PROJECT_ID>
   export REGION=<YOUR_REGION>
   export HF_TOKEN=<YOUR_HF_TOKEN>
   
   export AR_REPO=codelab-finetuning-jobs
   export IMAGE_NAME=finetune-to-gcs
   export JOB_NAME=finetuning-to-gcs-job
   export BUCKET_NAME=$PROJECT_ID-codelab-finetuning-jobs
   export SECRET_ID=HF_TOKEN
   export SERVICE_ACCOUNT="finetune-job-sa"
   export SERVICE_ACCOUNT_ADDRESS=$SERVICE_ACCOUNT@$PROJECT_ID.iam.gserviceaccount.com
   

2. এই কমান্ডটি চালিয়ে পরিষেবা অ্যাকাউন্ট তৈরি করুন:

   gcloud iam service-accounts create $SERVICE_ACCOUNT \
     --display-name="Service account for fine-tuning codelab"
   

3. আলিঙ্গন মুখ অ্যাক্সেস টোকেন সঞ্চয় করতে সিক্রেট ম্যানেজার ব্যবহার করুন:

   gcloud secrets create $SECRET_ID \
         --replication-policy="automatic"
   
   printf $HF_TOKEN | gcloud secrets versions add $SECRET_ID --data-file=-
   

4. আপনার পরিষেবা অ্যাকাউন্টকে সিক্রেট ম্যানেজার সিক্রেট অ্যাকসেসরের ভূমিকা প্রদান করুন:

   gcloud secrets add-iam-policy-binding $SECRET_ID \
     --member serviceAccount:$SERVICE_ACCOUNT_ADDRESS \
     --role='roles/secretmanager.secretAccessor'
   

5. একটি বালতি তৈরি করুন যা আপনার সূক্ষ্ম-টিউনড মডেল হোস্ট করবে:

   gcloud storage buckets create -l $REGION gs://$BUCKET_NAME
   

6. বালতিতে আপনার পরিষেবা অ্যাকাউন্ট অ্যাক্সেস মঞ্জুর করুন:

   gcloud storage buckets add-iam-policy-binding gs://$BUCKET_NAME \
     --member=serviceAccount:$SERVICE_ACCOUNT_ADDRESS \
     --role=roles/storage.objectAdmin
   

7. কন্টেইনার ইমেজ সংরক্ষণ করতে একটি আর্টিফ্যাক্ট রেজিস্ট্রি সংগ্রহস্থল তৈরি করুন:

   gcloud artifacts repositories create $AR_REPO \
       --repository-format=docker \
       --location=$REGION \
       --description="codelab for finetuning using CR jobs" \
       --project=$PROJECT_ID
   

4. ক্লাউড রান কাজের ইমেজ তৈরি করুন

পরবর্তী ধাপে, আপনি নিম্নলিখিতগুলি করে এমন কোড তৈরি করবেন:

• Hugging Face থেকে Gemma মডেল আমদানি করে
• হাগিং ফেস থেকে ডেটাসেট দিয়ে মডেলে সূক্ষ্ম টিউনিং করে। কাজটি সূক্ষ্ম টিউনিংয়ের জন্য একক L4 GPU ব্যবহার করে।
• আপনার ক্লাউড স্টোরেজ বালতিতে new_model নামক ফাইন-টিউনড মডেল আপলোড করে

1. আপনার সূক্ষ্ম টিউনিং কাজের কোডের জন্য একটি ডিরেক্টরি তৈরি করুন।

   mkdir codelab-finetuning-job
   cd codelab-finetuning-job
   

2. finetune.py নামে একটি ফাইল তৈরি করুন

   # Copyright 2024 Google LLC
   #
   # Licensed under the Apache License, Version 2.0 (the "License");
   # you may not use this file except in compliance with the License.
   # You may obtain a copy of the License at
   #
   #      http://www.apache.org/licenses/LICENSE-2.0
   #
   # Unless required by applicable law or agreed to in writing, software
   # distributed under the License is distributed on an "AS IS" BASIS,
   # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
   # See the License for the specific language governing permissions and
   # limitations under the License.
   
   import os
   import torch
   from datasets import load_dataset
   from transformers import (
       AutoModelForCausalLM,
       AutoTokenizer,
       BitsAndBytesConfig,
       TrainingArguments,
   
   )
   from peft import LoraConfig, PeftModel
   
   from trl import SFTTrainer
   
   # Cloud Storage bucket to upload the model
   bucket_name = os.getenv("BUCKET_NAME", "YOUR_BUCKET_NAME")
   
   # The model that you want to train from the Hugging Face hub
   model_name = os.getenv("MODEL_NAME", "google/gemma-2b")
   
   # The instruction dataset to use
   dataset_name = "b-mc2/sql-create-context"
   
   # Fine-tuned model name
   new_model = os.getenv("NEW_MODEL", "gemma-2b-sql")
   
   ################################################################################
   # QLoRA parameters
   ################################################################################
   
   # LoRA attention dimension
   lora_r = int(os.getenv("LORA_R", "4"))
   
   # Alpha parameter for LoRA scaling
   lora_alpha = int(os.getenv("LORA_ALPHA", "8"))
   
   # Dropout probability for LoRA layers
   lora_dropout = 0.1
   
   ################################################################################
   # bitsandbytes parameters
   ################################################################################
   
   # Activate 4-bit precision base model loading
   use_4bit = True
   
   # Compute dtype for 4-bit base models
   bnb_4bit_compute_dtype = "float16"
   
   # Quantization type (fp4 or nf4)
   bnb_4bit_quant_type = "nf4"
   
   # Activate nested quantization for 4-bit base models (double quantization)
   use_nested_quant = False
   
   ################################################################################
   # TrainingArguments parameters
   ################################################################################
   
   # Output directory where the model predictions and checkpoints will be stored
   output_dir = "./results"
   
   # Number of training epochs
   num_train_epochs = 1
   
   # Enable fp16/bf16 training (set bf16 to True with an A100)
   fp16 = True
   bf16 = False
   
   # Batch size per GPU for training
   per_device_train_batch_size = int(os.getenv("TRAIN_BATCH_SIZE", "1"))
   
   # Batch size per GPU for evaluation
   per_device_eval_batch_size = int(os.getenv("EVAL_BATCH_SIZE", "2"))
   
   # Number of update steps to accumulate the gradients for
   gradient_accumulation_steps = int(os.getenv("GRADIENT_ACCUMULATION_STEPS", "1"))
   
   # Enable gradient checkpointing
   gradient_checkpointing = True
   
   # Maximum gradient normal (gradient clipping)
   max_grad_norm = 0.3
   
   # Initial learning rate (AdamW optimizer)
   learning_rate = 2e-4
   
   # Weight decay to apply to all layers except bias/LayerNorm weights
   weight_decay = 0.001
   
   # Optimizer to use
   optim = "paged_adamw_32bit"
   
   # Learning rate schedule
   lr_scheduler_type = "cosine"
   
   # Number of training steps (overrides num_train_epochs)
   max_steps = -1
   
   # Ratio of steps for a linear warmup (from 0 to learning rate)
   warmup_ratio = 0.03
   
   # Group sequences into batches with same length
   # Saves memory and speeds up training considerably
   group_by_length = True
   
   # Save checkpoint every X updates steps
   save_steps = 0
   
   # Log every X updates steps
   logging_steps = int(os.getenv("LOGGING_STEPS", "50"))
   
   ################################################################################
   # SFT parameters
   ################################################################################
   
   # Maximum sequence length to use
   max_seq_length = int(os.getenv("MAX_SEQ_LENGTH", "512"))
   
   # Pack multiple short examples in the same input sequence to increase efficiency
   packing = False
   
   # Load the entire model on the GPU 0
   device_map = {'':torch.cuda.current_device()}
   
   # Set limit to a positive number
   limit = int(os.getenv("DATASET_LIMIT", "5000"))
   
   dataset = load_dataset(dataset_name, split="train")
   if limit != -1:
       dataset = dataset.shuffle(seed=42).select(range(limit))
   
   
   def transform(data):
       question = data['question']
       context = data['context']
       answer = data['answer']
       template = "Question: {question}\nContext: {context}\nAnswer: {answer}"
       return {'text': template.format(question=question, context=context, answer=answer)}
   
   
   transformed = dataset.map(transform)
   
   # Load tokenizer and model with QLoRA configuration
   compute_dtype = getattr(torch, bnb_4bit_compute_dtype)
   
   bnb_config = BitsAndBytesConfig(
       load_in_4bit=use_4bit,
       bnb_4bit_quant_type=bnb_4bit_quant_type,
       bnb_4bit_compute_dtype=compute_dtype,
       bnb_4bit_use_double_quant=use_nested_quant,
   )
   
   # Check GPU compatibility with bfloat16
   if compute_dtype == torch.float16 and use_4bit:
       major, _ = torch.cuda.get_device_capability()
       if major >= 8:
           print("=" * 80)
           print("Your GPU supports bfloat16")
           print("=" * 80)
   
   # Load base model
   model = AutoModelForCausalLM.from_pretrained(
       model_name,
       quantization_config=bnb_config,
       device_map=device_map,
       torch_dtype=torch.float16,
   )
   model.config.use_cache = False
   model.config.pretraining_tp = 1
   
   # Load LLaMA tokenizer
   tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
   tokenizer.pad_token = tokenizer.eos_token
   tokenizer.padding_side = "right"
   
   # Load LoRA configuration
   peft_config = LoraConfig(
       lora_alpha=lora_alpha,
       lora_dropout=lora_dropout,
       r=lora_r,
       bias="none",
       task_type="CAUSAL_LM",
       target_modules=["q_proj", "v_proj"]
   )
   
   # Set training parameters
   training_arguments = TrainingArguments(
       output_dir=output_dir,
       num_train_epochs=num_train_epochs,
       per_device_train_batch_size=per_device_train_batch_size,
       gradient_accumulation_steps=gradient_accumulation_steps,
       optim=optim,
       save_steps=save_steps,
       logging_steps=logging_steps,
       learning_rate=learning_rate,
       weight_decay=weight_decay,
       fp16=fp16,
       bf16=bf16,
       max_grad_norm=max_grad_norm,
       max_steps=max_steps,
       warmup_ratio=warmup_ratio,
       group_by_length=group_by_length,
       lr_scheduler_type=lr_scheduler_type,
   )
   
   trainer = SFTTrainer(
       model=model,
       train_dataset=transformed,
       peft_config=peft_config,
       dataset_text_field="text",
       max_seq_length=max_seq_length,
       tokenizer=tokenizer,
       args=training_arguments,
       packing=packing,
   )
   
   trainer.train()
   
   trainer.model.save_pretrained(new_model)
   
   # Reload model in FP16 and merge it with LoRA weights
   base_model = AutoModelForCausalLM.from_pretrained(
       model_name,
       low_cpu_mem_usage=True,
       return_dict=True,
       torch_dtype=torch.float16,
       device_map=device_map,
   )
   model = PeftModel.from_pretrained(base_model, new_model)
   model = model.merge_and_unload()
   
   # push to Cloud Storage
   
   file_path_to_save_the_model = '/finetune/new_model'
   model.save_pretrained(file_path_to_save_the_model)
   tokenizer.save_pretrained(file_path_to_save_the_model)
   

3. একটি requirements.txt ফাইল তৈরি করুন:

   accelerate==0.34.2
   bitsandbytes==0.45.5
   datasets==2.19.1
   transformers==4.51.3
   peft==0.11.1
   trl==0.8.6
   torch==2.3.0
   

4. একটি Dockerfile তৈরি করুন:

   FROM nvidia/cuda:12.6.2-runtime-ubuntu22.04
   
   RUN apt-get update && \
       apt-get -y --no-install-recommends install python3-dev gcc python3-pip git && \
       rm -rf /var/lib/apt/lists/*
   
   COPY requirements.txt /requirements.txt
   
   RUN pip3 install -r requirements.txt --no-cache-dir
   
   COPY finetune.py /finetune.py
   
   ENV PYTHONUNBUFFERED 1
   
   CMD python3 /finetune.py --device cuda
   

5. আপনার আর্টিফ্যাক্ট রেজিস্ট্রি সংগ্রহস্থলে ধারকটি তৈরি করুন:

   gcloud builds submit \
     --tag $REGION-docker.pkg.dev/$PROJECT_ID/$AR_REPO/$IMAGE_NAME \
     --region $REGION
   

5. কাজটি স্থাপন এবং সম্পাদন করুন

এই ধাপে, আপনি Google ক্লাউড স্টোরেজে দ্রুত আপলোডের জন্য সরাসরি VPC প্রস্থান সহ আপনার কাজের জন্য YAML কনফিগারেশন তৈরি করবেন।

মনে রাখবেন যে এই ফাইলটিতে ভেরিয়েবল রয়েছে যা আপনি পরবর্তী ধাপে আপডেট করবেন।

1. finetune-job.yaml.tmpl নামে একটি ফাইল তৈরি করুন:

   apiVersion: run.googleapis.com/v1
   kind: Job
   metadata:
     name: $JOB_NAME
     labels:
       cloud.googleapis.com/location: $REGION
     annotations:
       run.googleapis.com/launch-stage: ALPHA
   spec:
     template:
       metadata:
         annotations:
           run.googleapis.com/execution-environment: gen2
           run.googleapis.com/network-interfaces: '[{"network":"default","subnetwork":"default"}]'
       spec:
         parallelism: 1
         taskCount: 1
         template:
           spec:
             serviceAccountName: $SERVICE_ACCOUNT_ADDRESS
             containers:
             - name: $IMAGE_NAME
               image: $REGION-docker.pkg.dev/$PROJECT_ID/$AR_REPO/$IMAGE_NAME
               env:
               - name: MODEL_NAME
                 value: "google/gemma-2b"
               - name: NEW_MODEL
                 value: "gemma-2b-sql-finetuned"
               - name: BUCKET_NAME
                 value: "$BUCKET_NAME"
               - name: LORA_R
                 value: "8"
               - name: LORA_ALPHA
                 value: "16"
               - name: GRADIENT_ACCUMULATION_STEPS
                 value: "2"
               - name: DATASET_LIMIT
                 value: "1000"
               - name: LOGGING_STEPS
                 value: "5"
               - name: HF_TOKEN
                 valueFrom:
                   secretKeyRef:
                     key: 'latest'
                     name: HF_TOKEN
               resources:
                 limits:
                   cpu: 8000m
                   nvidia.com/gpu: '1'
                   memory: 32Gi
               volumeMounts:
               - mountPath: /finetune/new_model
                 name: finetuned_model
             volumes:
             - name: finetuned_model
               csi:
                 driver: gcsfuse.run.googleapis.com
                 readOnly: false
                 volumeAttributes:
                   bucketName: $BUCKET_NAME
             maxRetries: 3
             timeoutSeconds: '3600'
             nodeSelector:
               run.googleapis.com/accelerator: nvidia-l4
   

2. নিম্নলিখিত কমান্ডটি চালিয়ে আপনার পরিবেশ ভেরিয়েবলের সাথে YAML-এর ভেরিয়েবলগুলি প্রতিস্থাপন করুন:

   envsubst < finetune-job.yaml.tmpl > finetune-job.yaml
   

3. ক্লাউড রান জব তৈরি করুন:

   gcloud alpha run jobs replace finetune-job.yaml
   

4. কাজ সম্পাদন করুন:

   gcloud alpha run jobs execute $JOB_NAME --region $REGION --async
   

কাজটি সম্পূর্ণ হতে প্রায় 10 মিনিট সময় লাগবে। আপনি শেষ কমান্ডের আউটপুটে দেওয়া লিঙ্কটি ব্যবহার করে স্থিতি পরীক্ষা করতে পারেন।

6. একটি ক্লাউড রান পরিষেবা ব্যবহার করুন vLLM এর সাথে আপনার সূক্ষ্ম সুর করা মডেলটি পরিবেশন করতে

এই ধাপে, আপনি একটি ক্লাউড রান পরিষেবা স্থাপন করবেন। এই কনফিগারেশনটি দ্রুত ডাউনলোডের জন্য ব্যক্তিগত নেটওয়ার্কে ক্লাউড স্টোরেজ বাকেট অ্যাক্সেস করতে সরাসরি VPC ব্যবহার করে।

মনে রাখবেন যে এই ফাইলটিতে ভেরিয়েবল রয়েছে যা আপনি পরবর্তী ধাপে আপডেট করবেন।

1. একটি service.yaml.tmpl ফাইল তৈরি করুন:

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
     name: serve-gemma-sql
     labels:
       cloud.googleapis.com/location: $REGION
     annotations:
       run.googleapis.com/launch-stage: BETA
       run.googleapis.com/ingress: all
       run.googleapis.com/ingress-status: all
   spec:
     template:
       metadata:
         labels:
         annotations:
           autoscaling.knative.dev/maxScale: '1'
           run.googleapis.com/cpu-throttling: 'false'
           run.googleapis.com/gpu-zonal-redundancy-disabled: 'true'
           run.googleapis.com/network-interfaces: '[{"network":"default","subnetwork":"default"}]'
       spec:
         containers:
         - name: serve-finetuned
           image: us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20250505_0916_RC00
           ports:
           - name: http1
             containerPort: 8000
           resources:
             limits:
               cpu: 8000m
               nvidia.com/gpu: '1'
               memory: 32Gi
           volumeMounts:
           - name: fuse
             mountPath: /finetune/new_model
           command: ["python3", "-m", "vllm.entrypoints.api_server"]
           args:
           - --model=/finetune/new_model
           - --tensor-parallel-size=1
           env:
           - name: MODEL_ID
             value: 'new_model'
           - name: HF_HUB_OFFLINE
             value: '1'
         volumes:
         - name: fuse
           csi:
             driver: gcsfuse.run.googleapis.com
             volumeAttributes:
               bucketName: $BUCKET_NAME
         nodeSelector:
           run.googleapis.com/accelerator: nvidia-l4
   

2. আপনার বালতির নাম দিয়ে service.yaml ফাইলটি আপডেট করুন।

   envsubst < service.yaml.tmpl > service.yaml
   

3. আপনার ক্লাউড রান পরিষেবা স্থাপন করুন:

   gcloud alpha run services replace service.yaml
   

7. আপনার সূক্ষ্ম সুর করা মডেল পরীক্ষা করুন

এই ধাপে, আপনি আপনার মডেলকে সূক্ষ্ম টিউনিং পরীক্ষা করার জন্য অনুরোধ করবেন।

1. আপনার ক্লাউড রান পরিষেবার জন্য পরিষেবা URL পান:

   SERVICE_URL=$(gcloud run services describe serve-gemma-sql --platform managed --region $REGION --format 'value(status.url)')
   

2. আপনার মডেলের জন্য আপনার প্রম্পট তৈরি করুন।

   USER_PROMPT="Question: What are the first name and last name of all candidates? Context: CREATE TABLE candidates (candidate_id VARCHAR); CREATE TABLE people (first_name VARCHAR, last_name VARCHAR, person_id VARCHAR)"
   

3. আপনার মডেলকে অনুরোধ জানাতে CURL ব্যবহার করে আপনার পরিষেবাতে কল করুন:

   curl -X POST $SERVICE_URL/generate \
     -H "Content-Type: application/json" \
     -H "Authorization: bearer $(gcloud auth print-identity-token)" \
     -d @- <<EOF
   {
       "prompt": "${USER_PROMPT}"
   }
   EOF
   

আপনি নিম্নলিখিত অনুরূপ একটি প্রতিক্রিয়া দেখতে হবে:

{"predictions":["Prompt:\nQuestion: What are the first name and last name of all candidates? Context: CREATE TABLE candidates (candidate_id VARCHAR); CREATE TABLE people (first_name VARCHAR, last_name VARCHAR, person_id VARCHAR)\nOutput:\n CREATE TABLE people_to_candidates (candidate_id VARCHAR, person_id VARCHAR) CREATE TABLE people_to_people (person_id VARCHAR, person_id VARCHAR) CREATE TABLE people_to_people_to_candidates (person_id VARCHAR, candidate_id"]}

8. অভিনন্দন!

কোডল্যাব সম্পূর্ণ করার জন্য অভিনন্দন!

আমরা ক্লাউড রান ডকুমেন্টেশন পর্যালোচনা করার পরামর্শ দিই।

আমরা কভার করেছি কি

• ক্লাউড রান জবস জিপিইউ ব্যবহার করে কীভাবে সূক্ষ্ম টিউনিং পরিচালনা করবেন
• ভিএলএলএম দিয়ে ক্লাউড রান ব্যবহার করে একটি মডেল কীভাবে পরিবেশন করবেন
• মডেলের দ্রুত আপলোড এবং পরিবেশনের জন্য একটি GPU কাজের জন্য সরাসরি ভিপিসি কনফিগারেশন কীভাবে ব্যবহার করবেন

9. পরিষ্কার করুন

অসাবধানতাবশত চার্জ এড়ানোর জন্য, উদাহরণস্বরূপ, যদি ক্লাউড রান পরিষেবাগুলি আপনার মাসিক ক্লাউড রান ইনভোকমেন্ট বরাদ্দের চেয়ে বিনামূল্যের স্তরে অজান্তেই বেশি বার আহ্বান করা হয়, তাহলে আপনি ধাপ 6 এ তৈরি করা ক্লাউড রান পরিষেবাটি মুছে ফেলতে পারেন৷

ক্লাউড রান পরিষেবাটি মুছে ফেলতে, https://console.cloud.google.com/run-এ ক্লাউড রান ক্লাউড কনসোলে যান এবং serve-gemma-sql পরিষেবাটি মুছুন৷

সম্পূর্ণ প্রজেক্ট মুছে ফেলতে, ম্যানেজ রিসোর্সেস এ যান, ধাপ 2 এ আপনার তৈরি করা প্রজেক্টটি নির্বাচন করুন এবং মুছুন নির্বাচন করুন। আপনি যদি প্রকল্পটি মুছে ফেলেন, তাহলে আপনাকে আপনার ক্লাউড SDK-এ প্রকল্পগুলি পরিবর্তন করতে হবে৷ আপনি gcloud projects list চালিয়ে সমস্ত উপলব্ধ প্রকল্পের তালিকা দেখতে পারেন।