ক্লাউড রান জবস ব্যবহার করে কীভাবে একটি এলএলএম টিউন করবেন

1. ভূমিকা

সংক্ষিপ্ত বিবরণ

এই কোডল্যাবে, আপনি একটি Gemma 3 মডেলকে সূক্ষ্মভাবে সুরক্ষিত করতে Cloud Run জব ব্যবহার করবেন, তারপর vLLM ব্যবহার করে Cloud Run-এ ফলাফল পরিবেশন করবেন।

তুমি কি করবে

EmojiLM: Modeling the New Emoji Language এর অংশ হিসেবে প্রতিষ্ঠিত KomeijiForce/Text2Emoji ডেটাসেট ব্যবহার করে একটি নির্দিষ্ট বাক্যাংশের উত্তর দেওয়ার জন্য একটি মডেলকে প্রশিক্ষণ দিন।

প্রশিক্ষণের পর, মডেলটি "ইমোজিতে অনুবাদ করুন:" এর সাথে যুক্ত একটি বাক্যের উত্তর দেয়, সেই বাক্যের সাথে সম্পর্কিত ইমোজির একটি সিরিজ সহ।

তুমি কি শিখবে

  • ক্লাউড রান জবস জিপিইউ ব্যবহার করে কীভাবে ফাইন টিউনিং করবেন
  • ভিএলএলএম ব্যবহার করে ক্লাউড রান ব্যবহার করে কীভাবে একটি মডেল পরিবেশন করবেন
  • মডেলটি দ্রুত আপলোড এবং পরিবেশনের জন্য GPU জবের জন্য ডাইরেক্ট VPC কনফিগারেশন কীভাবে ব্যবহার করবেন

2. শুরু করার আগে

API গুলি সক্ষম করুন

এই কোডল্যাব ব্যবহার শুরু করার আগে, নিম্নলিখিত API গুলি চালিয়ে সক্ষম করুন:

gcloud services enable run.googleapis.com \
    compute.googleapis.com \
    run.googleapis.com \
    cloudbuild.googleapis.com \
    secretmanager.googleapis.com \
    artifactregistry.googleapis.com

জিপিইউ কোটা

কোটা কীভাবে অনুরোধ করবেন তা নিশ্চিত করতে GPU কোটা ডকুমেন্টেশন পর্যালোচনা করুন।

যদি আপনি "GPU ব্যবহারের জন্য আপনার কোটা নেই" ত্রুটির সম্মুখীন হন, তাহলে g.co/cloudrun/gpu-quota-এ আপনার কোটা নিশ্চিত করুন।

দ্রষ্টব্য: আপনি যদি একটি নতুন প্রকল্প ব্যবহার করেন, তাহলে API সক্রিয় করা এবং কোটা পৃষ্ঠায় কোটাগুলি প্রদর্শিত হওয়ার মধ্যে কয়েক মিনিট সময় লাগতে পারে।

আলিঙ্গনকারী মুখ

এই কোডল্যাবটি Hugging Face এ হোস্ট করা একটি মডেল ব্যবহার করে। এই মডেলটি পেতে, "Read" অনুমতি নিয়ে Hugging Face ব্যবহারকারীর অ্যাক্সেস টোকেনের জন্য অনুরোধ করুন। আপনি এটি পরে YOUR_HF_TOKEN হিসাবে উল্লেখ করবেন।

gemma-3-1b-it মডেলটি ব্যবহার করতে, আপনাকে ব্যবহারের শর্তাবলীতে সম্মত হতে হবে।

৩. সেটআপ এবং প্রয়োজনীয়তা

নিম্নলিখিত রিসোর্সগুলি সেট আপ করুন:

  • IAM পরিষেবা অ্যাকাউন্ট এবং সংশ্লিষ্ট IAM অনুমতি,
  • আপনার আলিঙ্গন মুখের টোকেন সংরক্ষণ করার জন্য গোপন ব্যবস্থাপক গোপনীয়তা ,
  • আপনার সূক্ষ্ম-সুরক্ষিত মডেল সংরক্ষণের জন্য ক্লাউড স্টোরেজ বাকেট, এবং
  • আপনার মডেলটিকে আরও সুন্দর করে সাজানোর জন্য তৈরি করা ছবিটি সংরক্ষণ করার জন্য আর্টিফ্যাক্ট রেজিস্ট্রি সংগ্রহস্থল।
  1. এই কোডল্যাবের জন্য পরিবেশগত ভেরিয়েবল সেট করুন। আমরা আপনার জন্য বেশ কয়েকটি ভেরিয়েবল আগে থেকে পূরণ করেছি। আপনার প্রকল্প আইডি, অঞ্চল এবং আলিঙ্গন মুখ টোকেন উল্লেখ করুন। 
    export PROJECT_ID=<YOUR_PROJECT_ID>
export REGION=<YOUR_REGION>
export HF_TOKEN=<YOUR_HF_TOKEN>

export NEW_MODEL=gemma-emoji
export AR_REPO=codelab-finetuning-jobs
export IMAGE_NAME=finetune-to-gcs
export JOB_NAME=finetuning-to-gcs-job
export BUCKET_NAME=$PROJECT_ID-codelab-finetuning-jobs
export SECRET_ID=HF_TOKEN
export SERVICE_ACCOUNT="finetune-job-sa"
export SERVICE_ACCOUNT_ADDRESS=$SERVICE_ACCOUNT@$PROJECT_ID.iam.gserviceaccount.com
  2. এই কমান্ডটি চালিয়ে পরিষেবা অ্যাকাউন্ট তৈরি করুন: 
    gcloud iam service-accounts create $SERVICE_ACCOUNT \
  --display-name="Service account for fine-tuning codelab"
  3. Hugging Face অ্যাক্সেস টোকেন সংরক্ষণ করতে Secret Manager ব্যবহার করুন: 
    gcloud secrets create $SECRET_ID \
      --replication-policy="automatic"

printf $HF_TOKEN | gcloud secrets versions add $SECRET_ID --data-file=-
  4. আপনার পরিষেবা অ্যাকাউন্টকে সিক্রেট ম্যানেজার সিক্রেট অ্যাকসেসরের ভূমিকা দিন: 
    gcloud secrets add-iam-policy-binding $SECRET_ID \
  --member serviceAccount:$SERVICE_ACCOUNT_ADDRESS \
  --role='roles/secretmanager.secretAccessor'
  5. আপনার সূক্ষ্ম-সুরযুক্ত মডেলটি হোস্ট করবে এমন একটি বালতি তৈরি করুন: 
    gcloud storage buckets create -l $REGION gs://$BUCKET_NAME
  6. আপনার পরিষেবা অ্যাকাউন্টকে বাকেটটিতে অ্যাক্সেস দিন: 
    gcloud storage buckets add-iam-policy-binding gs://$BUCKET_NAME \
  --member=serviceAccount:$SERVICE_ACCOUNT_ADDRESS \
  --role=roles/storage.objectAdmin
  7. কন্টেইনার ইমেজ সংরক্ষণের জন্য একটি আর্টিফ্যাক্ট রেজিস্ট্রি সংগ্রহস্থল তৈরি করুন: 
    gcloud artifacts repositories create $AR_REPO \
    --repository-format=docker \
    --location=$REGION \
    --description="codelab for finetuning using CR jobs" \
    --project=$PROJECT_ID

৪. ক্লাউড রান জব ইমেজ তৈরি করুন

পরবর্তী ধাপে, আপনি এমন কোড তৈরি করবেন যা নিম্নলিখিত কাজগুলি করবে:

  • Hugging Face থেকে Gemma মডেল আমদানি করে।
  • হাগিং ফেস থেকে ডেটাসেট ব্যবহার করে মডেলটিতে ফাইন টিউনিং করা হয়। ফাইন টিউনিংয়ের জন্য এই কাজটিতে একক L4 GPU ব্যবহার করা হয়।
  • আপনার ক্লাউড স্টোরেজ বাকেটে new_model নামক সূক্ষ্ম-সুরক্ষিত মডেলটি আপলোড করে।
  1. আপনার ফাইন টিউনিং কাজের কোডের জন্য একটি ডিরেক্টরি তৈরি করুন। 
    mkdir codelab-finetuning-job
cd codelab-finetuning-job
  2. finetune.py নামে একটি ফাইল তৈরি করুন। 
    # Copyright 2025 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#      http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

import os

import torch
from datasets import load_dataset
from peft import LoraConfig, PeftModel
from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    BitsAndBytesConfig,
    TrainingArguments,
)
from trl import SFTTrainer

# Cloud Storage bucket to upload the model
bucket_name = os.getenv("BUCKET_NAME", "YOUR_BUCKET_NAME")

# The model that you want to train from the Hugging Face hub
model_name = os.getenv("MODEL_NAME", "google/gemma-3-1b-it")

# The instruction dataset to use
dataset_name = "KomeijiForce/Text2Emoji"

# Fine-tuned model name
new_model = os.getenv("NEW_MODEL", "gemma-emoji")

############################ Setup ############################################

# Load the entire model on the GPU 0
device_map = {"": torch.cuda.current_device()}

# Limit dataset to a random selection
dataset = load_dataset(dataset_name, split="train").shuffle(seed=42).select(range(1000))

# Setup input formats: trains the model to respond to "Translate to emoji:" with emoji output.
tokenizer = AutoTokenizer.from_pretrained(model_name)

def format_to_chat(example):
    return {
        "conversations": [
            {"role": "user", "content": f"Translate to emoji: {example['text']}"},
            {"role": "assistant", "content": example["emoji"]},
        ]
    }

formatted_dataset = dataset.map(
    format_to_chat,
    batched=False,                        # Process row by row
    remove_columns=dataset.column_names,  # Optional: Keep only the new column
)

def apply_chat_template(examples):
    texts = tokenizer.apply_chat_template(examples["conversations"], tokenize=False)
    return {"text": texts}

final_dataset = formatted_dataset.map(apply_chat_template, batched=True)

############################# Config #########################################

# Load tokenizer and model with QLoRA configuration
bnb_4bit_compute_dtype = "float16"  # Compute dtype for 4-bit base models
compute_dtype = getattr(torch, bnb_4bit_compute_dtype)

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,  # Activate 4-bit precision base model loading
    bnb_4bit_quant_type="nf4",  # Quantization type (fp4 or nf4)
    bnb_4bit_compute_dtype=compute_dtype,
    bnb_4bit_use_double_quant=False,  # Activate nested quantization for 4-bit base models (double quantization)
)

# Load base model
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    quantization_config=bnb_config,
    device_map=device_map,
    torch_dtype=torch.float16,
)
model.config.use_cache = False
model.config.pretraining_tp = 1

############################## Train ##########################################

# Load LoRA configuration
peft_config = LoraConfig(
    lora_alpha=16,     # Alpha parameter for LoRA scaling
    lora_dropout=0.1,  # Dropout probability for LoRA layers,
    r=8,               # LoRA attention dimension
    bias="none",
    task_type="CAUSAL_LM",
    target_modules=["q_proj", "v_proj"],
)

# Set training parameters
training_arguments = TrainingArguments(
    output_dir="./results",
    num_train_epochs=1,
    per_device_train_batch_size=1,  # Batch size per GPU for training
    gradient_accumulation_steps=2,  # Number of update steps to accumulate the gradients for
    optim="paged_adamw_32bit",
    save_steps=0,
    logging_steps=5,
    learning_rate=2e-4,    # Initial learning rate (AdamW optimizer)
    weight_decay=0.001,    # Weight decay to apply to all layers except bias/LayerNorm weights
    fp16=True, bf16=False, # Enable fp16/bf16 training
    max_grad_norm=0.3,     # Maximum gradient normal (gradient clipping)
    warmup_ratio=0.03,     # Ratio of steps for a linear warmup (from 0 to learning rate)
    group_by_length=True,  # Group sequences into batches with same length # Saves memory and speeds up training considerably
    lr_scheduler_type="cosine",
)

trainer = SFTTrainer(
    model=model,
    train_dataset=final_dataset,
    peft_config=peft_config,
    dataset_text_field="text",
    max_seq_length=512,  # Maximum sequence length to use
    tokenizer=tokenizer,
    args=training_arguments,
    packing=False,       # Pack multiple short examples in the same input sequence to increase efficiency
)

trainer.train()
trainer.model.save_pretrained(new_model)

################################# Save ########################################

# Reload model in FP16 and merge it with LoRA weights
base_model = AutoModelForCausalLM.from_pretrained(
    model_name,
    low_cpu_mem_usage=True,
    return_dict=True,
    torch_dtype=torch.float16,
    device_map=device_map,
)
model = PeftModel.from_pretrained(base_model, new_model)
model = model.merge_and_unload()

# push results to Cloud Storage
file_path_to_save_the_model = "/finetune/new_model"
model.save_pretrained(file_path_to_save_the_model)
tokenizer.save_pretrained(file_path_to_save_the_model)
  3. একটি requirements.txt ফাইল তৈরি করুন: 
    accelerate==0.34.2
bitsandbytes==0.45.5
datasets==2.19.1
transformers==4.51.3
peft==0.11.1
trl==0.8.6
torch==2.3.0
  4. একটি Dockerfile তৈরি করুন: 
    FROM nvidia/cuda:12.6.2-runtime-ubuntu22.04

RUN apt-get update && \
    apt-get -y --no-install-recommends install python3-dev gcc python3-pip git && \
    rm -rf /var/lib/apt/lists/*

COPY requirements.txt /requirements.txt

RUN pip3 install -r requirements.txt --no-cache-dir

COPY finetune.py /finetune.py

ENV PYTHONUNBUFFERED 1

CMD python3 /finetune.py --device cuda
  5. আপনার আর্টিফ্যাক্ট রেজিস্ট্রি রিপোজিটরিতে কন্টেইনারটি তৈরি করুন: 
    gcloud builds submit \
  --tag $REGION-docker.pkg.dev/$PROJECT_ID/$AR_REPO/$IMAGE_NAME \
  --region $REGION

৫. কাজটি স্থাপন এবং সম্পাদন করুন

এই ধাপে, আপনি Google ক্লাউড স্টোরেজে দ্রুত আপলোডের জন্য সরাসরি VPC ইগ্রেস দিয়ে কাজটি তৈরি করবেন।

  1. ক্লাউড রান জব তৈরি করুন: 
    gcloud run jobs create $JOB_NAME \
  --region $REGION \
  --image $REGION-docker.pkg.dev/$PROJECT_ID/$AR_REPO/$IMAGE_NAME \
  --set-env-vars BUCKET_NAME=$BUCKET_NAME \
  --set-secrets HF_TOKEN=$SECRET_ID:latest \
  --cpu 8.0 \
  --memory 32Gi \
  --gpu 1 \
  --add-volume name=finetuned_model,type=cloud-storage,bucket=$BUCKET_NAME \
  --add-volume-mount volume=finetuned_model,mount-path=/finetune/new_model \
  --service-account $SERVICE_ACCOUNT_ADDRESS
  2. কাজটি সম্পাদন করুন: 
    gcloud run jobs execute $JOB_NAME --region $REGION --async

কাজটি সম্পন্ন হতে প্রায় ১০ মিনিট সময় লাগবে। আপনি শেষ কমান্ডের আউটপুটে প্রদত্ত লিঙ্কটি ব্যবহার করে স্থিতি পরীক্ষা করতে পারেন।

৬. আপনার সূক্ষ্মভাবে সুরক্ষিত মডেলটিকে vLLM-এর সাথে পরিবেশন করতে একটি ক্লাউড রান পরিষেবা ব্যবহার করুন।

এই ধাপে, আপনি একটি ক্লাউড রান পরিষেবা স্থাপন করবেন। এই কনফিগারেশনটি দ্রুত ডাউনলোডের জন্য ব্যক্তিগত নেটওয়ার্কের মাধ্যমে ক্লাউড স্টোরেজ বাকেট অ্যাক্সেস করতে সরাসরি VPC ব্যবহার করে।

  • আপনার ক্লাউড রান পরিষেবা স্থাপন করুন: 
    gcloud run deploy serve-gemma-emoji \
  --image us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20250601_0916_RC01 \
  --region $REGION \
  --port 8000 \
  --set-env-vars MODEL_ID=new_model,HF_HUB_OFFLINE=1 \
  --cpu 8.0 \
  --memory 32Gi \
  --gpu 1 \
  --add-volume name=finetuned_model,type=cloud-storage,bucket=$BUCKET_NAME \
  --add-volume-mount volume=finetuned_model,mount-path=/finetune/new_model \
  --service-account $SERVICE_ACCOUNT_ADDRESS \
  --max-instances 1 \
  --command python3 \
  --args="-m,vllm.entrypoints.api_server,--model=/finetune/new_model,--tensor-parallel-size=1" \
  --no-gpu-zonal-redundancy \
  --labels=dev-tutorial=codelab-tuning \
  --no-invoker-iam-check

৭. আপনার সূক্ষ্মভাবে সুরক্ষিত মডেলটি পরীক্ষা করুন

এই ধাপে, আপনি আপনার মডেলকে কার্ল ব্যবহার করে সূক্ষ্ম টিউনিং পরীক্ষা করার জন্য অনুরোধ করবেন।

  1. আপনার ক্লাউড রান পরিষেবার জন্য পরিষেবা URL পান: 
    SERVICE_URL=$(gcloud run services describe serve-gemma-emoji \
    --region $REGION --format 'value(status.url)')
  2. আপনার মডেলের জন্য প্রম্পট তৈরি করুন। 
    USER_PROMPT="Translate to emoji: I ate a banana for breakfast, later I'm thinking of having soup!"
  3. jq দিয়ে ফলাফল ফিল্টার করে, আপনার মডেলটি প্রম্পট করার জন্য curl ব্যবহার করে আপনার পরিষেবাতে কল করুন: 
    curl -s -X POST ${SERVICE_URL}/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: bearer $(gcloud auth print-identity-token)" \
-d @- <<EOF | jq ".choices[0].message.content"
{   "model": "${NEW_MODEL}",
    "messages": [{
        "role": "user",
        "content": [ { "type": "text", "text": "${USER_PROMPT}"}]
    }]
}
EOF

আপনি নিম্নলিখিতগুলির মতো একটি প্রতিক্রিয়া দেখতে পাবেন: 

🍌🤔😋🥣

৮. অভিনন্দন!

কোডল্যাবটি সম্পন্ন করার জন্য অভিনন্দন!

আমরা ক্লাউড রান জবস GPU ডকুমেন্টেশন পর্যালোচনা করার পরামর্শ দিচ্ছি।

আমরা যা কভার করেছি

  • ক্লাউড রান জবস জিপিইউ ব্যবহার করে কীভাবে ফাইন টিউনিং করবেন
  • ভিএলএলএম ব্যবহার করে ক্লাউড রান ব্যবহার করে কীভাবে একটি মডেল পরিবেশন করবেন
  • মডেলটি দ্রুত আপলোড এবং পরিবেশনের জন্য GPU জবের জন্য ডাইরেক্ট VPC কনফিগারেশন কীভাবে ব্যবহার করবেন

9. পরিষ্কার করা

উদাহরণস্বরূপ, অসাবধানতাবশত চার্জ এড়াতে, যদি ক্লাউড রান পরিষেবাগুলি আপনার মাসিক ফ্রি টিয়ারে ক্লাউড রান ইনভোকমেন্ট বরাদ্দের চেয়ে বেশি বার অনিচ্ছাকৃতভাবে ইনভোক করা হয়, তাহলে আপনি ধাপ 6-এ তৈরি করা ক্লাউড রান পরিষেবাটি মুছে ফেলতে পারেন।

ক্লাউড রান পরিষেবাটি মুছে ফেলতে, https://console.cloud.google.com/run এ ক্লাউড রান ক্লাউড কনসোলে যান এবং serve-gemma-emoji পরিষেবাটি মুছে ফেলুন।

সম্পূর্ণ প্রকল্পটি মুছে ফেলার জন্য, Manage Resources এ যান, ধাপ ২-এ তৈরি করা প্রকল্পটি নির্বাচন করুন এবং Delete নির্বাচন করুন। আপনি যদি প্রকল্পটি মুছে ফেলেন, তাহলে আপনার Cloud SDK-তে প্রকল্পগুলি পরিবর্তন করতে হবে। আপনি gcloud projects list চালিয়ে সমস্ত উপলব্ধ প্রকল্পের তালিকা দেখতে পারেন।