১. ভূমিকা
সংক্ষিপ্ত বিবরণ
ক্লাউড রান সম্প্রতি জিপিইউ (GPU) সাপোর্ট যুক্ত করেছে। এটি একটি ওয়েটলিস্টভুক্ত পাবলিক প্রিভিউ হিসেবে উপলব্ধ। আপনি যদি এই ফিচারটি ব্যবহার করে দেখতে আগ্রহী হন, তবে ওয়েটলিস্টে যোগ দেওয়ার জন্য এই ফর্মটি পূরণ করুন । ক্লাউড রান হলো গুগল ক্লাউডের একটি কন্টেইনার প্ল্যাটফর্ম, যা আপনাকে কোনো ক্লাস্টার পরিচালনা করার ঝামেলা ছাড়াই খুব সহজে একটি কন্টেইনারে আপনার কোড চালাতে সাহায্য করে।
বর্তমানে, আমরা ২৪ জিবি vRAM সহ Nvidia L4 GPU সরবরাহ করছি। প্রতিটি Cloud Run ইনস্ট্যান্সের জন্য একটি করে GPU রয়েছে এবং Cloud Run-এর অটো স্কেলিং এখনও প্রযোজ্য। এর মধ্যে রয়েছে ৫টি পর্যন্ত ইনস্ট্যান্স স্কেল আউট করা (কোটা বৃদ্ধির সুযোগ সহ), এবং কোনো অনুরোধ না থাকলে ইনস্ট্যান্সের সংখ্যা শূন্যে নামিয়ে আনা।
Transformers.js-কে Hugging Face-এর transformers পাইথন লাইব্রেরির সাথে কার্যকারিতার দিক থেকে সমতুল্য করে ডিজাইন করা হয়েছে, যার মানে হলো আপনি প্রায় একই রকম একটি API ব্যবহার করে একই প্রি-ট্রেইনড মডেলগুলো চালাতে পারবেন। আপনি Transformers.js ওয়েবসাইটে এ বিষয়ে আরও বিস্তারিত জানতে পারবেন।
এই কোডল্যাবে, আপনি Transformers.js এবং GPU ব্যবহার করে একটি অ্যাপ তৈরি ও ক্লাউড রানে ডেপ্লয় করবেন।
আপনি যা শিখবেন
- GPU ব্যবহার করে ক্লাউড রানে Transformers.js দিয়ে কীভাবে একটি অ্যাপ চালানো যায়
২. এপিআই সক্রিয় করুন এবং পরিবেশ ভেরিয়েবল সেট করুন
এই কোডল্যাবটি ব্যবহার শুরু করার আগে, আপনাকে কয়েকটি এপিআই (API) সক্রিয় করতে হবে। এই কোডল্যাবটির জন্য নিম্নলিখিত এপিআইগুলো ব্যবহার করা প্রয়োজন। আপনি নিম্নলিখিত কমান্ডটি চালিয়ে সেই এপিআইগুলো সক্রিয় করতে পারেন:
gcloud services enable run.googleapis.com \
storage.googleapis.com \
cloudbuild.googleapis.com \
তারপর আপনি এনভায়রনমেন্ট ভেরিয়েবল সেট করতে পারবেন, যেগুলো এই কোডল্যাব জুড়ে ব্যবহৃত হবে।
PROJECT_ID=<YOUR_PROJECT_ID> AR_REPO_NAME=repo REGION=us-central1
৩. Transformers.js অ্যাপটি তৈরি করুন।
প্রথমে, সোর্স কোডের জন্য একটি ডিরেক্টরি তৈরি করুন এবং সেই ডিরেক্টরিতে প্রবেশ করুন।
mkdir transformers-js-codelab && cd $_
একটি package.json ফাইল তৈরি করুন।
{
"name": "huggingface",
"version": "1.0.0",
"main": "index.js",
"type": "module",
"scripts": {
"test": "echo \"Error: no test specified\" && exit 1"
},
"keywords": [],
"author": "",
"license": "ISC",
"description": "",
"dependencies": {
"@huggingface/transformers": "^3.0.0-alpha.8",
"@xenova/transformers": "^2.17.2",
"express": "^4.17.1"
}
}
index.js নামে একটি ফাইল তৈরি করুন।
import { pipeline } from "@xenova/transformers";
import express from 'express';
// make sure the text-generation pipeline is created first
// before anyone can access the routes
const generator = await pipeline('text-generation', 'Xenova/llama2.c-stories15M', {
device: 'cuda',
dtype: 'fp32',
});
// now create the app and routes
const app = express();
app.get('/', async (req, res) => {
const text = 'A long time ago in a galaxy far far away,';
const output = await generator(text, { max_new_tokens: 50 });
res.send(output);
});
const port = parseInt(process.env.PORT) || 8080;
app.listen(port, () => {
console.log(`transformers-js app: listening on port ${port}`);
});
একটি Dockerfile তৈরি করুন। এই ডকারফাইলটি Transformers.js-এর জন্য প্রয়োজনীয় অতিরিক্ত এনভিডিয়া ড্রাইভারগুলো ইনস্টল করবে।
FROM node:20 WORKDIR /usr/src/app RUN apt-get update && \ apt-get install software-properties-common -y && \ wget https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64/cuda-keyring_1.1-1_all.deb && \ dpkg -i cuda-keyring_1.1-1_all.deb && \ add-apt-repository contrib && \ apt-get update && \ apt-get -y install cuda-toolkit-12-6 && \ apt-get -y install cudnn-cuda-12 EXPOSE 8080 COPY package.json . RUN npm install COPY index.js . ENTRYPOINT ["node", "index.js"]
৪. ক্লাউড রান পরিষেবাটি তৈরি ও স্থাপন করুন
আর্টিফ্যাক্ট রেজিস্ট্রি-তে একটি রিপোজিটরি তৈরি করুন।
gcloud artifacts repositories create $AR_REPO_NAME \ --repository-format docker \ --location us-central1
আপনার কোড ক্লাউড বিল্ড-এ জমা দিন।
IMAGE=us-central1-docker.pkg.dev/$PROJECT_ID/$AR_REPO_NAME/gpu-transformers-js gcloud builds submit --tag $IMAGE
এরপর, ক্লাউড রান-এ ডেপ্লয় করুন।
gcloud beta run deploy transformers-js-codelab \ --image=$IMAGE \ --cpu 8 --memory 32Gi \ --gpu=1 --no-cpu-throttling --gpu-type nvidia-l4 \ --allow-unauthenticated \ --region us-central1 \ --project=$PROJECT_ID \ --max-instances 1
৫. পরিষেবাটি পরীক্ষা করুন
আপনি নিম্নলিখিতটি চালিয়ে পরিষেবাটি পরীক্ষা করতে পারেন:
SERVICE_URL=$(gcloud run services describe transformers-js-codelab --region $REGION --format 'value(status.url)') curl $SERVICE_URL
এবং আপনি নিম্নলিখিতের অনুরূপ কিছু দেখতে পাবেন:
[{"generated_text":"A long time ago in a galaxy far far away, there was a beautiful garden. Every day, the little girl would go to the garden and look at the flowers. She loved the garden so much that she would come back every day to visit it.\nOne day, the little girl was walking through"}]
৬. অভিনন্দন!
কোডল্যাবটি সম্পন্ন করার জন্য অভিনন্দন!
আমরা ক্লাউড রান জিপিইউ (Cloud Run GPUs) সম্পর্কিত ডকুমেন্টেশন পর্যালোচনা করার পরামর্শ দিই।
আমরা যা আলোচনা করেছি
- GPU ব্যবহার করে ক্লাউড রানে Transformers.js দিয়ে কীভাবে একটি অ্যাপ চালানো যায়
৭. পরিষ্কার করুন
অনিচ্ছাকৃত চার্জ এড়াতে, (উদাহরণস্বরূপ, যদি ফ্রি টিয়ারে আপনার মাসিক ক্লাউড রান ব্যবহারের বরাদ্দের চেয়ে ক্লাউড রান পরিষেবাগুলো অনিচ্ছাকৃতভাবে বেশিবার চালু করা হয়), আপনি হয় ক্লাউড রানটি অথবা ধাপ ২-এ তৈরি করা প্রজেক্টটি ডিলিট করে দিতে পারেন।
Cloud Run সার্ভিসটি ডিলিট করতে, https://console.cloud.google.com/run-এ অবস্থিত Cloud Run ক্লাউড কনসোলে যান এবং transformers-js-codelab সার্ভিসটি ডিলিট করে দিন।
আপনি যদি পুরো প্রজেক্টটি মুছে ফেলতে চান, তাহলে আপনি https://console.cloud.google.com/cloud-resource-manager -এ গিয়ে, ধাপ ২-এ তৈরি করা প্রজেক্টটি নির্বাচন করে 'ডিলিট' (Delete) বিকল্পটি বেছে নিতে পারেন। প্রজেক্টটি মুছে ফেললে, আপনাকে আপনার ক্লাউড এসডিকে (Cloud SDK)-তে প্রজেক্ট পরিবর্তন করতে হবে। আপনি gcloud projects list চালিয়ে সমস্ত উপলব্ধ প্রজেক্টের তালিকা দেখতে পারেন।