1. ভূমিকা
ওভারভিউ
এই কোডল্যাবে, আপনি Node.js-এ লেখা একটি ক্লাউড রান পরিষেবা তৈরি করবেন যা একটি ভিডিওতে প্রতিটি দৃশ্যের একটি ভিজ্যুয়াল বর্ণনা প্রদান করে। প্রথমত, আপনার পরিষেবা ভিডিও ইন্টেলিজেন্স API ব্যবহার করবে যখনই কোনও দৃশ্যের পরিবর্তনের জন্য টাইমস্ট্যাম্প সনাক্ত করতে। এরপর, আপনার পরিষেবা প্রতিটি দৃশ্য-পরিবর্তন টাইমস্ট্যাম্পের জন্য একটি স্ক্রিনশট ক্যাপচার করতে ffmpeg নামক একটি তৃতীয় পক্ষের বাইনারি ব্যবহার করবে। সবশেষে, Vertex AI ভিজ্যুয়াল ক্যাপশনিং স্ক্রিনশটগুলির একটি ভিজ্যুয়াল বিবরণ প্রদান করতে ব্যবহৃত হয়।
এই কোডল্যাবটি একটি প্রদত্ত টাইমস্ট্যাম্পে একটি ভিডিও থেকে চিত্রগুলি ক্যাপচার করতে আপনার ক্লাউড রান পরিষেবার মধ্যে কীভাবে ffmpeg ব্যবহার করতে হয় তাও প্রদর্শন করে৷ যেহেতু ffmpeg স্বাধীনভাবে ইনস্টল করা প্রয়োজন, এই কোডল্যাব আপনাকে দেখায় কিভাবে আপনার ক্লাউড রান পরিষেবার অংশ হিসাবে ffmpeg ইনস্টল করতে একটি ডকারফাইল তৈরি করতে হয়।
ক্লাউড রান পরিষেবা কীভাবে কাজ করে তার একটি চিত্র এখানে দেওয়া হল:
আপনি কি শিখবেন
- একটি 3য় পক্ষের বাইনারি ইনস্টল করতে ডকারফাইল ব্যবহার করে কীভাবে একটি ধারক চিত্র তৈরি করবেন
- অন্যান্য Google ক্লাউড পরিষেবাগুলিতে কল করার জন্য ক্লাউড রান পরিষেবার জন্য একটি পরিষেবা অ্যাকাউন্ট তৈরি করে কীভাবে সর্বনিম্ন সুবিধার নীতি অনুসরণ করবেন
- একটি ক্লাউড রান পরিষেবা থেকে ভিডিও ইন্টেলিজেন্স ক্লায়েন্ট লাইব্রেরি কীভাবে ব্যবহার করবেন
- Vertex AI থেকে প্রতিটি দৃশ্যের ভিজ্যুয়াল বিবরণ পেতে Google API-কে কীভাবে কল করবেন
2. সেটআপ এবং প্রয়োজনীয়তা
পূর্বশর্ত
- আপনি ক্লাউড কনসোলে লগ ইন করেছেন।
- আপনি পূর্বে একটি ক্লাউড রান পরিষেবা স্থাপন করেছেন৷ উদাহরণস্বরূপ, আপনি শুরু করতে সোর্স কোড কুইকস্টার্ট থেকে একটি ওয়েব পরিষেবা স্থাপন অনুসরণ করতে পারেন।
ক্লাউড শেল সক্রিয় করুন
- ক্লাউড কনসোল থেকে, ক্লাউড শেল সক্রিয় করুন ক্লিক করুন .
যদি এটি আপনার প্রথমবার ক্লাউড শেল শুরু হয়, তাহলে এটি কী তা বর্ণনা করে আপনাকে একটি মধ্যবর্তী স্ক্রীন উপস্থাপন করা হবে। যদি আপনি একটি মধ্যবর্তী স্ক্রীনের সাথে উপস্থাপিত হন, তবে চালিয়ে যান ক্লিক করুন।
ক্লাউড শেলের সাথে সংযোগ করতে এবং সংযোগ করতে এটির মাত্র কয়েক মুহূর্ত লাগবে৷
এই ভার্চুয়াল মেশিনটি প্রয়োজনীয় সমস্ত বিকাশের সরঞ্জাম দিয়ে লোড করা হয়েছে। এটি একটি ক্রমাগত 5 GB হোম ডিরেক্টরি অফার করে এবং Google ক্লাউডে চলে, যা নেটওয়ার্ক কর্মক্ষমতা এবং প্রমাণীকরণকে ব্যাপকভাবে উন্নত করে। এই কোডল্যাবে আপনার অনেক কাজ, যদি সব না হয়, ব্রাউজার দিয়ে করা যেতে পারে।
একবার ক্লাউড শেলের সাথে সংযুক্ত হয়ে গেলে, আপনি দেখতে পাবেন যে আপনি প্রমাণীকৃত হয়েছেন এবং প্রকল্পটি আপনার প্রকল্প আইডিতে সেট করা আছে।
- আপনি প্রমাণীকৃত কিনা তা নিশ্চিত করতে ক্লাউড শেলে নিম্নলিখিত কমান্ডটি চালান:
gcloud auth list
কমান্ড আউটপুট
Credentialed Accounts ACTIVE ACCOUNT * <my_account>@<my_domain.com> To set the active account, run: $ gcloud config set account `ACCOUNT`
- gcloud কমান্ড আপনার প্রকল্প সম্পর্কে জানে তা নিশ্চিত করতে ক্লাউড শেলে নিম্নলিখিত কমান্ডটি চালান:
gcloud config list project
কমান্ড আউটপুট
[core] project = <PROJECT_ID>
যদি এটি না হয়, আপনি এই কমান্ড দিয়ে এটি সেট করতে পারেন:
gcloud config set project <PROJECT_ID>
কমান্ড আউটপুট
Updated property [core/project].
3. এপিআই সক্ষম করুন এবং এনভায়রনমেন্ট ভেরিয়েবল সেট করুন
আপনি এই কোডল্যাব ব্যবহার শুরু করার আগে, আপনাকে সক্রিয় করতে হবে এমন বেশ কয়েকটি API আছে। এই কোডল্যাবের জন্য নিম্নলিখিত API ব্যবহার করা প্রয়োজন। আপনি নিম্নলিখিত কমান্ডটি চালিয়ে সেই APIগুলি সক্ষম করতে পারেন:
gcloud services enable run.googleapis.com \ storage.googleapis.com \ cloudbuild.googleapis.com \ videointelligence.googleapis.com \ aiplatform.googleapis.com
তারপর আপনি পরিবেশ ভেরিয়েবল সেট করতে পারেন যা এই কোডল্যাব জুড়ে ব্যবহার করা হবে।
REGION=<YOUR-REGION> PROJECT_ID=<YOUR-PROJECT-ID> PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)') SERVICE_NAME=video-describer export BUCKET_ID=$PROJECT_ID-video-describer
4. একটি ক্লাউড স্টোরেজ বালতি তৈরি করুন৷
একটি ক্লাউড স্টোরেজ বালতি তৈরি করুন যেখানে আপনি নিম্নলিখিত কমান্ডের সাহায্যে ক্লাউড রান পরিষেবা দ্বারা প্রক্রিয়াকরণের জন্য ভিডিও আপলোড করতে পারেন:
gsutil mb -l us-central1 gs://$BUCKET_ID/
[ঐচ্ছিক] আপনি স্থানীয়ভাবে ডাউনলোড করে এই নমুনা ভিডিওটি ব্যবহার করতে পারেন।
gsutil cp gs://cloud-samples-data/video/visionapi.mp4 testvideo.mp4
এখন আপনার স্টোরেজ বালতিতে আপনার ভিডিও ফাইল আপলোড করুন।
FILENAME=<YOUR-VIDEO-FILENAME> gsutil cp $FILENAME gs://$BUCKET_ID
5. Node.js অ্যাপ তৈরি করুন
প্রথমে, সেই ডিরেক্টরিতে সোর্স কোড এবং সিডির জন্য একটি ডিরেক্টরি তৈরি করুন।
mkdir video-describer && cd $_
তারপর, নিম্নলিখিত বিষয়বস্তু সহ একটি package.json ফাইল তৈরি করুন:
{ "name": "video-describer", "version": "1.0.0", "private": true, "description": "describes the image in every scene for a given video", "main": "index.js", "author": "Google LLC", "license": "Apache-2.0", "scripts": { "start": "node index.js" }, "dependencies": { "@google-cloud/storage": "^7.7.0", "@google-cloud/video-intelligence": "^5.0.1", "axios": "^1.6.2", "express": "^4.18.2", "fluent-ffmpeg": "^2.1.2", "google-auth-library": "^9.4.1" } }
এই অ্যাপটিতে উন্নত পঠনযোগ্যতার জন্য বেশ কয়েকটি উৎস ফাইল রয়েছে। প্রথমে নিচের বিষয়বস্তু সহ একটি index.js সোর্স ফাইল তৈরি করুন। এই ফাইলটিতে পরিষেবাটির প্রবেশ বিন্দু রয়েছে এবং অ্যাপটির প্রধান যুক্তি রয়েছে৷
const { captureImages } = require('./imageCapture.js'); const { detectSceneChanges } = require('./sceneDetector.js'); const transcribeScene = require('./imageDescriber.js'); const { Storage } = require('@google-cloud/storage'); const fs = require('fs').promises; const path = require('path'); const express = require('express'); const app = express(); const bucketName = process.env.BUCKET_ID; const port = parseInt(process.env.PORT) || 8080; app.listen(port, () => { console.log(`video describer service ready: listening on port ${port}`); }); // entry point for the service app.get('/', async (req, res) => { try { // download the requested video from Cloud Storage let videoFilename = req.query.filename; console.log("processing file: " + videoFilename); // download the file to locally to the Cloud Run instance let localFilename = await downloadVideoFile(videoFilename); // detect all the scenes in the video & save timestamps to an array let timestamps = await detectSceneChanges(localFilename); console.log("Detected scene changes at the following timestamps: ", timestamps); // create an image of each scene change // and save to a local directory called "output" await captureImages(localFilename, timestamps); // get an access token for the Service Account to call the Google APIs let accessToken = await transcribeScene.getAccessToken(); console.log("got an access token"); let imageBaseName = path.parse(localFilename).name; // the data structure for storing the scene description and timestamp // e.g. an array of json objects {timestamp: 1, description: "..."}, etc. let scenes = [] // for each timestamp, send the image to Vertex AI console.log("getting Vertex AI description all the timestamps"); scenes = await Promise.all( timestamps.map(async (timestamp) => { let filepath = path.join("./output", imageBaseName + "-" + timestamp + ".png"); // get the base64 encoded image const encodedFile = await fs.readFile(filepath, 'base64'); // send each screenshot to Vertex AI for description let description = await transcribeScene.transcribeScene(accessToken, encodedFile) return { timestamp: timestamp, description: description }; })); console.log("finished collecting all the scenes"); //console.log(scenes); return res.json(scenes); } catch (error) { //return an error console.log("received error: ", error); return res.status(500).json("an internal error occurred"); } }); async function downloadVideoFile(videoFilename) { // Creates a client const storage = new Storage(); // keep same name locally let localFilename = videoFilename; const options = { destination: localFilename }; // Download the file await storage.bucket(bucketName).file(videoFilename).download(options); console.log( `gs://${bucketName}/${videoFilename} downloaded locally to ${localFilename}.` ); return localFilename; }
এরপরে, নিম্নলিখিত বিষয়বস্তু সহ একটি sceneDetector.js ফাইল তৈরি করুন। ভিডিওতে দৃশ্য পরিবর্তন হলে এই ফাইলটি সনাক্ত করতে ভিডিও ইন্টেলিজেন্স API ব্যবহার করে।
const fs = require('fs'); const util = require('util'); const readFile = util.promisify(fs.readFile); const ffmpeg = require('fluent-ffmpeg'); const Video = require('@google-cloud/video-intelligence'); const client = new Video.VideoIntelligenceServiceClient(); module.exports = { detectSceneChanges: async function (downloadedFile) { // Reads a local video file and converts it to base64 const file = await readFile(downloadedFile); const inputContent = file.toString('base64'); // setup request for shot change detection const videoContext = { speechTranscriptionConfig: { languageCode: 'en-US', enableAutomaticPunctuation: true, }, }; const request = { inputContent: inputContent, features: ['SHOT_CHANGE_DETECTION'], }; // Detects camera shot changes const [operation] = await client.annotateVideo(request); console.log('Shot (scene) detection in progress...'); const [operationResult] = await operation.promise(); // Gets shot changes const shotChanges = operationResult.annotationResults[0].shotAnnotations; console.log("Shot (scene) changes detected: " + shotChanges.length); // data structure to be returned let sceneChanges = []; // for the initial scene sceneChanges.push(1); // if only one scene, keep at 1 second if (shotChanges.length === 1) { return sceneChanges; } // get length of video const videoLength = await getVideoLength(downloadedFile); shotChanges.forEach((shot, shotIndex) => { if (shot.endTimeOffset === undefined) { shot.endTimeOffset = {}; } if (shot.endTimeOffset.seconds === undefined) { shot.endTimeOffset.seconds = 0; } if (shot.endTimeOffset.nanos === undefined) { shot.endTimeOffset.nanos = 0; } // convert to a number let currentTimestampSecond = Number(shot.endTimeOffset.seconds); let sceneChangeTime = 0; // double-check no scenes were detected within the last second if (currentTimestampSecond + 1 > videoLength) { sceneChangeTime = currentTimestampSecond; } else { // otherwise, for simplicity, just round up to the next second sceneChangeTime = currentTimestampSecond + 1; } sceneChanges.push(sceneChangeTime); }); return sceneChanges; } } async function getVideoLength(localFile) { let getLength = util.promisify(ffmpeg.ffprobe); let length = await getLength(localFile); console.log("video length: ", length.format.duration); return length.format.duration; }
এখন নিচের বিষয়বস্তু সহ imageCapture.js নামে একটি ফাইল তৈরি করুন। এই ফাইলটি একটি নোড অ্যাপের মধ্যে থেকে ffmpeg কমান্ড চালানোর জন্য নোড প্যাকেজ fluent-ffmpeg ব্যবহার করে।
const ffmpeg = require('fluent-ffmpeg'); const path = require('path'); const util = require('util'); module.exports = { captureImages: async function (localFile, scenes) { let imageBaseName = path.parse(localFile).name; try { for (scene of scenes) { console.log("creating screenshot for scene: ", + scene); await createScreenshot(localFile, imageBaseName, scene); } } catch (error) { console.log("error gathering screenshots: ", error); } console.log("finished gathering the screenshots"); } } async function createScreenshot(localFile, imageBaseName, scene) { return new Promise((resolve, reject) => { ffmpeg(localFile) .screenshots({ timestamps: [scene], filename: `${imageBaseName}-${scene}.png`, folder: 'output', size: '320x240' }).on("error", () => { console.log("Failed to create scene for timestamp: " + scene); return reject('Failed to create scene for timestamp: ' + scene); }) .on("end", () => { return resolve(); }); }) }
সবশেষে, নিম্নলিখিত বিষয়বস্তু সহ `imageDescriber.js`` নামে একটি ফাইল তৈরি করুন। এই ফাইলটি প্রতিটি দৃশ্যের চিত্রের একটি চাক্ষুষ বিবরণ পেতে Vertex AI ব্যবহার করে।
const axios = require("axios"); const { GoogleAuth } = require('google-auth-library'); const auth = new GoogleAuth({ scopes: 'https://www.googleapis.com/auth/cloud-platform' }); module.exports = { getAccessToken: async function () { return await auth.getAccessToken(); }, transcribeScene: async function(token, encodedFile) { let projectId = await auth.getProjectId(); let config = { headers: { 'Authorization': 'Bearer ' + token, 'Content-Type': 'application/json; charset=utf-8' } } const json = { "instances": [ { "image": { "bytesBase64Encoded": encodedFile } } ], "parameters": { "sampleCount": 1, "language": "en" } } let response = await axios.post('https://us-central1-aiplatform.googleapis.com/v1/projects/' + projectId + '/locations/us-central1/publishers/google/models/imagetext:predict', json, config); return response.data.predictions[0]; } }
একটি Dockerfile এবং একটি .dockerignore ফাইল তৈরি করুন
যেহেতু এই পরিষেবাটি ffmpeg ব্যবহার করে, তাই আপনাকে একটি ডকারফাইল তৈরি করতে হবে যা ffmpeg ইনস্টল করে।
Dockerfile
নামে একটি ফাইল তৈরি করুন যাতে নিম্নলিখিত বিষয়বস্তু রয়েছে:
# Copyright 2020 Google, LLC. # # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the License. # You may obtain a copy of the License at # # http://www.apache.org/licenses/LICENSE-2.0 # # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an "AS IS" BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License. # Use the official lightweight Node.js image. # https://hub.docker.com/_/node FROM node:20.10.0-slim # Create and change to the app directory. WORKDIR /usr/src/app RUN apt-get update && apt-get install -y ffmpeg # Copy application dependency manifests to the container image. # A wildcard is used to ensure both package.json AND package-lock.json are copied. # Copying this separately prevents re-running npm install on every code change. COPY package*.json ./ # Install dependencies. # If you add a package-lock.json speed your build by switching to 'npm ci'. # RUN npm ci --only=production RUN npm install --production # Copy local code to the container image. COPY . . # Run the web service on container startup. CMD [ "npm", "start" ]
এবং নির্দিষ্ট ফাইল কন্টেইনারাইজিং উপেক্ষা করতে .dockerignore নামে একটি ফাইল তৈরি করুন।
Dockerfile .dockerignore node_modules npm-debug.log
6. একটি পরিষেবা অ্যাকাউন্ট তৈরি করুন
ক্লাউড স্টোরেজ, ভার্টেক্স এআই এবং ভিডিও ইন্টেলিজেন্স API অ্যাক্সেস করার জন্য আপনি ক্লাউড রান পরিষেবার জন্য একটি পরিষেবা অ্যাকাউন্ট তৈরি করবেন।
SERVICE_ACCOUNT="cloud-run-video-description" SERVICE_ACCOUNT_ADDRESS=$SERVICE_ACCOUNT@$PROJECT_ID.iam.gserviceaccount.com gcloud iam service-accounts create $SERVICE_ACCOUNT \ --display-name="Cloud Run Video Scene Image Describer service account" # to view & download storage bucket objects gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$SERVICE_ACCOUNT_ADDRESS \ --role=roles/storage.objectViewer # to call the Vertex AI imagetext model gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$SERVICE_ACCOUNT_ADDRESS \ --role=roles/aiplatform.user
7. ক্লাউড রান পরিষেবা স্থাপন করুন৷
এখন আপনি আপনার ক্লাউড রান পরিষেবাকে স্বয়ংক্রিয়ভাবে ধারণ করতে একটি উত্স-ভিত্তিক স্থাপনা ব্যবহার করতে পারেন৷
দ্রষ্টব্য: একটি ক্লাউড রান পরিষেবার জন্য ডিফল্ট প্রক্রিয়াকরণ সময় হল 60 সেকেন্ড৷ এই কোডল্যাবটি 5 মিনিটের টাইমআউট ব্যবহার করে কারণ প্রস্তাবিত পরীক্ষা ভিডিওটি 2 মিনিটের। আপনি যদি এমন একটি ভিডিও ব্যবহার করেন যার সময়কাল বেশি থাকে তাহলে আপনাকে সময় পরিবর্তন করতে হতে পারে।
gcloud run deploy $SERVICE_NAME \ --region=$REGION \ --set-env-vars BUCKET_ID=$BUCKET_ID \ --no-allow-unauthenticated \ --service-account $SERVICE_ACCOUNT_ADDRESS \ --timeout=5m \ --source=.
একবার স্থাপন করা হলে, পরিবেশ পরিবর্তনশীলে পরিষেবা url সংরক্ষণ করুন।
SERVICE_URL=$(gcloud run services describe $SERVICE_NAME --platform managed --region $REGION --format 'value(status.url)')
8. ক্লাউড রান পরিষেবাতে কল করুন৷
এখন আপনি ক্লাউড স্টোরেজে আপলোড করা ভিডিওটির নাম প্রদান করে আপনার পরিষেবাতে কল করতে পারেন৷
curl -X GET -H "Authorization: Bearer $(gcloud auth print-identity-token)" ${SERVICE_URL}?filename=${FILENAME}
আপনার ফলাফল নীচের উদাহরণ আউটপুট অনুরূপ হওয়া উচিত:
[{"timestamp":1,"description":"an aerial view of a city with a bridge in the background"},{"timestamp":7,"description":"a man in a blue shirt sits in front of shelves of donuts"},{"timestamp":11,"description":"a black and white photo of people working in a bakery"},{"timestamp":12,"description":"a black and white photo of a man and woman working in a bakery"}]
9. অভিনন্দন!
কোডল্যাব সম্পূর্ণ করার জন্য অভিনন্দন!
আমরা ভিডিও ইন্টেলিজেন্স এপিআই , ক্লাউড রান এবং ভার্টেক্স এআই ভিজ্যুয়াল ক্যাপশনিং- এর ডকুমেন্টেশন পর্যালোচনা করার পরামর্শ দিই।
আমরা কভার করেছি কি
- একটি 3য় পক্ষের বাইনারি ইনস্টল করতে ডকারফাইল ব্যবহার করে কীভাবে একটি ধারক চিত্র তৈরি করবেন
- অন্যান্য Google ক্লাউড পরিষেবাগুলিতে কল করার জন্য ক্লাউড রান পরিষেবার জন্য একটি পরিষেবা অ্যাকাউন্ট তৈরি করে কীভাবে সর্বনিম্ন সুবিধার নীতি অনুসরণ করবেন
- একটি ক্লাউড রান পরিষেবা থেকে ভিডিও ইন্টেলিজেন্স ক্লায়েন্ট লাইব্রেরি কীভাবে ব্যবহার করবেন
- Vertex AI থেকে প্রতিটি দৃশ্যের ভিজ্যুয়াল বিবরণ পেতে Google API-কে কীভাবে কল করবেন
10. পরিষ্কার করুন
অসাবধানতাবশত চার্জ এড়াতে, (উদাহরণস্বরূপ, যদি এই ক্লাউড রান পরিষেবাটি আপনার মাসিক ক্লাউড রান ইনভোকমেন্ট বরাদ্দের চেয়ে বিনামূল্যের স্তরে অজান্তেই বেশি বার আহ্বান করা হয়), আপনি হয় ক্লাউড রান পরিষেবাটি মুছে ফেলতে পারেন বা ধাপ 2 এ আপনার তৈরি করা প্রকল্পটি মুছে ফেলতে পারেন৷
ক্লাউড রান পরিষেবাটি মুছতে, https://console.cloud.google.com/run/- এ ক্লাউড রান ক্লাউড কনসোলে যান এবং video-describer
ফাংশনটি মুছুন (অথবা আপনি অন্য নাম ব্যবহার করলে $SERVICE_NAME)।
আপনি যদি সম্পূর্ণ প্রকল্প মুছে ফেলার সিদ্ধান্ত নেন, আপনি https://console.cloud.google.com/cloud-resource-manager- এ যেতে পারেন, ধাপ 2-এ আপনার তৈরি করা প্রকল্পটি নির্বাচন করুন এবং মুছুন নির্বাচন করুন৷ আপনি যদি প্রকল্পটি মুছে ফেলেন, তাহলে আপনাকে আপনার ক্লাউড SDK-এ প্রকল্পগুলি পরিবর্তন করতে হবে৷ আপনি gcloud projects list
চালিয়ে সমস্ত উপলব্ধ প্রকল্পের তালিকা দেখতে পারেন।