1. खास जानकारी
इस लैब में, आपको एक ही Gemini प्रॉम्प्ट का इस्तेमाल करके, मल्टीमॉडल वीडियो ट्रांसक्रिप्शन की जटिल समस्या को हल करने का तरीका सिखाया जाएगा!
आपको वीडियो का विश्लेषण करना होगा. साथ ही, इन सभी सवालों के जवाब देने होंगे:
- 1️⃣ क्या कहा गया और कब कहा गया?
- 2️⃣ स्पीकर कौन हैं?
- 3️⃣ किसने क्या कहा?
यहां एक उदाहरण दिया गया है कि आपको क्या मिलेगा:
आपको क्या सीखने को मिलेगा
- मल्टीमॉडल से जुड़ी नई या जटिल समस्याओं को हल करने का तरीका
- डेटा को अलग करने और ध्यान बनाए रखने के लिए प्रॉम्प्ट देने की तकनीक: टेबल से जानकारी निकालना
- एक अनुरोध में Gemini के 10 लाख टोकन के कॉन्टेक्स्ट का ज़्यादा से ज़्यादा फ़ायदा पाने की रणनीतियां
- मल्टीमॉडल वीडियो ट्रांसक्रिप्शन के व्यावहारिक उदाहरण
- सलाह और ऑप्टिमाइज़ेशन
आपको इन चीज़ों की ज़रूरत होगी
- नोटबुक में Python चलाने के बारे में जानकारी (Colab या किसी अन्य Jupyter एनवायरमेंट में)
- Google Cloud प्रोजेक्ट (Vertex AI) या Gemini API पासकोड (Google AI Studio)
- 20 से 90 मिनट (यह इस बात पर निर्भर करता है कि आपने फटाफट टेस्ट किया है या हर चीज़ को पढ़कर और टेस्ट करके देखा है)
ℹ️ इस लैब को शुरू से आखिर तक चलाने की कुल लागत करीब 100 रुपये है. इसमें Gemini 3 Flash-Lite और Flash की मदद से, सात अलग-अलग वीडियो का विश्लेषण करने के लिए ~4 घंटे के ट्रांसक्रिप्शन शामिल हैं.
आइए शुरू करें...
2. शुरू करने से पहले
Gemini API का इस्तेमाल करने के लिए, आपके पास दो मुख्य विकल्प हैं:
- Google Cloud प्रोजेक्ट के साथ Vertex AI के ज़रिए
- Gemini API पासकोड के साथ Google AI Studio के ज़रिए
🛠️ पहला विकल्प - Vertex AI के ज़रिए Gemini API
ज़रूरतें:
- Google Cloud प्रोजेक्ट
- इस प्रोजेक्ट के लिए, Vertex AI API चालू होना चाहिए
🛠️ दूसरा विकल्प - Google AI Studio के ज़रिए Gemini API
ज़रूरी शर्त:
- Gemini API पासकोड
Google AI Studio से Gemini API पासकोड पाने के बारे में ज़्यादा जानें.
3. नोटबुक चलाना
नोटबुक खोलने के लिए, अपनी पसंद का टूल चुनें:
🧰 टूल A - Colab में नोटबुक खोलें
🧰 टूल B - Colab Enterprise या Vertex AI Workbench में नोटबुक खोलें
💡 अगर आपने Colab Enterprise या Vertex AI Workbench इंस्टेंस के साथ पहले से ही कोई Google Cloud प्रोजेक्ट कॉन्फ़िगर किया है, तो यह तरीका बेहतर हो सकता है.
🧰 टूल C - GitHub से नोटबुक पाएं और उसे अपने एनवायरमेंट में चलाएं
⚠️ आपको GitHub से नोटबुक डाउनलोड करनी होगी या रिपॉज़िटरी को क्लोन करना होगा. इसके बाद, इसे अपने Jupyter एनवायरमेंट में चलाना होगा.
🗺️ नोटबुक की विषय सूची
आसानी से नेविगेट करने के लिए, विषय सूची को बड़ा करके उसका इस्तेमाल करें. उदाहरण:
🏁 नोटबुक चलाना
अब आप तैयार हैं. अब नोटबुक को फ़ॉलो और चलाया जा सकता है. मज़े करो!...
4. बधाई हो!
कोडलैब पूरा करने के लिए बधाई!
आपने इस मुश्किल समस्या को हल करने के लिए, इन तकनीकों का इस्तेमाल किया:
- Gemini की क्षमताओं के बारे में जानकारी पाने के लिए, ओपन प्रॉम्प्ट का इस्तेमाल करके प्रोटोटाइप बनाना
- एलएलएम के काम करने के तरीके को ध्यान में रखते हुए
- टेबल से डेटा निकालने की रणनीति का इस्तेमाल करके, ज़्यादा सटीक प्रॉम्प्ट बनाना
- प्रोडक्शन के लिए तैयार कोड की ओर बढ़ने के लिए, स्ट्रक्चर्ड आउटपुट जनरेट करना
- जवाबों को आसानी से समझने और बेहतर तरीके से दोहराने के लिए, डेटा विज़ुअलाइज़ेशन की सुविधा जोड़ी गई है
- नतीजों को ऑप्टिमाइज़ करने के लिए, डिफ़ॉल्ट पैरामीटर में बदलाव करना
- ज़्यादा टेस्ट करना, दोहराना, और निकाले गए डेटा को बेहतर बनाना
ये सिद्धांत, डेटा निकालने के कई अन्य डोमेन पर लागू होने चाहिए. साथ ही, इनसे आपको अपनी जटिल समस्याओं को हल करने में मदद मिलनी चाहिए.
ज़्यादा जानें
- Google Cloud Generative AI रिपॉज़िटरी से, Gemini की अन्य नोटबुक चलाएं
- Vertex AI प्रॉम्प्ट गैलरी में, इस्तेमाल के अन्य उदाहरणों के बारे में जानें
- Vertex AI के रिलीज़ नोट पढ़कर, अपडेट रहें