1. शुरू करने से पहले
लार्ज लैंग्वेज मॉडल (एलएलएम) में, मशीन लर्निंग की सबसे अहम उपलब्धियों में से एक है. इनका इस्तेमाल टेक्स्ट जनरेट करने, भाषाओं का अनुवाद करने, और पूरी जानकारी के साथ सवालों के जवाब देने के लिए किया जा सकता है. Google LaMDA और PaLM जैसे एलएलएम, बहुत ज़्यादा टेक्स्ट डेटा पर आधारित होते हैं. इससे उन्हें आंकड़ों के पैटर्न और शब्दों और वाक्यांशों के बीच के संबंध को जानने में मदद मिलती है. इसकी मदद से, वे ऐसा टेक्स्ट जनरेट कर पाते हैं जो इंसानों के लिखे हुए टेक्स्ट से मिलता-जुलता होता है. साथ ही, इससे भाषाओं का बहुत सटीक अनुवाद किया जा सकता है.
स्टोरेज के लिहाज़ से एलएलएम बहुत ज़्यादा होते हैं. आम तौर पर, इन्हें चलाने के लिए बहुत ज़्यादा कंप्यूटिंग पावर की ज़रूरत होती है. इसका मतलब है कि इन्हें क्लाउड पर डिप्लॉय किया जाता है. मोबाइल डिवाइसों पर कंप्यूटेशनल पावर (कम्प्यूटेशनल पावर) की कमी की वजह से, इन्हें ऑन-डिवाइस मशीन लर्निंग (ओडीएमएल) के लिए काफ़ी चुनौती भरा होता है. हालांकि, आधुनिक Android डिवाइस पर छोटे स्तर के एलएलएम (जैसे, GPT-2) को चलाकर बेहतरीन नतीजे पाए जा सकते हैं.
यहां Google Pixel 7 Pro पर 1.5 अरब पैरामीटर वाले Google PaLM मॉडल के वर्शन को चलाने का डेमो दिया गया है. इस वर्शन में, वीडियो चलाने की स्पीड बढ़ाने का विकल्प नहीं है.
इस कोडलैब में, एलएलएम पर काम करने वाले ऐप्लिकेशन को बनाने की तकनीकों और टूल के बारे में जाना जा सकता है. इसके लिए, उदाहरण के तौर पर GPT-2 का इस्तेमाल किया जाएगा:
- पहले से ट्रेन किए गए एलएलएम को लोड करने के लिए KerasNLP
- एलएलएम को बेहतर बनाने के लिए KerasNLP
- TensorFlow Lite की मदद से, Android पर एलएलएम को बदला, ऑप्टिमाइज़, और डिप्लॉय किया जा सकता है
ज़रूरी शर्तें
- Keras और TensorFlow Lite के बारे में थोड़ी-बहुत जानकारी
- Android डेवलपमेंट की बुनियादी जानकारी
आप इन चीज़ों के बारे में जानेंगे
- पहले से ट्रेन किए गए एलएलएम को लोड करने और उसे बेहतर बनाने के लिए, KerasNLP इस्तेमाल करने का तरीका
- एलएलएम को TensorFlow Lite में बदलने और उसका असर मापने का तरीका
- TensorFlow Lite के बदले गए मॉडल पर, अनुमान लगाने का तरीका
आपको इनकी ज़रूरत होगी
- Colab का ऐक्सेस
- Android Studio का नया वर्शन
- एक मॉडर्न Android डिवाइस जिसमें 4G रैम से ज़्यादा रैम हो
2. सेट अप करें
इस कोडलैब का कोड डाउनलोड करने के लिए:
- इस कोडलैब के लिए, GitHub रिपॉज़िटरी पर जाएं.
- कोड > पर क्लिक करें इस कोडलैब के लिए सभी कोड डाउनलोड करने के लिए, पिन कोड डाउनलोड करें.
- डाउनलोड की गई ZIP फ़ाइल को अनज़िप करके,
examplesरूट फ़ोल्डर को अपनी ज़रूरत के सभी संसाधनों के साथ अनपैक करें.
3. स्टार्टर ऐप्लिकेशन चलाएं
- Android Studio में
examples/lite/examples/generative_ai/androidफ़ोल्डर इंपोर्ट करें. - Android Emulator चालू करें और फिर नेविगेशन मेन्यू में जाकर,
Run पर क्लिक करें.
ऐप्लिकेशन चलाएं और उसे एक्सप्लोर करें
ऐप्लिकेशन आपके Android डिवाइस पर लॉन्च हो जाना चाहिए. ऐप्लिकेशन को 'अपने-आप पूरा होना' कहते हैं. इसका यूज़र इंटरफ़ेस (यूआई) काफ़ी आसान है: टेक्स्ट बॉक्स में मुख्य शब्द टाइप करें और जनरेट करें पर टैप करें; इसके बाद, ऐप्लिकेशन एलएलएम पर अनुमान लगाता है और आपके इनपुट के आधार पर अतिरिक्त टेक्स्ट जनरेट करता है.
फ़िलहाल, कुछ शब्द टाइप करने के बाद जनरेट करें पर टैप करने से कुछ नहीं होता. इसकी वजह यह है कि इसमें अभी तक एलएलएम नहीं चल रहा है.
4. डिवाइस पर डिप्लॉयमेंट के लिए, एलएलएम तैयार करना
- Colab खोलें और उस notebook की मदद से चलाएं जिसे TensorFlow Codelabs GitHub रिपॉज़िटरी में होस्ट किया जाता है.
5. Android ऐप्लिकेशन को पूरा करें
आपने GPT-2 मॉडल को TensorFlow Lite में बदल दिया है, अब उसे ऐप्लिकेशन में डिप्लॉय किया जा सकता है.
ऐप्लिकेशन चलाएं
- आखिरी चरण से डाउनलोड की गई
autocomplete.tfliteमॉडल फ़ाइल को खींचकर, Android Studio केapp/src/main/assets/फ़ोल्डर में छोड़ें.
- नेविगेशन मेन्यू में, Run पर क्लिक करें. इसके बाद, ऐप्लिकेशन के लोड होने का इंतज़ार करें.
- टेक्स्ट फ़ील्ड में कुछ शुरुआती शब्द टाइप करें. इसके बाद, जनरेट करें पर टैप करें.
6. ज़िम्मेदारी से एआई के इस्तेमाल के बारे में ज़रूरी जानकारी
जैसा कि मूल OpenAI GPT-2 एलान में बताया गया है, GPT-2 मॉडल में अहम चेतावनियां और सीमाएं हैं. दरअसल, आज-कल एलएलएम के सामने कई बड़ी चुनौतियां होती हैं. जैसे, गलत जानकारी, आपत्तिजनक आउटपुट, निष्पक्षता, और पूर्वाग्रह; इसकी वजह यह है कि इन मॉडल को असल दुनिया के डेटा के हिसाब से ट्रेनिंग दी गई है, इसलिए ये असल दुनिया की समस्याओं के बारे में बताते हैं.
यह कोडलैब सिर्फ़ यह दिखाने के लिए बनाया गया है कि TensorFlow टूल की मदद से, एलएलएम के साथ काम करने वाला ऐप्लिकेशन कैसे बनाया जाता है. इस कोडलैब में बनाया गया मॉडल, सिर्फ़ शिक्षा के मकसद से बनाया गया है. इसे प्रोडक्शन के लिए इस्तेमाल नहीं किया गया है.
एलएलएम प्रोडक्शन के लिए, अच्छी तरह से ट्रेनिंग डेटासेट सेट करना और सुरक्षा के जोखिमों को कम करने के बड़े उपायों की ज़रूरत होती है. एलएलएम के मामले में ज़िम्मेदार एआई के बारे में ज़्यादा जानने के लिए, Google I/O 2023 में जनरेटिव लैंग्वेज मॉडल की मदद से सुरक्षित और ज़िम्मेदारी से डेवलपमेंट करने का तकनीकी सेशन ज़रूर देखें. साथ ही, रिस्पॉन्सिबल एआई टूलकिट पर जाएं.
7. नतीजा
बधाई हो! आपने उपयोगकर्ता के इनपुट के आधार पर, आसान टेक्स्ट जनरेट करने के लिए एक ऐप्लिकेशन बनाया है. इसके लिए, आपने डिवाइस पर ही, पहले से ट्रेनिंग दी गई लार्ज लैंग्वेज मॉडल चलाया है!