1. परिचय
पिछले अपडेट की तारीख: 08-02-2022
मल्टी-क्लाउड स्ट्रीमिंग की ज़रूरत क्यों है?
कारोबार, अपने वर्कलोड को कई क्लाउड प्लैटफ़ॉर्म पर फैलाना चाहते हैं. ऐसा इसलिए, क्योंकि कारोबार के ऑपरेशनल वर्कफ़्लो में कई क्लाउड प्लैटफ़ॉर्म का इस्तेमाल करने के कई फ़ायदे हैं. जैसे:
- वेंडर लॉक-इन
- बिज़नेस को चालू रखने से जुड़े जोखिम को कम करना
- डिपेंडेंसी और एक टेक्नोलॉजी स्टैक पर निर्भरता
आपको क्या बनाने को मिलेगा
इस कोडलैब में, आपको Confluent Cloud का इस्तेमाल करके, AWS और GCP के बीच मल्टी-क्लाउड डेटा स्ट्रीमिंग सेट अप करने का तरीका बताया जाएगा. आपको:
- GCP पर Confluent Cloud में, Dedicated Kafka Cluster सेट अप करें.
- Confluent Cloud और अपने GCP प्रोजेक्ट के बीच वीपीसी पीयरिंग सेट अप करें, ताकि इसे किसी निजी नेटवर्क पर ऐक्सेस किया जा सके.
- अपने AWS प्रोजेक्ट और GCP प्रोजेक्ट के बीच एक वीपीएन टनल सेटअप करें, ताकि दोनों हाइपरस्केलर पर मौजूद संसाधन कनेक्ट हो सकें.
- AWS से Confluent Kafka को ऐक्सेस करें. साथ ही, Confluent Kafka Cloud का इस्तेमाल करके, AWS से GCP तक स्ट्रीमिंग पाइपलाइन सेट अप करें.
आपको क्या सीखने को मिलेगा
- Confluent Cloud Kafka और आपके GCP प्रोजेक्ट के बीच वीपीसी पियरिंग सेट अप करने का तरीका.
- AWS और GCP प्रोजेक्ट के बीच वीपीएन टनल सेट अप करने का तरीका.
- अपने AWS प्रोजेक्ट से, GCP पर होस्ट किए गए Confluent Cloud को कैसे ऐक्सेस करें.
यह कोडलैब, मल्टी-क्लाउड डेटा स्ट्रीमिंग बनाने पर फ़ोकस करता है. इसमें काम के न होने वाले कॉन्सेप्ट और कोड ब्लॉक को हटा दिया जाता है. साथ ही, इन्हें सिर्फ़ कॉपी और चिपकाने के लिए उपलब्ध कराया जाता है.
आपको इन चीज़ों की ज़रूरत होगी
- AWS प्रोजेक्ट का ऐक्सेस.
- GCP प्रोजेक्ट का ऐक्सेस.
- GCP और AWS Cloud का अनुभव.
- GCP Marketplace से Confluent Kafka की सदस्यता.
2. सेट अप करना
AWS और GCP के बीच वीपीएन कनेक्शन सेट अप करना
- इस डेमो में, GCP में डिफ़ॉल्ट वीपीसी (asia-southeast1) और AWS में ng-vpc-103-mum (ap-south1) का इस्तेमाल किया गया है.
- AWS पर, कस्टमर गेटवे और वर्चुअल प्राइवेट गेटवे (वीपीजी) बनाएं. VPG को AWS VPC से अटैच करें.
- AWS पर साइट-टू-साइट वीपीएन कनेक्शन बनाएं.
- AWS में बनाए गए टनल के लिए कॉन्फ़िगरेशन फ़ाइल डाउनलोड करें. चुनें
- वेंडर : Generic
- प्लैटफ़ॉर्म : सामान्य
- सॉफ़्टवेयर : वेंडर के हिसाब से नहीं
- IKE वर्शन : Ikev2
- GCP पर वीपीएन गेटवे और वीपीएन टनल बनाएं.
दोनों टनल के लिए, डाउनलोड की गई AWS कॉन्फ़िगरेशन फ़ाइल से आईपी पता और Ikev2 कुंजी दें.
- यह प्रोसेस पूरी होने के बाद, AWS और GCP पर टनल चालू हो जानी चाहिए.
अब टनल का सेटअप पूरा हो गया है.
- वह CIDR ब्लॉक चुनें जिसका इस्तेमाल Confluent Cloud को कॉन्फ़िगर करने के लिए किया जाएगा. इसे AWS पर स्टैटिक रूट के तौर पर वीपीएन टनल में जोड़ें.
GCP Marketplace पर Confluent Kafka
- GCP Marketplace से Confluent Kafka की सदस्यता लें.
- Confluent Cloud में लॉग इन करें और एक डेडिकेटेड क्लस्टर बनाएं
- पीयरिंग के लिए, वीपीसी नेटवर्क की जानकारी के साथ-साथ GCP प्रोजेक्ट आईडी दें.
- Confluent Cloud क्लस्टर नेटवर्क की दी गई जानकारी का इस्तेमाल करके, GCP के एंड पर वीपीसी पियरिंग की प्रोसेस पूरी करें.
- Confluent Cloud Cluster अब चालू है और GCP के साथ पीयर किया गया है.
- GCP से Confluent Cluster की कनेक्टिविटी की जांच करें.
- GCE इंस्टेंस उपलब्ध कराएं और Python3 इंस्टॉल करें.
- Confluent Cloud में Python क्लाइंट की कुंजी जनरेट करना
- GCP इंस्टेंस से, "producer.py" टेस्ट स्क्रिप्ट चलाएं:
- अब AWS इंस्टेंस पर, उदाहरण के तौर पर दिए गए कोडबेस को डाउनलोड करें. इसके बाद, GCP से Confluent Cloud तक हाइब्रिड कनेक्टिविटी की जांच करने के लिए, "producer.py" स्क्रिप्ट को एक्ज़ीक्यूट करें.
3. बधाई हो
बधाई हो, आपने AWS और GCP के बीच मल्टी-क्लाउड क्रॉस-रीजनल Confluent Kafka स्ट्रीमिंग प्लैटफ़ॉर्म बना लिया है.
क्या ये कोडलैब (कोड बनाना सीखना) मददगार हैं**?**
यहां दिए गए कुछ कोडलैब देखें...