১. ভূমিকা
সর্বশেষ হালনাগাদ: ২০২২-০২-০৮
মাল্টি-ক্লাউড স্ট্রিমিংয়ের প্রয়োজন কেন?
ব্যবসা প্রতিষ্ঠানগুলো তাদের কাজের চাপ একাধিক ক্লাউড প্ল্যাটফর্মে ছড়িয়ে দিতে সক্রিয়ভাবে আগ্রহী হচ্ছে, কারণ একটি ব্যবসার কার্যপ্রবাহে একাধিক ক্লাউড সরবরাহকারীকে অন্তর্ভুক্ত করার বেশ কিছু সুবিধা রয়েছে, যেমন:
- বিক্রেতা লক-ইন
- ব্যবসায়িক ধারাবাহিকতার ঝুঁকি প্রশমিত করুন
- একটি প্রযুক্তি স্ট্যাকের উপর নির্ভরশীলতা এবং নির্ভরতা
আপনি যা তৈরি করবেন
এই কোডল্যাবে, আপনি কনফ্লুয়েন্ট ক্লাউড ব্যবহার করে AWS এবং GCP-এর মধ্যে একটি মাল্টি-ক্লাউড ডেটা স্ট্রিমিং সেট-আপ করবেন। আপনি যা করবেন:
- GCP-তে কনফ্লুয়েন্ট ক্লাউডে একটি ডেডিকেটেড কাফকা ক্লাস্টার সেট-আপ করুন।
- কনফ্লুয়েন্ট ক্লাউড এবং আপনার জিসিপি প্রজেক্টের মধ্যে একটি ভিপিসি পিয়ারিং সেট-আপ করুন, যাতে এটি একটি প্রাইভেট নেটওয়ার্কে অ্যাক্সেস করা যায়।
- আপনার AWS প্রজেক্ট এবং GCP প্রজেক্টের মধ্যে একটি VPN টানেল সেটআপ করুন, যাতে উভয় হাইপারস্কেলারের রিসোর্সগুলো একে অপরের সাথে সংযুক্ত হতে পারে।
- AWS থেকে Confluent Kafka অ্যাক্সেস করুন এবং Confluent Kafka Cloud ব্যবহার করে AWS থেকে GCP-তে একটি স্ট্রিমিং পাইপলাইন সেট-আপ করুন।
আপনি যা শিখবেন
- Confluent Cloud Kafka এবং আপনার GCP প্রোজেক্টের মধ্যে কীভাবে VPC peering সেট-আপ করবেন
- AWS এবং GCP প্রোজেক্টের মধ্যে কীভাবে একটি VPN টানেল সেট-আপ করবেন।
- আপনার AWS প্রজেক্ট থেকে GCP-তে হোস্ট করা Confluent Cloud কীভাবে অ্যাক্সেস করবেন
এই কোডল্যাবটি মাল্টি-ক্লাউড ডেটা স্ট্রিমিং তৈরির উপর কেন্দ্র করে তৈরি। অপ্রাসঙ্গিক ধারণা এবং কোড ব্লকগুলো সংক্ষেপে আলোচনা করা হয়েছে এবং এগুলো শুধু কপি-পেস্ট করার জন্য দেওয়া হয়েছে।
আপনার যা যা লাগবে
- AWS প্রজেক্ট অ্যাক্সেস।
- জিসিপি প্রজেক্ট অ্যাক্সেস।
- GCP ও AWS ক্লাউডে অভিজ্ঞতা।
- GCP মার্কেটপ্লেস থেকে কনফ্লুয়েন্ট কাফকা সাবস্ক্রিপশন।
২. প্রস্তুতি গ্রহণ
AWS এবং GCP এর মধ্যে VPN সংযোগ স্থাপন করুন
- এই ডেমোতে GCP-তে ডিফল্ট VPC (asia-southeast1) এবং AWS-এ ng-vpc-103-mum (ap-south1) ব্যবহার করা হয়েছে।
- AWS-এ কাস্টমার গেটওয়ে এবং ভার্চুয়াল প্রাইভেট গেটওয়ে (VPG) তৈরি করুন। VPG-টিকে AWS VPC-এর সাথে সংযুক্ত করুন।
- AWS-এ সাইট-টু-সাইট ভিপিএন সংযোগ তৈরি করুন।
- AWS-এ তৈরি করা টানেলের কনফিগারেশন ফাইলটি ডাউনলোড করুন। নির্বাচন করুন
- বিক্রেতা : জেনেরিক
- প্ল্যাটফর্ম : জেনেরিক
- সফটওয়্যার : বিক্রেতা নিরপেক্ষ
- আইকে সংস্করণ : আইকেভি২
- GCP-তে VPN গেটওয়ে এবং VPN টানেল তৈরি করুন।
উভয় টানেলের জন্য ডাউনলোড করা AWS কনফিগারেশন ফাইল থেকে আইপি অ্যাড্রেস এবং Ikev2 কী প্রদান করুন।
- একবার সম্পন্ন হলে, টানেলটি AWS এবং GCP-তে চালু হয়ে যাবে।
টানেল স্থাপনের কাজ এখন সম্পন্ন হয়েছে।
- একটি CIDR ব্লক নির্বাচন করুন যা কনফ্লুয়েন্ট ক্লাউড কনফিগার করতে ব্যবহৃত হবে। এটিকে AWS-এ VPN টানেলে একটি স্ট্যাটিক রুট হিসেবে যুক্ত করুন।
GCP মার্কেটপ্লেসে কনফ্লুয়েন্ট কাফকা
- GCP মার্কেটপ্লেস থেকে কনফ্লুয়েন্ট কাফকা-তে সাবস্ক্রাইব করুন।
- কনফ্লুয়েন্ট ক্লাউডে লগইন করুন এবং একটি ডেডিকেটেড ক্লাস্টার তৈরি করুন।
- পিয়ারিংয়ের জন্য GCP প্রজেক্ট আইডি এবং VPC নেটওয়ার্কের বিবরণ প্রদান করুন।
- প্রদত্ত কনফ্লুয়েন্ট ক্লাউড ক্লাস্টার নেটওয়ার্কের বিবরণ ব্যবহার করে GCP প্রান্তে VPC পিয়ারিং সম্পন্ন করুন।
- কনফ্লুয়েন্ট ক্লাউড ক্লাস্টার এখন সক্রিয় এবং GCP-এর সাথে সংযুক্ত।
- GCP থেকে কনফ্লুয়েন্ট ক্লাস্টারের সংযোগ পরীক্ষা করুন।
- একটি GCE ইনস্ট্যান্স প্রস্তুত করুন এবং Python3 ইনস্টল করুন।
- কনফ্লুয়েন্ট ক্লাউডে পাইথন ক্লায়েন্ট কী তৈরি করুন
- GCP ইনস্ট্যান্স থেকে 'producer.py' টেস্ট স্ক্রিপ্টটি চালান:
- এখন, AWS ইনস্ট্যান্সে উদাহরণ কোডবেসটি ডাউনলোড করুন এবং GCP থেকে Confluent Cloud-এর সাথে হাইব্রিড কানেক্টিভিটি পরীক্ষা করার জন্য 'producer.py' স্ক্রিপ্টটি চালান।
৩. অভিনন্দন
অভিনন্দন, আপনি AWS ও GCP-এর মধ্যে সফলভাবে আপনার মাল্টি-ক্লাউড ও আন্তঃআঞ্চলিক কনফ্লুয়েন্ট কাফকা স্ট্রিমিং প্ল্যাটফর্মটি তৈরি করেছেন।
সহায়ক কোডল্যাব?
এই কোডল্যাবগুলো দেখে নিন...