1. บทนำ
อัปเดตล่าสุด: 08-02-2022
ทำไมจึงต้องใช้การสตรีมแบบมัลติคลาวด์
ปัจจุบันธุรกิจต่างๆ กำลังมองหาวิธีกระจายภาระงานไปยังแพลตฟอร์มระบบคลาวด์หลายแพลตฟอร์ม เนื่องจากมีข้อดีหลายประการในการนำผู้ให้บริการคลาวด์หลายรายมาใช้ในเวิร์กโฟลว์ด้านการดำเนินงานของธุรกิจ เช่น
- การผูกมัดกับผู้ให้บริการ
- ลดความเสี่ยงด้านความต่อเนื่องทางธุรกิจ
- การพึ่งพาและใช้ Technology Stack เดียว
สิ่งที่คุณจะสร้าง
ใน Codelab นี้ คุณจะได้ตั้งค่าการสตรีมข้อมูลแบบมัลติคลาวด์ระหว่าง AWS กับ GCP โดยใช้ประโยชน์จาก Confluent Cloud คุณจะได้รับสิ่งต่อไปนี้
- ตั้งค่าคลัสเตอร์ Kafka เฉพาะใน Confluent Cloud บน GCP
- ตั้งค่าการเพียร์ VPC ระหว่าง Confluent Cloud กับโปรเจ็กต์ GCP เพื่อให้เข้าถึงได้ในเครือข่ายส่วนตัว
- ตั้งค่าอุโมงค์ VPN ระหว่างโปรเจ็กต์ AWS และโปรเจ็กต์ GCP เพื่อให้ทรัพยากรในทั้ง 2 ไฮเปอร์สเกลเลอร์เชื่อมต่อกันได้
- เข้าถึง Confluent Kafka จาก AWS และตั้งค่าไปป์ไลน์การสตรีมจาก AWS ไปยัง GCP โดยใช้ประโยชน์จาก Confluent Kafka Cloud
สิ่งที่คุณจะได้เรียนรู้
- วิธีกำหนดค่าการเพียร์ VPC ระหว่าง Confluent Cloud Kafka กับโปรเจ็กต์ GCP
- วิธีตั้งค่าอุโมงค์ข้อมูล VPN ระหว่างโปรเจ็กต์ AWS กับ GCP
- วิธีเข้าถึง Confluent Cloud ที่โฮสต์ใน GCP จากโปรเจ็กต์ AWS
Codelab นี้มุ่งเน้นการสร้างการสตรีมข้อมูลแบบมัลติคลาวด์ เราจะข้ามแนวคิดและบล็อกโค้ดที่ไม่เกี่ยวข้องไป และจะให้คุณคัดลอกและวางได้ง่ายๆ
สิ่งที่คุณต้องมี
- สิทธิ์เข้าถึงโปรเจ็กต์ AWS
- สิทธิ์เข้าถึงโปรเจ็กต์ GCP
- ประสบการณ์การใช้งานระบบคลาวด์ของ GCP และ AWS
- การสมัครใช้บริการ Confluent Kafka จาก GCP Marketplace
2. การเริ่มตั้งค่า
ตั้งค่าการเชื่อมต่อ VPN ระหว่าง AWS กับ GCP
- การสาธิตนี้ใช้ VPC เริ่มต้น (asia-southeast1) ใน GCP และ ng-vpc-103-mum (ap-south1) ใน AWS
- ใน AWS ให้สร้างเกตเวย์ลูกค้าและเกตเวย์ส่วนตัวเสมือน (VPG) แนบ VPG กับ AWS VPC
- สร้างการเชื่อมต่อ VPN แบบ Site-to-Site ใน AWS
- ดาวน์โหลดไฟล์การกำหนดค่าสำหรับอุโมงค์ที่สร้างใน AWS เลือก
- ผู้ให้บริการ : ทั่วไป
- แพลตฟอร์ม : ทั่วไป
- ซอฟต์แวร์ : ไม่ขึ้นอยู่กับผู้ให้บริการ
- เวอร์ชัน Ike : Ikev2
- สร้างเกตเวย์ VPN และอุโมงค์ข้อมูล VPN ใน GCP
ระบุที่อยู่ IP และคีย์ Ikev2 จากไฟล์การกำหนดค่า AWS ที่ดาวน์โหลดมาสำหรับทั้ง 2 อุโมงค์
- เมื่อเสร็จสมบูรณ์แล้ว อุโมงค์ควรพร้อมใช้งานใน AWS และ GCP
การตั้งค่าอุโมงค์เสร็จสมบูรณ์แล้ว
- เลือกบล็อก CIDR ที่จะใช้กำหนดค่า Confluent Cloud เพิ่มสิ่งนี้ลงในอุโมงค์ข้อมูล VPN เป็นเส้นทางแบบคงที่ใน AWS
Confluent Kafka ใน GCP Marketplace
- สมัครใช้บริการ Confluent Kafka จาก GCP Marketplace
- เข้าสู่ระบบ Confluent Cloud และสร้างคลัสเตอร์เฉพาะ
- ระบุรหัสโปรเจ็กต์ GCP พร้อมรายละเอียดเครือข่าย VPC สำหรับการเพียร์
- ทําการเชื่อมต่อ VPC Peering ที่ฝั่ง GCP ให้เสร็จสมบูรณ์ด้วยรายละเอียดเครือข่ายคลัสเตอร์ Confluent Cloud ที่ระบุ
- ตอนนี้คลัสเตอร์ Confluent Cloud พร้อมใช้งานและเชื่อมต่อกับ GCP แล้ว
- ทดสอบการเชื่อมต่อกับคลัสเตอร์ Confluent จาก GCP
- จัดสรรอินสแตนซ์ GCE และติดตั้ง Python3
- สร้างคีย์ไคลเอ็นต์ Python ใน Confluent Cloud
- เรียกใช้สคริปต์การทดสอบ "producer.py" จากอินสแตนซ์ GCP
- ตอนนี้ ให้ดาวน์โหลดโค้ดเบสตัวอย่างในอินสแตนซ์ AWS และเรียกใช้สคริปต์ "producer.py" เพื่อทดสอบการเชื่อมต่อแบบไฮบริดกับ Confluent Cloud จาก GCP
3. ขอแสดงความยินดี
ขอแสดงความยินดี คุณสร้างแพลตฟอร์มการสตรีม Confluent Kafka แบบมัลติคลาวด์ข้ามภูมิภาคระหว่าง AWS และ GCP ได้สำเร็จแล้ว
Codelab ที่เป็นประโยชน์**?**
ลองใช้ Codelab เหล่านี้