1. מבוא
העדכון האחרון: 8 בפברואר 2022
למה צריך סטרימינג מריבוי עננים?
עסקים מחפשים באופן פעיל לפצל את עומסי העבודה שלהם בין כמה פלטפורמות ענן, כי יש כמה יתרונות לשילוב של כמה ספקי ענן בתהליך העבודה התפעולי של העסק, למשל:
- נעילת ספק
- צמצום הסיכון להמשכיות עסקית
- תלות בסטאק טכנולוגי אחד
מה תפַתחו
בשיעור הזה תלמדו איך להגדיר סטרימינג של נתונים בין כמה עננים (multi-cloud) בין AWS ל-GCP באמצעות Confluent Cloud. תצטרכו:
- הגדרת אשכול Kafka ייעודי ב-Confluent Cloud ב-GCP.
- מגדירים קישור בין רשתות VPC שכנות (peering) בין Confluent Cloud לבין פרויקט GCP, כדי שאפשר יהיה לגשת אליו ברשת פרטית.
- מגדירים מנהרת VPN בין פרויקט AWS לפרויקט GCP כדי שהמשאבים בשני ספקי הענן יוכלו להתחבר.
- גישה ל-Confluent Kafka מ-AWS והגדרה של צינור להעברת נתונים מ-AWS ל-GCP באמצעות Confluent Kafka Cloud.
מה תלמדו
- איך מגדירים קישור בין רשתות VPC שכנות (peering) בין Confluent Cloud Kafka לבין פרויקט GCP.
- איך מגדירים מנהרת VPN בין פרויקטים ב-AWS וב-GCP.
- איך ניגשים ל-Confluent Cloud שמתארח ב-GCP מפרויקט AWS.
ה-codelab הזה מתמקד בבניית סטרימינג של נתונים בענן מרובה. מושגים וקטעי קוד לא רלוונטיים מוצגים בקצרה, ואתם יכולים פשוט להעתיק ולהדביק אותם.
מה צריך להכין
- גישה לפרויקט ב-AWS.
- גישה לפרויקט GCP.
- ניסיון ב-GCP וב-AWS Cloud.
- מינוי ל-Confluent Kafka מ-GCP Marketplace.
2. תהליך ההגדרה
הגדרת חיבור ה-VPN בין AWS ל-GCP
- בהדגמה הזו נעשה שימוש ב-VPC שמוגדר כברירת מחדל (asia-southeast1) ב-GCP וב-ng-vpc-103-mum (ap-south1) ב-AWS.
- ב-AWS, יוצרים את שער הלקוח ואת השער של הרשת הווירטואלית הפרטית (VPG). מצרפים את ה-VPG ל-AWS VPC.
- יוצרים את חיבור ה-VPN בין האתרים ב-AWS.
- מורידים את קובץ ההגדרות של המנהרה שנוצרה ב-AWS. בחירה
- ספק : Generic
- פלטפורמה : כללית
- תוכנה : לא תלויה בספק
- גרסת Ike : Ikev2
- יוצרים את שער ה-VPN ואת מנהרת ה-VPN ב-GCP.
מזינים את כתובת ה-IP ואת מפתח Ikev2 מקובץ ההגדרות של AWS שהורד עבור שתי המנהרות.
- אחרי שתסיימו, המנהרה אמורה להיות פעילה ב-AWS וב-GCP.
הגדרת המנהרה הושלמה.
- בוחרים בלוק CIDR שישמש להגדרת Confluent Cloud. מוסיפים את זה למנהרת ה-VPN כנתיב סטטי ב-AWS.
Confluent Kafka בזירת המסחר של GCP
- נרשמים ל-Confluent Kafka מ-GCP Marketplace.
- מתחברים ל-Confluent Cloud ויוצרים אשכול ייעודי
- צריך לספק את מזהה הפרויקט ב-GCP ואת פרטי רשת ה-VPC לקישור.
- משלימים את ה-VPC Peering בצד של GCP עם פרטי הרשת של אשכול Confluent Cloud שסופקו.
- האשכול Confluent Cloud פעיל ומקושר ל-GCP.
- בודקים את הקישוריות ל-Confluent Cluster מ-GCP.
- הקצאת מופע GCE והתקנה של Python3.
- יצירת מפתח לקוח של Python ב-Confluent Cloud
- מריצים את סקריפט הבדיקה producer.py ממופע GCP:
- עכשיו מורידים את בסיס הקוד לדוגמה במופע AWS ומריצים את הסקריפט producer.py כדי לבדוק את הקישוריות ההיברידית ל-Confluent Cloud מ-GCP.
3. מזל טוב
הצלחתם לבנות פלטפורמת סטרימינג של Confluent Kafka מרובת עננים וחוצת אזורים בין AWS לבין GCP.
Codelabs שימושיים**?**
כדאי לעיין בכמה מה-codelabs האלה…