1. Giới thiệu
Ngày cập nhật gần đây nhất: 2022-02-08
Tại sao cần truyền phát đa đám mây?
Các doanh nghiệp đang tích cực tìm cách phân bổ khối lượng công việc của mình trên nhiều nền tảng đám mây vì việc áp dụng nhiều nhà cung cấp dịch vụ đám mây vào quy trình hoạt động của doanh nghiệp có một số lợi ích, chẳng hạn như:
- Lệ thuộc vào nhà cung cấp
- Giảm thiểu rủi ro về tính liên tục trong kinh doanh
- Phần phụ thuộc và sự phụ thuộc vào một hệ thống công nghệ
Sản phẩm bạn sẽ tạo ra
Trong lớp học lập trình này, bạn sẽ thiết lập một hệ thống truyền phát dữ liệu đa đám mây giữa AWS và GCP bằng Confluent Cloud. Bạn sẽ:
- Thiết lập một Cụm Kafka chuyên dụng trong Confluent Cloud trên GCP.
- Thiết lập kết nối ngang hàng VPC giữa Confluent Cloud và Dự án GCP để có thể truy cập vào mạng riêng.
- Thiết lập một đường hầm VPN giữa dự án AWS và dự án GCP để các tài nguyên trên cả hai siêu nhà cung cấp dịch vụ đám mây có thể kết nối.
- Truy cập vào Confluent Kafka từ AWS và thiết lập một quy trình truyền phát từ AWS sang GCP bằng Confluent Kafka Cloud.
Kiến thức bạn sẽ học được
- Cách thiết lập kết nối ngang hàng VPC giữa Confluent Cloud Kafka và dự án GCP.
- Cách thiết lập một đường hầm VPN giữa các dự án AWS và GCP.
- Cách truy cập vào Confluent Cloud do GCP lưu trữ từ dự án AWS.
Lớp học lập trình này tập trung vào việc xây dựng hệ thống truyền phát dữ liệu đa đám mây. Các khái niệm và khối mã không liên quan sẽ được bỏ qua và được cung cấp để bạn chỉ cần sao chép và dán.
Bạn cần có
- Quyền truy cập vào dự án AWS.
- Quyền truy cập vào dự án GCP.
- Kinh nghiệm về GCP và AWS Cloud.
- Gói thuê bao Confluent Kafka từ GCP Marketplace.
2. Thiết lập
Thiết lập kết nối VPN giữa AWS và GCP
- Bản minh hoạ này sử dụng VPC mặc định (asia-southeast1) trong GCP và ng-vpc-103-mum (ap-south1) trong AWS.
- Trên AWS, hãy tạo Cổng khách hàng và Cổng riêng ảo (VPG). Đính kèm VPG vào AWS VPC.
- Tạo kết nối VPN site-to-site trên AWS.
- Tải tệp cấu hình xuống cho đường hầm được tạo trong AWS. Chọn
- Nhà cung cấp : Chung
- Nền tảng : Chung
- Phần mềm : Không phụ thuộc vào nhà cung cấp
- Phiên bản Ike : Ikev2
- Tạo Cổng VPN và Đường hầm VPN trên GCP.
Cung cấp địa chỉ IP và khoá Ikev2 từ tệp Cấu hình AWS đã tải xuống cho cả hai đường hầm.
- Sau khi hoàn tất, đường hầm sẽ ở trạng thái ĐANG HOẠT ĐỘNG trên AWS và GCP.
Quá trình thiết lập đường hầm đã hoàn tất.
- Chọn một khối CIDR sẽ được dùng để định cấu hình Confluent Cloud. Thêm khối này vào đường hầm VPN dưới dạng một tuyến tĩnh trên AWS.
Confluent Kafka trên GCP Marketplace
- Đăng ký Confluent Kafka từ GCP Marketplace.
- Đăng nhập vào Confluent Cloud và tạo một Cụm chuyên dụng
- Cung cấp Mã dự án GCP cùng với thông tin chi tiết về Mạng VPC để kết nối ngang hàng.
- Hoàn tất việc Kết nối ngang hàng VPC ở phía GCP bằng thông tin chi tiết về mạng cụm Confluent Cloud được cung cấp.
- Cụm Confluent Cloud hiện đang hoạt động và được kết nối ngang hàng với GCP.
- Kiểm tra khả năng kết nối với Cụm Confluent từ GCP.
- Cung cấp một Thực thể GCE và cài đặt Python3.
- Tạo Khoá ứng dụng Python trong Confluent Cloud
- Chạy kịch bản kiểm tra "producer.py" từ thực thể GCP:
- Bây giờ, hãy tải mã cơ sở ví dụ xuống thực thể AWS và thực thi tập lệnh "producer.py" để kiểm thử khả năng kết nối kết hợp với Confluent Cloud từ GCP.
3. Xin chúc mừng
Xin chúc mừng! Bạn đã tạo thành công nền tảng truyền phát Confluent Kafka đa đám mây, đa khu vực giữa AWS và GCP.
Lớp học lập trình hữu ích**?**
Hãy xem một số lớp học lập trình này...