1. Introduzione
Ultimo aggiornamento: 08/02/2022
Perché è necessario lo streaming multi-cloud?
Le aziende cercano attivamente di distribuire i propri carichi di lavoro su più piattaforme cloud, in quanto l'adozione di più cloud provider nel flusso di lavoro operativo di un'azienda presenta diversi vantaggi, tra cui:
- Vincoli al fornitore
- Mitigare il rischio di continuità operativa
- Dipendenze e affidamento a un unico stack tecnologico
Cosa creerai
In questo codelab, configurerai uno streaming di dati multi-cloud tra AWS e GCP utilizzando Confluent Cloud. Imparerai a:
- Configura un cluster Kafka dedicato in Confluent Cloud su Google Cloud.
- Configura un peering VPC tra Confluent Cloud e il tuo progetto GCP in modo che sia accessibile su una rete privata.
- Configura un tunnel VPN tra il progetto AWS e il progetto Google Cloud in modo che le risorse su entrambi gli hyperscaler possano connettersi.
- Accedi a Confluent Kafka da AWS e configura una pipeline di streaming da AWS a GCP sfruttando Confluent Kafka Cloud.
Cosa imparerai a fare
- Come configurare il peering VPC tra Confluent Cloud Kafka e il tuo progetto Google Cloud.
- Come configurare un tunnel VPN tra progetti AWS e GCP.
- Come accedere a Confluent Cloud ospitato su Google Cloud dal tuo progetto AWS.
Questo codelab si concentra sulla creazione di streaming di dati multicloud. Concetti e blocchi di codice non pertinenti sono trattati solo superficialmente e sono forniti solo per operazioni di copia e incolla.
Che cosa ti serve
- Accesso al progetto AWS.
- Accesso al progetto Google Cloud.
- Esperienza con GCP e AWS Cloud.
- Abbonamento a Confluent Kafka da GCP Marketplace.
2. Preparazione
Configura la connessione VPN tra AWS e GCP
- Questa demo utilizza il VPC predefinito (asia-southeast1) in Google Cloud e ng-vpc-103-mum (ap-south1) in AWS.
- Su AWS, crea il gateway cliente e il gateway privato virtuale (VPG). Collega il VPG al VPC AWS.
- Crea la connessione VPN site-to-site su AWS.
- Scarica il file di configurazione per il tunnel creato in AWS. Seleziona
- Fornitore : generico
- Piattaforma : generica
- Software : indipendente dal fornitore
- Versione IKE : Ikev2
- Crea il gateway VPN e il tunnel VPN su GCP.
Fornisci l'indirizzo IP e la chiave Ikev2 dal file di configurazione AWS scaricato per entrambi i tunnel.
- Al termine dell'operazione, il tunnel dovrebbe essere attivo e funzionante su AWS e GCP.
La configurazione del tunnel è ora completata.
- Seleziona un blocco CIDR da utilizzare per configurare Confluent Cloud. Aggiungi questo elemento al tunnel VPN come route statica su AWS.
Confluent Kafka su GCP Marketplace
- Iscriviti a Confluent Kafka da GCP Marketplace.
- Accedi a Confluent Cloud e crea un cluster dedicato
- Fornisci l'ID progetto Google Cloud insieme ai dettagli della rete VPC per il peering.
- Completa il peering VPC all'estremità GCP con i dettagli della rete del cluster Confluent Cloud forniti.
- Il cluster Confluent Cloud è attivo e sottoposto a peering con GCP.
- Testa la connettività al cluster Confluent da GCP.
- Esegui il provisioning di un'istanza GCE e installa Python3.
- Genera la chiave client Python in Confluent Cloud
- Esegui lo script di test "producer.py" dall'istanza GCP:
- Ora, scarica la base di codice di esempio sull'istanza AWS ed esegui lo script "producer.py" per testare la connettività ibrida a Confluent Cloud da GCP.
3. Complimenti
Congratulazioni, hai creato correttamente la piattaforma di streaming Confluent Kafka multicloud e cross-region tra AWS e GCP.
Codelab utili**?**
Dai un'occhiata ad alcuni di questi codelab…