1. Introdução
Última atualização:08/02/2022
Por que o streaming multicloud é necessário?
As empresas estão buscando ativamente distribuir as cargas de trabalho em várias plataformas de nuvem, já que há várias vantagens em adotar vários provedores de nuvem no fluxo de trabalho operacional de uma empresa, como:
- Dependência de um só fornecedor
- Reduzir o risco de continuidade dos negócios
- Dependências e confiança em uma tecnologia
O que você vai criar
Neste codelab, você vai configurar um streaming de dados de várias nuvens entre a AWS e o GCP usando o Confluent Cloud. Você vai:
- Configure um cluster dedicado do Kafka no Confluent Cloud no GCP.
- Configure um peering de VPC entre o Confluent Cloud e seu projeto do GCP para que ele possa ser acessado em uma rede privada.
- Configure um túnel de VPN entre os projetos da AWS e do GCP para que os recursos dos dois hiperescaladores possam se conectar.
- Acesse o Confluent Kafka na AWS e configure um pipeline de streaming da AWS para o GCP usando o Confluent Kafka Cloud.
O que você vai aprender
- Como configurar o peering de VPC entre o Confluent Cloud Kafka e seu projeto do GCP.
- Como configurar um túnel VPN entre projetos da AWS e do GCP.
- Como acessar o Confluent Cloud hospedado no GCP pelo projeto da AWS.
Este codelab se concentra na criação de streaming de dados multicloud. Conceitos e blocos de códigos sem relevância não serão abordados. Eles são incluídos somente para você copiar e colar.
O que é necessário
- Acesso ao projeto da AWS.
- Acesso ao projeto do GCP.
- Experiência com a nuvem do GCP e da AWS.
- Assinatura do Confluent Kafka no GCP Marketplace.
2. Etapas da configuração
Configurar a conexão VPN entre a AWS e o GCP
- Esta demonstração usa a VPC padrão (asia-southeast1) no GCP e ng-vpc-103-mum (ap-south1) na AWS.
- Na AWS, crie o gateway do cliente e o gateway privado virtual (VPG). Anexe o VPG à VPC da AWS.
- Crie a conexão VPN site a site na AWS.
- Faça o download do arquivo de configuração do túnel criado na AWS. Selecionar
- Fornecedor : genérico
- Plataforma : genérica
- Software : independente de fornecedor
- Versão do IKE : Ikev2
- Crie o gateway e o túnel de VPN no GCP.
Forneça o endereço IP e a chave Ikev2 do arquivo de configuração da AWS baixado para os dois túneis.
- Depois de concluído, o túnel vai estar ATIVO e em execução na AWS e no GCP.
A configuração do túnel foi concluída.
- Selecione um bloco CIDR que será usado para configurar o Confluent Cloud. Adicione isso ao túnel de VPN como uma rota estática na AWS.
Confluent Kafka no GCP Marketplace
- Assine o Confluent Kafka no GCP Marketplace.
- Faça login no Confluent Cloud e crie um cluster dedicado
- Forneça o ID do projeto do GCP e os detalhes da rede VPC para o peering.
- Conclua o peering de VPC na extremidade do GCP com os detalhes da rede do cluster do Confluent Cloud fornecidos.
- O cluster do Confluent Cloud está ativo e com peering com o GCP.
- Teste a conectividade com o cluster do Confluent no GCP.
- Provisione uma instância do GCE e instale o Python3.
- Gerar a chave de cliente do Python no Confluent Cloud
- Execute o script de teste "producer.py" na instância do GCP:
- Agora, faça o download do exemplo de base de código na instância da AWS e execute o script "producer.py" para testar a conectividade híbrida com o Confluent Cloud do GCP.
3. Parabéns
Parabéns, você criou com sucesso sua plataforma de streaming do Confluent Kafka multicloud e cross-regional entre a AWS e o GCP.
Codelabs úteis**?**
Confira alguns destes codelabs: