1. Введение
Последнее обновление: 8 февраля 2022 г.
Зачем нужна потоковая передача в несколько облаков?
Компании активно стремятся распределить свои рабочие нагрузки между несколькими облачными платформами, поскольку внедрение нескольких облачных провайдеров в операционный рабочий процесс бизнеса дает ряд преимуществ, таких как:
- Привязка к поставщику
- Снижение риска непрерывности бизнеса
- Зависимости и зависимость от одного технологического стека
Что ты построишь
В этой лабораторной работе вы собираетесь настроить потоковую передачу мультиоблачных данных между AWS и GCP с использованием Confluent Cloud. Вы будете:
- Настройте выделенный кластер Kafka в Confluent Cloud на GCP.
- Настройте пиринг VPC между Confluent Cloud и вашим проектом GCP, чтобы к нему можно было получить доступ в частной сети.
- Настройте VPN-туннель между вашим проектом AWS и проектом GCP, чтобы ресурсы обоих гиперскейлеров могли соединяться.
- Получите доступ к Confluent Kafka из AWS и настройте конвейер потоковой передачи из AWS в GCP с использованием Confluent Kafka Cloud.
Что вы узнаете
- Как настроить пиринг VPC между Confluent Cloud Kafka и вашим проектом GCP.
- Как настроить VPN-туннель между проектами AWS и GCP.
- Как получить доступ к Confluent Cloud, размещенному на GCP, из вашего проекта AWS.
Эта лаборатория ориентирована на создание потоковой передачи данных в нескольких облаках. Нерелевантные концепции и блоки кода замалчиваются и предоставляются для простого копирования и вставки.
Что вам понадобится
- Доступ к проекту AWS.
- Доступ к проекту GCP.
- Опыт работы с GCP и AWS Cloud.
- Подписка Confluent Kafka от GCP Marketplace.
2. Приступаем к настройке
Настройте VPN-соединение между AWS и GCP.
- В этой демонстрации используется VPC по умолчанию (asia-southeast1) в GCP и ng-vpc-103-mum (ap-south1) в AWS.
- В AWS создайте клиентский шлюз и виртуальный частный шлюз (VPG). Подключите VPG к AWS VPC.
- Создайте VPN-соединение между сайтами на AWS.
- Загрузите файл конфигурации для туннеля, созданного в AWS. Выбирать
- Продавец: Дженерик
- Платформа: Общая
- Программное обеспечение: независимо от поставщика
- Версия Айка: Ikev2
- Создайте VPN-шлюз и VPN-туннель на GCP.
Укажите IP-адрес и ключ Ikev2 из загруженного файла конфигурации AWS для обоих туннелей.
- После завершения туннель должен быть запущен и запущен на AWS и GCP.
Настройка туннеля завершена.
- Выберите блок CIDR, который будет использоваться для настройки Confluent Cloud. Добавьте это в VPN-туннель в качестве статического маршрута на AWS.
Confluent Kafka на торговой площадке GCP
- Подпишитесь на Confluent Kafka на торговой площадке GCP.
- Войдите в облако Confluent и создайте выделенный кластер.
- Укажите идентификатор проекта GCP и сведения о сети VPC для пиринга.
- Завершите пиринг VPC на стороне GCP, указав предоставленные сведения о сети кластера Confluent Cloud.
- Кластер Confluent Cloud теперь активен и подключен к GCP.
- Проверьте подключение к слитному кластеру из GCP.
- Предоставьте экземпляр GCE и установите Python3.
- Создайте ключ клиента Python в Confluent Cloud
- Запустите тестовый скрипт «producer.py» из экземпляра GCP:
- Теперь загрузите пример кодовой базы на экземпляре AWS и выполните сценарий «producer.py», чтобы протестировать гибридное подключение к Confluent Cloud из GCP.
3. Поздравления
Поздравляем, вы успешно создали свою мультиоблачную межрегиональную потоковую платформу Confluent Kafka между AWS и GCP.
Полезные кодовые лаборатории**?**
Посмотрите некоторые из этих кодовых лабораторий...
Дальнейшее чтение
1. Введение
Последнее обновление: 8 февраля 2022 г.
Зачем нужна потоковая передача в несколько облаков?
Компании активно стремятся распределить свои рабочие нагрузки между несколькими облачными платформами, поскольку внедрение нескольких облачных провайдеров в рабочий процесс бизнеса дает ряд преимуществ, таких как:
- Привязка к поставщику
- Снижение риска непрерывности бизнеса
- Зависимости и зависимость от одного технологического стека
Что ты построишь
В этой лабораторной работе вы собираетесь настроить потоковую передачу мультиоблачных данных между AWS и GCP с использованием Confluent Cloud. Вы будете:
- Настройте выделенный кластер Kafka в Confluent Cloud на GCP.
- Настройте пиринг VPC между Confluent Cloud и вашим проектом GCP, чтобы к нему можно было получить доступ в частной сети.
- Настройте VPN-туннель между вашим проектом AWS и проектом GCP, чтобы ресурсы обоих гиперскейлеров могли соединяться.
- Получите доступ к Confluent Kafka из AWS и настройте конвейер потоковой передачи из AWS в GCP с использованием Confluent Kafka Cloud.
Что вы узнаете
- Как настроить пиринг VPC между Confluent Cloud Kafka и вашим проектом GCP.
- Как настроить VPN-туннель между проектами AWS и GCP.
- Как получить доступ к Confluent Cloud, размещенному на GCP, из вашего проекта AWS.
Эта лаборатория ориентирована на создание потоковой передачи данных в нескольких облаках. Нерелевантные концепции и блоки кода замалчиваются и предоставляются для простого копирования и вставки.
Что вам понадобится
- Доступ к проекту AWS.
- Доступ к проекту GCP.
- Опыт работы с GCP и AWS Cloud.
- Подписка Confluent Kafka от GCP Marketplace.
2. Приступаем к настройке
Настройте VPN-соединение между AWS и GCP.
- В этой демонстрации используется VPC по умолчанию (asia-southeast1) в GCP и ng-vpc-103-mum (ap-south1) в AWS.
- В AWS создайте клиентский шлюз и виртуальный частный шлюз (VPG). Подключите VPG к AWS VPC.
- Создайте VPN-соединение между сайтами на AWS.
- Загрузите файл конфигурации для туннеля, созданного в AWS. Выбирать
- Продавец: Дженерик
- Платформа: Общая
- Программное обеспечение: независимо от поставщика
- Версия Айка: Ikev2
- Создайте VPN-шлюз и VPN-туннель на GCP.
Укажите IP-адрес и ключ Ikev2 из загруженного файла конфигурации AWS для обоих туннелей.
- После завершения туннель должен быть запущен и запущен на AWS и GCP.
Настройка туннеля завершена.
- Выберите блок CIDR, который будет использоваться для настройки Confluent Cloud. Добавьте это в VPN-туннель в качестве статического маршрута на AWS.
Confluent Kafka на торговой площадке GCP
- Подпишитесь на Confluent Kafka на торговой площадке GCP.
- Войдите в облако Confluent и создайте выделенный кластер.
- Укажите идентификатор проекта GCP и сведения о сети VPC для пиринга.
- Завершите пиринг VPC на стороне GCP, указав предоставленные сведения о сети кластера Confluent Cloud.
- Кластер Confluent Cloud теперь активен и подключен к GCP.
- Проверьте подключение к слитному кластеру из GCP.
- Предоставьте экземпляр GCE и установите Python3.
- Создайте ключ клиента Python в Confluent Cloud
- Запустите тестовый скрипт «producer.py» из экземпляра GCP:
- Теперь загрузите пример кодовой базы на экземпляре AWS и выполните сценарий «producer.py», чтобы протестировать гибридное подключение к Confluent Cloud из GCP.
3. Поздравления
Поздравляем, вы успешно создали свою мультиоблачную межрегиональную потоковую платформу Confluent Kafka между AWS и GCP.
Полезные кодовые лаборатории**?**
Посмотрите некоторые из этих кодовых лабораторий...