NEG Internet HTTPS vers le sud du PSA Looker

1. Introduction

Seules les instances Looker (Google Cloud Core) qui utilisent l'accès aux services privés pour leur connexion privée sont compatibles avec une configuration d'adresse IP privée et d'adresse IP publique.

Une instance Looker (Google Cloud Core) qui dispose à la fois d'une connexion IP privée (accès aux services privés) et d'une connexion IP publique possède une URL publique, et tout le trafic entrant passera par la connexion IP publique. Le trafic sortant est acheminé via votre VPC, qui peut être configuré pour n'autoriser que le trafic IP privé, comme illustré dans la figure 1.

Figure1

La communication avec github.com est résolue en une adresse IP publique, donc inaccessible à partir d'une instance Looker déployée en tant que privée ou publique + privée.

Dans cet atelier de programmation, vous allez effectuer une connexion HTTPS sortante à GitHub à l'aide d'un équilibreur de charge proxy TCP interne et d'un groupe de points de terminaison du réseau (NEG) Internet appelé à partir de Looker PSA.

Points abordés

• Configuration réseau requise
• Établir une connectivité à GitHub depuis Looker à l'aide d'une connexion de test

Prérequis

• Projet Google Cloud avec des autorisations de propriétaire
• Compte et dépôt GitHub
• Jeton d'accès personnel GitHub (classique)
• Instance Looker PSA existante avec l'option "Public + Private" ou "Private only" activée

2. Objectifs de l'atelier

Vous allez déployer un équilibreur de charge proxy TCP interne et un NEG Internet configuré avec l'adresse IP résolue de github.com qui utilise Cloud NAT pour la sortie Internet vers les organisations github.com résolues par Looker.

3. Configuration réseau requise

Voici la répartition des exigences réseau :

Composants	Description
VPC ($vpc_network)	VPC en mode personnalisé
Sous-réseau de la règle de transfert	Utilisé pour allouer une adresse IP à l'équilibreur de charge proxy TCP interne régional
Sous-réseau proxy réservé	Une adresse IP interne est attribuée à chacun des proxys de l'équilibreur de charge. Les paquets envoyés à partir d'un proxy vers une VM ou un point de terminaison de backend possèdent une adresse IP source provenant du sous-réseau proxy réservé.
NEG Internet	Ressource utilisée pour définir un backend externe pour l'équilibreur de charge. Le point de terminaison ne peut pas être accessible uniquement via Cloud VPN ou Cloud Interconnect.
Service de backend	Un service de backend sert de pont entre votre équilibreur de charge et vos ressources de backend. Dans le tutoriel, le service de backend est associé au NEG Internet.
Cloud Router	Cloud NAT s'appuie sur les routeurs Cloud pour les fonctionnalités du plan de contrôle, mais pas pour la gestion des sessions BGP.
Cloud NAT	Le NEG Internet régional utilise Cloud NAT pour la sortie Internet.

4. Topologie de l'atelier de programmation

5. Prérequis

Configuration de l'environnement au rythme de chacun

1. Connectez-vous à la console Google Cloud, puis créez un projet ou réutilisez un projet existant. Si vous n'avez pas encore de compte Gmail ou Google Workspace, vous devez en créer un.

• Le nom du projet est le nom à afficher pour les participants au projet. Il s'agit d'une chaîne de caractères non utilisée par les API Google. Vous pouvez modifier ce nom à tout moment.
• L'ID du projet est unique parmi tous les projets Google Cloud et non modifiable une fois défini. La console Cloud génère automatiquement une chaîne unique (en général, vous n'y accordez d'importance particulière). Dans la plupart des ateliers de programmation, vous devrez indiquer l'ID de votre projet (généralement identifié par PROJECT_ID). Si l'ID généré ne vous convient pas, vous pouvez en générer un autre de manière aléatoire. Vous pouvez également en spécifier un et voir s'il est disponible. Après cette étape, l'ID n'est plus modifiable et restera donc le même pour toute la durée du projet.
• Pour information, il existe une troisième valeur (le numéro de projet) que certaines API utilisent. Pour en savoir plus sur ces trois valeurs, consultez la documentation.

Attention : Un ID de projet est unique. Une fois que vous l'avez choisi, personne d'autre ne peut l'employer. Vous en êtes le seul utilisateur. Même si un projet est supprimé, son ID ne peut pas être réutilisé.

Remarque : Si vous utilisez un compte Gmail, vous pouvez conserver l'emplacement par défaut défini sur Aucune organisation. Si vous utilisez un compte Google Workspace, choisissez un emplacement qui ait du sens pour votre organisation.

2. Vous devez ensuite activer la facturation dans la console Cloud pour utiliser les ressources/API Cloud. L'exécution de cet atelier de programmation est très peu coûteuse, voire sans frais. Pour désactiver les ressources et éviter ainsi que des frais ne vous soient facturés après ce tutoriel, vous pouvez supprimer le projet ou les ressources que vous avez créées. Les nouveaux utilisateurs de Google Cloud peuvent participer au programme d'essai sans frais pour bénéficier d'un crédit de 300 $.

Démarrer Cloud Shell

Bien que Google Cloud puisse être utilisé à distance depuis votre ordinateur portable, nous allons nous servir de Google Cloud Shell pour cet atelier de programmation, un environnement de ligne de commande exécuté dans le cloud.

Dans la console Google Cloud, cliquez sur l'icône Cloud Shell dans la barre d'outils supérieure :

Le provisionnement et la connexion à l'environnement prennent quelques instants seulement. Une fois l'opération terminée, le résultat devrait ressembler à ceci :

Cette machine virtuelle contient tous les outils de développement nécessaires. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud, ce qui améliore nettement les performances du réseau et l'authentification. Vous pouvez effectuer toutes les tâches de cet atelier de programmation dans un navigateur. Vous n'avez rien à installer.

6. Avant de commencer

Activer les API

Dans Cloud Shell, assurez-vous que l'ID de votre projet est configuré :

gcloud config list project
gcloud config set project [YOUR-PROJECT-ID]
project=[YOUR-PROJECT-ID]
region=[YOUR-REGION]
vpc_network=[VPC Name]
echo $project
echo $region
echo $vpc-network

Activez tous les services nécessaires :

gcloud services enable compute.googleapis.com

7. Composants du réseau VPC

Réseau VPC

Le prérequis de ce tutoriel est une instance Looker PSA existante. Par conséquent, le VPC associé est déjà créé.

Dans Cloud Shell, créez le sous-réseau de la règle de transfert :

gcloud compute networks subnets create psa-fr-subnet --network $vpc_network --range 172.16.20.0/28 --region $region --enable-private-ip-google-access

Dans Cloud Shell, créez le sous-réseau proxy réservé régional :

gcloud compute networks subnets create $region-proxyonly-subnet \
  --purpose=REGIONAL_MANAGED_PROXY \
  --role=ACTIVE \
  --region=$region \
  --network=$vpc_network \
  --range=10.10.10.0/24

Créer la passerelle Public NAT

La passerelle NAT est utilisée par l'équilibreur de charge proxy TCP interne régional pour la sortie Internet avec l'option de configuration –endpoint-types=ENDPOINT_TYPE_MANAGED_PROXY_LB. Par conséquent, la même passerelle NAT ne sera pas compatible avec la sortie Internet GCE/GKE. Déployez une passerelle NAT supplémentaire avec –endpoint-types=ENDPOINT_TYPE_VM pour la sortie Internet GCE/GKE.

Dans Cloud Shell, créez le routeur Cloud :

gcloud compute routers create $vpc_network-cloud-router --network $vpc_network --region $region

Dans Cloud Shell, créez la passerelle Cloud NAT qui active la sortie Internet pour l'équilibreur de charge proxy TCP :

gcloud compute routers nats create $vpc_network-natgw \
  --router=$vpc_network-cloud-router \
  --endpoint-types=ENDPOINT_TYPE_MANAGED_PROXY_LB \
  --nat-custom-subnet-ip-ranges=$region-proxyonly-subnet \
  --auto-allocate-nat-external-ips \
  --region=$region

Réserver l'adresse IP de l'équilibreur de charge

Dans Cloud Shell, réservez une adresse IP interne pour l'équilibreur de charge qui sera utilisée ultérieurement comme enregistrement DNS A pour github.com :

gcloud compute addresses create internet-neg-lb-ip \
  --region=$region \
  --subnet=psa-fr-subnet

Dans Cloud Shell, affichez l'adresse IP réservée :

gcloud compute addresses describe internet-neg-lb-ip \
  --region=$region | grep -i address:

Exemple de résultat :

user@cloudshell$ gcloud compute addresses describe internet-neg-lb-ip   --region=$region | grep -i address:
address: 172.16.20.2

8. NEG Internet

Il existe deux façons de configurer le point de terminaison externe référencé par le NEG Internet : INTERNET_FQDN_PORT ou INTERNET_IP_PORT. Si le format INTERNET_IP_PORT (option 1) est choisi, seule une adresse IP routable sur Internet public peut être utilisée. Si le format INTERNET_FQDN_PORT (option 2) est choisi, le nom de domaine complet peut être résolu en une adresse IP routable sur Internet public ou en une adresse IP privée, selon le champ d'application du point de terminaison : régional ou mondial.

Option 1 : Configurer le NEG Internet à l'aide d'une adresse IP

Le NEG Internet nécessite l'adresse IP résolue de Github.com. Par conséquent, pour obtenir les meilleures performances, ouvrez un terminal local, effectuez une recherche et obtenez l'adresse IP de github.com.

L'exemple d'un terminal local génère l'adresse IP résolue 140.82.113.4

bash-3.2$ dig github.com
; <<>> DiG 9.10.6 <<>> github.com
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 64801
;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1
;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;github.com.                        IN        A
;; ANSWER SECTION:
github.com.                60        IN        A        140.82.113.4
;; Query time: 409 msec
;; SERVER: ::1#53(::1)
;; WHEN: Thu Sep 26 15:50:45 CDT 2024
;; MSG SIZE  rcvd: 65

Créez un NEG Internet et définissez –network-endpoint-type sur internet_ip_port.

Dans Cloud Shell, créez un NEG Internet utilisé pour github.com :

gcloud compute network-endpoint-groups create github-internet-neg \
    --network-endpoint-type=INTERNET_IP_PORT \
    --network=$vpc_network \
    --region=$region

REMARQUE : ip=[adresse IP github.com résolue],port=443 est requis pour la compatibilité avec HTTPS

Dans Cloud Shell, mettez à jour le NEG Internet github-internet-neg avec l'adresse IP résolue de github.com et le port 443 :

gcloud compute network-endpoint-groups update github-internet-neg \
    --add-endpoint="ip=[your-resolved-ip],port=443" \
    --region=$region

Exemple :

gcloud compute network-endpoint-groups update github-internet-neg \
    --add-endpoint="ip=140.82.113.4,port=443" \
    --region=$region

Option 2 : Configurer le NEG Internet à l'aide d'un nom de domaine complet

Vous pouvez également créer un NEG Internet et définir –network-endpoint-type sur internet_FQDN_port.

Dans Cloud Shell, créez un NEG Internet utilisé pour github.com :

gcloud compute network-endpoint-groups create github-internet-neg \
    --network-endpoint-type=INTERNET_FQDN_PORT \
    --network=$vpc_network \
    --region=$region

REMARQUE : Le port 443 est requis pour la compatibilité avec HTTPS

Dans Cloud Shell, mettez à jour le NEG Internet github-internet-neg avec le nom de domaine complet github.com :

gcloud compute network-endpoint-groups update github-internet-neg \
    --add-endpoint="fqdn=github.com,port=443" \
    --region=$region

9. Créer le service GitHub

Créer des composants d'équilibreur de charge

Dans Cloud Shell, procédez comme suit :

gcloud compute backend-services create psa-backend-svc  --protocol=tcp --region=$region --load-balancing-scheme=INTERNAL_MANAGED

gcloud compute backend-services add-backend psa-backend-svc --network-endpoint-group=github-internet-neg --network-endpoint-group-region=$region --region=$region

Dans Cloud Shell, créez un proxy TCP cible pour acheminer les requêtes vers votre service de backend :

gcloud compute target-tcp-proxies create producer-lb-tcp-proxy \
      --backend-service=psa-backend-svc  \
      --region=$region

Dans la syntaxe suivante, créez une règle de transfert (équilibreur de charge proxy TCP interne).

Dans Cloud Shell, procédez comme suit :

gcloud compute forwarding-rules create psa-github-fr \
     --load-balancing-scheme=INTERNAL_MANAGED \
     --network-tier=PREMIUM \
     --network=$vpc_network \
     --subnet=psa-fr-subnet \
     --address=internet-neg-lb-ip \
     --target-tcp-proxy=producer-lb-tcp-proxy \
     --target-tcp-proxy-region=$region \
     --region=$region \
     --ports=443

10. Zone DNS GitHub

Dans la section suivante, vous allez créer une règle de réponse DNS pour GitHub.com avec un enregistrement A composé de l'adresse IP de l'équilibreur de charge proxy TCP interne.

Ensuite, l'appairage DNS partagera la zone github.com avec Looker PSA, ce qui permettra la connectivité à GitHub via l'équilibreur de charge interne en combinaison avec le NEG Internet et Cloud NAT.

Dans Cloud Shell, créez la zone de la règle de réponse :

gcloud dns --project=$project response-policies create github-com --description="" --networks="$vpc_network"

Dans Cloud Shell, créez l'enregistrement DNS A composé de l'adresse IP de l'équilibreur de charge proxy TCP, [insérer-votre-adresse-ip]:

gcloud dns --project=$project response-policies rules create github --response-policy="github-com" --dns-name="github.com." --local-data=name="github.com.",type="A",ttl=300,rrdatas="[insert-your-ip-address]"

Exemple :

gcloud dns --project=$project response-policies rules create github --response-policy="github-com" --dns-name="github.com." --local-data=name="github.com.",type="A",ttl=300,rrdatas="172.16.20.2"

Mettre à jour l'appairage DNS

Dans cette section, vous allez utiliser la syntaxe "gcloud services peered-dns-domains create" qui crée un domaine DNS appairé pour une connexion de service privée qui envoie des requêtes d'enregistrements dans un espace de noms donné provenant du réseau VPC du producteur de services au réseau VPC du consommateur pour être résolues.

REMARQUE : La création d'un domaine DNS appairé pour la mise en réseau de services aura une incidence sur tous les services gérés par Google qui utilisent la connexion d'appairage VPC de mise en réseau de services.

Dans Cloud Shell, créez un domaine DNS appairé que Looker interrogera pour github.com :

gcloud services peered-dns-domains create github-com --project=$project --network=$vpc_network --dns-suffix=github.com.

11. Tester la connectivité à GitHub

Dans les étapes suivantes, vous allez utiliser la console Looker pour créer un projet afin de valider la connectivité HTTPS à github.com.

12. Créer un projet

Activer le mode Développement

Dans la console Looker, accédez à :

Activez le mode Développement (en bas à gauche de la page). Une fois sélectionné, la bannière "Vous êtes en mode Développement" s'affiche.

Créer un projet

Dans Cloud Console, accédez à :

Développer → Projets

Sélectionnez "Nouveau projet LookML".

Indiquez un nom de projet, sélectionnez "Projet vide", puis "Créer un projet".

Sélectionnez "Configurer Git".

Configurer Git

Mettez à jour l'URL du dépôt avec vos informations HTTPS GitHub, assurez-vous d'ajouter .git à l'URL, puis sélectionnez "Continuer".

Exemple :

Mettez à jour la sélection avec votre nom d'utilisateur GitHub et votre jeton d'accès personnel (classique), puis sélectionnez "Tester et finaliser la configuration".

Sélectionnez "Actions Git".

Sélectionnez "Tester la connexion Git".

Validez le test de connexion Git.

13. Effectuer un nettoyage

À partir d'un seul terminal Cloud Shell, supprimez les composants de l'atelier :

gcloud compute forwarding-rules delete psa-github-fr --region=$region -q

gcloud compute target-tcp-proxies delete producer-lb-tcp-proxy --region=$region -q

gcloud compute backend-services delete psa-backend-svc --region=$region -q

gcloud compute routers nats delete $vpc_network-natgw --router=$vpc_network-cloud-router --router-region=$region -q

gcloud compute routers delete $vpc_network-cloud-router --region=$region -q

gcloud compute network-endpoint-groups delete github-internet-neg --region=$region -q

gcloud compute addresses delete internet-neg-lb-ip --region=$region -q

gcloud compute networks subnets delete psa-fr-subnet $region-proxyonly-subnet --region=$region -q

gcloud services peered-dns-domains delete github-com --network=$vpc_network -q

gcloud dns --project=$project response-policies rules delete github --response-policy="github-com" -q

gcloud dns response-policies update github-com --networks= -q

gcloud dns response-policies delete github-com

14. Félicitations

Félicitations, vous avez configuré et validé la connectivité à GitHub à l'aide de la console Looker.

Cosmopup pense que les ateliers de programmation sont géniaux.

Et ensuite ?

Lectures complémentaires et vidéos

• Configurer et tester une connexion Git | Looker | Google Cloud

Documents de référence

• Configurer un équilibreur de charge réseau proxy interne régional avec un backend externe
• Présentation de Cloud NAT