Développement InnerLoop à l'aide de Cloud Workstations avec Python

1. Présentation

Cet atelier présente des fonctionnalités conçues pour simplifier le workflow de développement des ingénieurs logiciel chargés de développer des applications Python dans un environnement conteneurisé. En règle générale, le développement de conteneurs nécessite que l'utilisateur comprenne les détails des conteneurs et le processus de création de conteneurs. De plus, les développeurs doivent généralement interrompre leur flux et sortir de leur IDE pour tester et déboguer leurs applications dans des environnements distants. Grâce aux outils et technologies mentionnés dans ce tutoriel, les développeurs peuvent travailler efficacement avec des applications conteneurisées sans quitter leur IDE.

Objectifs de l'atelier

Dans cet atelier, vous allez découvrir des méthodes de développement avec des conteneurs dans GCP, y compris:

• Créer une application de démarrage Python
• Présentation du processus de développement
• Développer un service de repos CRUD simple
• Déployer sur GKE
• Déboguer un état d'erreur
• Utiliser les points d'arrêt et les journaux
• Déploiement à chaud des modifications vers GKE

2. Préparation

Configuration de l'environnement d'auto-formation

1. Connectez-vous à la console Google Cloud, puis créez un projet ou réutilisez un projet existant. (Si vous ne possédez pas encore de compte Gmail ou Google Workspace, vous devez en créer un.)

• Le nom du projet est le nom à afficher pour les participants au projet. Il s'agit d'une chaîne de caractères non utilisée par les API Google. Vous pouvez le modifier à tout moment.
• L'ID du projet est unique parmi tous les projets Google Cloud et non modifiable une fois défini. La console Cloud génère automatiquement une chaîne unique. généralement, vous ne vous souciez pas de ce que c’est. Dans la plupart des ateliers de programmation, vous devrez référencer l'ID du projet (il est généralement identifié comme PROJECT_ID). Si l'ID généré ne vous convient pas, vous pouvez en générer un autre au hasard. Vous pouvez également essayer la vôtre pour voir si elle est disponible. Il ne peut pas être modifié après cette étape et restera actif pendant toute la durée du projet.
• Pour votre information, il existe une troisième valeur, le numéro de projet, utilisé par certaines API. Pour en savoir plus sur ces trois valeurs, consultez la documentation.

Attention:Un ID de projet est unique et ne peut être utilisé par personne d'autre une fois que vous l'avez sélectionné. Vous en êtes le seul utilisateur. Même si un projet est supprimé, l'ID ne peut plus jamais être utilisé

Remarque : Si vous utilisez un compte Gmail, vous pouvez conserver l'emplacement par défaut défini sur Aucune organisation. Si vous utilisez un compte Google Workspace, choisissez un emplacement pertinent pour votre organisation.

2. Vous devez ensuite activer la facturation dans la console Cloud pour utiliser les ressources/API Cloud. L'exécution de cet atelier de programmation est très peu coûteuse, voire sans frais. Pour arrêter les ressources afin d'éviter que des frais ne vous soient facturés au-delà de ce tutoriel, vous pouvez supprimer les ressources que vous avez créées ou l'ensemble du projet. Les nouveaux utilisateurs de Google Cloud peuvent participer au programme d'essai gratuit pour bénéficier d'un crédit de 300 $.

Démarrer l'éditeur Cloudshell

Cet atelier a été conçu et testé pour être utilisé avec l'éditeur Google Cloud Shell. Pour accéder à l'éditeur,

1. Accédez à votre projet Google à l'adresse https://console.cloud.google.com.
2. En haut à droite, cliquez sur l'icône de l'éditeur Cloud Shell.

3. Un nouveau volet s'ouvre au bas de la fenêtre.
4. Cliquez sur le bouton "Ouvrir l'éditeur"

5. L'éditeur s'ouvre avec un explorateur à droite et un éditeur dans la zone centrale
6. Un volet de terminal devrait également être disponible au bas de l'écran.
7. Si le terminal n'est PAS ouvert, utilisez la combinaison de touches Ctrl+ pour ouvrir une nouvelle fenêtre de terminal.

Configuration de l'environnement

Dans Cloud Shell, définissez l'ID et le numéro de votre projet. Enregistrez-les en tant que variables PROJECT_ID et PROJECT_ID.

export PROJECT_ID=$(gcloud config get-value project)
export PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID \
    --format='value(projectNumber)')

Provisionner l'infrastructure utilisée dans cet atelier

Dans cet atelier, vous allez déployer du code sur GKE et accéder aux données stockées dans une base de données Spanner. Vous utiliserez également des stations de travail Cloud comme IDE. Le script de configuration ci-dessous prépare cette infrastructure pour vous.

1. Téléchargez le script d'installation et rendez-le exécutable.

wget https://raw.githubusercontent.com/GoogleCloudPlatform/container-developer-workshop/main/labs/python/setup_with_cw.sh
chmod +x setup_with_cw.sh

2. Ouvrir le fichier setup_with_cw.sh et modifier les valeurs des mots de passe actuellement définis sur CHANGEME
3. Exécutez le script de configuration pour mettre en place un cluster GKE et une base de données Spanner que vous utiliserez dans cet atelier.

./setup_with_cw.sh &

Cluster Cloud Workstations

1. Ouvrez Cloud Workstations dans la console Cloud. Attendez que le cluster affiche l'état READY.

Créer une configuration de stations de travail

1. Si votre session Cloud Shell a été déconnectée, cliquez sur "Reconnecter". puis exécutez la commande gcloud cli pour définir l'ID du projet. Remplacez l'exemple d'ID de projet ci-dessous par l'ID de votre projet Qwiklabs avant d'exécuter la commande.

gcloud config set project qwiklabs-gcp-project-id

2. Téléchargez et exécutez le script ci-dessous dans le terminal pour créer une configuration Cloud Workstations.

wget https://raw.githubusercontent.com/GoogleCloudPlatform/container-developer-workshop/main/labs/python/workstation_config_setup.sh
chmod +x workstation_config_setup.sh
./workstation_config_setup.sh

3. Vérifiez les résultats dans la section "Configurations". La transition vers l'état PRÊT prend deux minutes.

4. Ouvrez Cloud Workstations dans la console et créez une instance.

5. Remplacez le nom par my-workstation et sélectionnez la configuration existante: codeoss-python.

6. Vérifiez les résultats dans la section "Stations de travail".

Lancer la station de travail

1. Démarrez et lancez la station de travail. Le démarrage de la station de travail prend quelques minutes.

2. Autorisez les cookies tiers en cliquant sur l'icône dans la barre d'adresse.

3. Cliquez sur "Site inactif ?".

4. Cliquez sur "Autoriser les cookies".

5. Une fois la station de travail lancée, l'IDE Code OSS s'affiche. Cliquez sur "Marquer comme terminé". sur la page "Premiers pas", l'IDE du poste de travail

3. Créer une application de démarrage Python

Dans cette section, vous allez créer une application Python.

1. Ouvrez un nouveau terminal.

2. Créer un répertoire et l'ouvrir en tant qu'espace de travail

mkdir music-service && cd music-service

code-oss-cloud-workstations -r --folder-uri="$PWD"

Cliquez sur le bouton "Allow" (Autoriser) si ce message s'affiche pour que vous puissiez copier et coller le contenu sur le poste de travail.

3. Créez un fichier nommé requirements.txt et copiez-y le contenu suivant.

Flask
gunicorn
google-cloud-spanner
ptvsd==4.3.2

4. Créez un fichier nommé app.py et collez-y le code suivant.

import os
from flask import Flask, request, jsonify
from google.cloud import spanner

app = Flask(__name__)

@app.route("/")
def hello_world():
    message="Hello, World!"
    return message

if __name__ == '__main__':
    server_port = os.environ.get('PORT', '8080')
    app.run(debug=False, port=server_port, host='0.0.0.0')

5. Créez un fichier nommé Dockerfile et collez-y le code suivant.

FROM python:3.8
ARG FLASK_DEBUG=0
ENV FLASK_DEBUG=$FLASK_DEBUG
ENV FLASK_APP=app.py
WORKDIR /app
COPY requirements.txt .
RUN pip install --trusted-host pypi.python.org -r requirements.txt
COPY . .
ENTRYPOINT ["python3", "-m", "flask", "run", "--port=8080", "--host=0.0.0.0"]

Remarque: FLASK_DEBUG=1 vous permet d'actualiser automatiquement les modifications de code dans une application de flask Python. Ce Dockerfile vous permet de transmettre cette valeur en tant qu'argument de compilation.

Générer des fichiers manifestes

Dans votre terminal, exécutez la commande suivante pour générer les fichiers skaffold.yaml et deployment.yaml par défaut.

1. Initialisez Skaffold à l'aide de la commande suivante :

skaffold init --generate-manifests

Lorsque vous y êtes invité, utilisez les flèches pour déplacer votre curseur et la barre d'espace pour sélectionner les options.

Choisissez :

• 8080 pour le port
• y pour enregistrer la configuration

Mettre à jour les configurations Skaffold

• Modifier le nom d'application par défaut
• Ouvrir skaffold.yaml
• Sélectionnez le nom de l'image actuellement défini sur dockerfile-image
• Effectuez un clic droit et sélectionnez "Modifier toutes les occurrences"
• Saisissez le nouveau nom python-app.
• Modifiez ensuite la section de compilation pour
• ajoutez docker.buildArgs pour transmettre FLASK_DEBUG=1
• Synchronisez les paramètres pour charger les modifications apportées aux fichiers *.py depuis l'IDE vers le conteneur en cours d'exécution

Une fois les modifications effectuées, la section de compilation du fichier skaffold.yaml se présente comme suit:

build:
 artifacts:
 - image: python-app
   docker:
     buildArgs:
       FLASK_DEBUG: "1"
     dockerfile: Dockerfile
   sync:
     infer:
     - '**/*.py'

Modifier le fichier de configuration Kubernetes

1. Modifier le nom par défaut

• Ouvrir le fichier deployment.yaml
• Sélectionnez le nom de l'image actuellement défini sur dockerfile-image
• Effectuez un clic droit et sélectionnez "Modifier toutes les occurrences"
• Saisissez le nouveau nom python-app.

4. Parcourir le processus de développement

Une fois la logique métier ajoutée, vous pouvez déployer et tester votre application. La section suivante présente l'utilisation du plug-in Cloud Code. Entre autres, ce plug-in s'intègre à Skaffold pour simplifier votre processus de développement. Lors des étapes suivantes, Cloud Code et Skaffold créent automatiquement votre image de conteneur, la transfèrent vers Container Registry, puis déploient l'application your sur GKE. Cela se produit en arrière-plan afin d'éliminer les détails du flux de développement.

Se connecter à Google Cloud

1. Cliquez sur l'icône Cloud Code et sélectionnez "Sign in to Google Cloud" (Se connecter à Google Cloud) :

2. Cliquez sur "Procéder à la connexion".

3. Vérifiez le résultat dans le terminal et ouvrez le lien:

4. Connectez-vous avec vos identifiants d'étudiant Qwiklabs.

5. Sélectionnez "Autoriser" :

6. Copiez le code de validation et revenez à l'onglet "Station de travail".

7. Collez le code de validation, puis appuyez sur Entrée.

Ajouter un cluster Kubernetes

1. Ajouter un cluster

2. Sélectionnez Google Kubernetes Engine:

3. Sélectionnez un projet.

4. Sélectionnez "python-cluster" créé lors de la configuration initiale.

5. Le cluster apparaît désormais dans la liste des clusters Kubernetes sous Cloud Code. Naviguez et explorez le cluster à partir de cette page.

Définir l'ID de projet actuel à l'aide de la CLI gcloud

1. Copiez l'ID de projet de cet atelier depuis la page Qwiklabs.

2. Depuis le terminal, exécutez la commande gcloud cli pour définir l'ID du projet. Remplacez l'exemple d'ID de projet avant d'exécuter la commande. SUBSTITUTEZ l'ID du projet avant d'exécuter la commande ci-dessous.

gcloud config set project qwiklabs-gcp-project-id

Déployer sur Kubernetes

1. Dans le volet situé en bas de l'éditeur Cloud Shell, sélectionnez Cloud Code .

2. Dans le panneau qui s'affiche en haut, sélectionnez Run on Kubernetes (Exécuter sur Kubernetes). Si vous y êtes invité, sélectionnez "Oui" pour utiliser le contexte Kubernetes actuel.

Cette commande lance une compilation du code source, puis exécute les tests. L'exécution de la compilation et des tests prend quelques minutes. Ces tests incluent des tests unitaires et une étape de validation qui vérifie les règles définies pour l'environnement de déploiement. Cette étape de validation est déjà configurée. Elle vous permet de recevoir des avertissements en cas de problèmes de déploiement, même lorsque vous travaillez encore dans votre environnement de développement.

3. Lorsque vous exécutez la commande pour la première fois, une invite s'affiche en haut de l'écran pour vous demander si vous voulez le contexte Kubernetes actuel. Sélectionnez "Oui" accepter et utiliser le contexte actuel.
4. Une invite s'affiche ensuite pour vous demander quel registre de conteneurs utiliser. Appuyez sur Entrée pour accepter la valeur par défaut fournie
5. Sélectionnez la sortie dans le volet inférieur pour afficher la progression et les notifications. Dans le menu déroulant, sélectionnez "Kubernetes: Run/Debug" (Kubernetes : Exécuter/Déboguer).

6. Sélectionnez "Kubernetes: Run/Debug - Détaillé". dans le menu déroulant du canal à droite pour afficher des informations supplémentaires et les journaux diffusés en direct depuis les conteneurs.

Une fois la compilation et les tests terminés, l'URL http://localhost:8080 apparaît dans les journaux de l'onglet "Output" (Sortie) dans "Kubernetes: Run/Debug" (Kubernetes : Exécution/Débogage). vue.

7. Dans le terminal Cloud Code, pointez sur la première URL du résultat (http://localhost:8080), puis sélectionnez "Ouvrir l'aperçu sur le Web" dans l'info-bulle qui s'affiche.
8. Un nouvel onglet de navigateur s'ouvre et affiche le message Hello, World!.

Actualisation à chaud

1. Ouvrez le fichier app.py.
2. Remplacez le message d'accueil par Hello from Python

Notez immédiatement que dans la fenêtre Output (vue Kubernetes: Run/Debug), l'observateur synchronise les fichiers mis à jour avec le conteneur dans Kubernetes.

Update initiated
Build started for artifact python-app
Build completed for artifact python-app

Deploy started
Deploy completed

Status check started
Resource pod/python-app-6f646ffcbb-tn7qd status updated to In Progress
Resource deployment/python-app status updated to In Progress
Resource deployment/python-app status completed successfully
Status check succeeded
...

3. Si vous passez à la vue Kubernetes: Run/Debug - Detailed, vous remarquerez qu'elle reconnaît les modifications apportées aux fichiers, puis qu'elle crée et redéploie l'application.

files modified: [app.py]
Syncing 1 files for gcr.io/veer-pylab-01/python-app:3c04f58-dirty@sha256:a42ca7250851c2f2570ff05209f108c5491d13d2b453bb9608c7b4af511109bd
Copying files:map[app.py:[/app/app.py]]togcr.io/veer-pylab-01/python-app:3c04f58-dirty@sha256:a42ca7250851c2f2570ff05209f108c5491d13d2b453bb9608c7b4af511109bd
Watching for changes...
[python-app] * Detected change in '/app/app.py', reloading
[python-app] * Restarting with stat
[python-app] * Debugger is active!
[python-app] * Debugger PIN: 744-729-662

4. Actualisez l'onglet du navigateur dans lequel vous avez vu les résultats précédents pour voir les résultats mis à jour.

Débogage

1. Accédez à la vue de débogage et arrêtez le thread actuel . S'il vous le demande, vous pouvez choisir de nettoyer après chaque exécution.
2. 
3. Cliquez sur Cloud Code dans le menu du bas et sélectionnez Debug on Kubernetes pour exécuter l'application en mode debug.

• Dans la vue Kubernetes Run/Debug - Detailed de la fenêtre Output, notez que Skaffold va déployer cette application en mode débogage.

4. Une fois le processus terminé. Vous remarquerez qu'un débogueur est joint et que l'onglet "Output" (Sortie) indique Attached debugger to container "python-app-8476f4bbc-h6dsl" successfully.. L'URL http://localhost:8080 est indiquée.

Port forwarding pod/python-app-8bd64cf8b-cskfl in namespace default, remote port 5678 -> http://127.0.0.1:5678

5. La barre d'état inférieure passe du bleu à l'orange pour indiquer qu'elle est en mode débogage.
6. Dans la vue Kubernetes Run/Debug, vous remarquerez qu'un conteneur débogable a démarré.

**************URLs*****************
Forwarded URL from service python-app: http://localhost:8080
Debuggable container started pod/python-app-8bd64cf8b-cskfl:python-app (default)
Update succeeded
***********************************

Utiliser des points d'arrêt

1. Ouvrez le fichier app.py.
2. Recherchez l'instruction return message
3. Ajoutez un point d'arrêt à cette ligne en cliquant sur l'espace vide à gauche du numéro de ligne. Un indicateur rouge s'affiche pour indiquer que le point d'arrêt est défini.
4. Lors de la première exécution, une invite vous demande où se trouve la source dans le conteneur. Cette valeur est liée aux répertoires du Dockerfile.

Appuyez sur Entrée pour accepter les valeurs par défaut

La création et le déploiement de l'application prennent quelques minutes.

5. Actualisez votre navigateur et notez que le débogueur arrête le processus au point d'arrêt et vous permet d'examiner les variables et l'état de l'application qui s'exécute à distance dans GKE.
6. Cliquez sur la section "VARIABLES" vers le bas.
7. Cliquez sur "Locals", vous trouverez la variable "message".
8. Double-cliquez sur le nom de variable "message". Dans la fenêtre pop-up, remplacez la valeur par un autre élément, comme "Greetings from Python".
9. Cliquez sur le bouton "Continuer" dans le panneau de configuration du débogage .
10. Examinez la réponse dans votre navigateur qui affiche à présent la nouvelle valeur que vous venez de saisir.
11. Arrêter le processus de débogage en appuyant sur le bouton d'arrêt . Pour supprimer le point d'arrêt, cliquez à nouveau dessus.

5. Développer un service REST simple CRUD

À ce stade, votre application est entièrement configurée pour le développement conteneurisé, et vous avez suivi le workflow de développement de base avec Cloud Code. Dans les sections suivantes, vous allez mettre en pratique ce que vous avez appris en ajoutant des points de terminaison du service REST se connectant à une base de données gérée dans Google Cloud.

Coder le service REST

Le code ci-dessous crée un service REST simple qui utilise Spanner comme base de données sur laquelle repose l'application. Créez l'application en y copiant le code suivant.

1. Créez l'application principale en remplaçant app.py par le contenu suivant

import os
from flask import Flask, request, jsonify
from google.cloud import spanner


app = Flask(__name__)


instance_id = "music-catalog"

database_id = "musicians"

spanner_client = spanner.Client()
instance = spanner_client.instance(instance_id)
database = instance.database(database_id)


@app.route("/")
def hello_world():
    return "<p>Hello, World!</p>"

@app.route('/singer', methods=['POST'])
def create():
    try:
        request_json = request.get_json()
        singer_id = request_json['singer_id']
        first_name = request_json['first_name']
        last_name = request_json['last_name']
        def insert_singers(transaction):
            row_ct = transaction.execute_update(
                f"INSERT Singers (SingerId, FirstName, LastName) VALUES" \
                f"({singer_id}, '{first_name}', '{last_name}')"
            )
            print("{} record(s) inserted.".format(row_ct))

        database.run_in_transaction(insert_singers)

        return {"Success": True}, 200
    except Exception as e:
        return e



@app.route('/singer', methods=['GET'])
def get_singer():

    try:
        singer_id = request.args.get('singer_id')
        def get_singer():
            first_name = ''
            last_name = ''
            with database.snapshot() as snapshot:
                results = snapshot.execute_sql(
                    f"SELECT SingerId, FirstName, LastName FROM Singers " \
                    f"where SingerId = {singer_id}",
                    )
                for row in results:
                    first_name = row[1]
                    last_name = row[2]
                return (first_name,last_name )
        first_name, last_name = get_singer()  
        return {"first_name": first_name, "last_name": last_name }, 200
    except Exception as e:
        return e


@app.route('/singer', methods=['PUT'])
def update_singer_first_name():
    try:
        singer_id = request.args.get('singer_id')
        request_json = request.get_json()
        first_name = request_json['first_name']
        
        def update_singer(transaction):
            row_ct = transaction.execute_update(
                f"UPDATE Singers SET FirstName = '{first_name}' WHERE SingerId = {singer_id}"
            )

            print("{} record(s) updated.".format(row_ct))

        database.run_in_transaction(update_singer)
        return {"Success": True}, 200
    except Exception as e:
        return e


@app.route('/singer', methods=['DELETE'])
def delete_singer():
    try:
        singer_id = request.args.get('singer')
    
        def delete_singer(transaction):
            row_ct = transaction.execute_update(
                f"DELETE FROM Singers WHERE SingerId = {singer_id}"
            )
            print("{} record(s) deleted.".format(row_ct))

        database.run_in_transaction(delete_singer)
        return {"Success": True}, 200
    except Exception as e:
        return e

port = int(os.environ.get('PORT', 8080))
if __name__ == '__main__':
    app.run(threaded=True, host='0.0.0.0', port=port)

Ajouter des configurations de base de données

Pour vous connecter à Spanner de manière sécurisée, configurez l'application de sorte qu'elle utilise Workload Identities. Cela permet à votre application d'agir en tant que compte de service propre et de disposer d'autorisations individuelles pour accéder à la base de données.

1. Mettez à jour deployment.yaml. Ajoutez le code suivant à la fin du fichier (veillez à conserver les retraits de tabulation dans l'exemple ci-dessous).

      serviceAccountName: python-ksa
      nodeSelector:
        iam.gke.io/gke-metadata-server-enabled: "true" 

Une fois les modifications effectuées, la section "spec" devrait se présenter comme suit :

   spec:
     containers:
     - name: python-app
       image: python-app
     serviceAccountName: python-ksa
     nodeSelector:
       iam.gke.io/gke-metadata-server-enabled: "true"

Déployer et valider l'application

1. Dans le volet situé en bas de l'éditeur Cloud Shell, sélectionnez Cloud Code, puis Debug on Kubernetes en haut de l'écran.
2. Une fois la compilation et les tests terminés, l'onglet "Output" (Sortie) indique Resource deployment/python-app status completed successfully, et une URL s'affiche : "Forwarded URL from service python-app: http://localhost:8080"
3. Ajoutez quelques entrées.

Depuis le terminal cloudshell, exécutez la commande ci-dessous.

curl -X POST http://localhost:8080/singer -H 'Content-Type: application/json' -d '{"first_name":"Cat","last_name":"Meow", "singer_id": 6}'

4. Testez GET en exécutant la commande ci-dessous dans le terminal.

curl -X GET http://localhost:8080/singer?singer_id=6

5. Test de suppression: essayez à présent de supprimer une entrée en exécutant la commande suivante. Si nécessaire, modifiez la valeur de l'attribut item-id.

curl -X DELETE http://localhost:8080/singer?singer_id=6

    This throws an error message

500 Internal Server Error

Identifier et corriger le problème

1. mode débogage et identifiez le problème. Voici quelques conseils :

• Nous savons qu'il y a un problème avec l'instruction DELETE, car celle-ci ne renvoie pas le résultat souhaité. Vous devez donc définir le point d'arrêt dans app.py dans la méthode delete_singer.
• Exécutez une exécution étape par étape et observez les variables à chaque étape pour observer les valeurs des variables locales dans la fenêtre de gauche.
• Pour observer des valeurs spécifiques telles que singer_id et request.args dans le flux, ajoutez ces variables à la fenêtre de surveillance.

2. Notez que la valeur attribuée à singer_id est None. Modifiez le code pour résoudre le problème.

L'extrait de code corrigé se présente comme suit :

@app.route('/delete-singer', methods=['DELETE', 'GET'])
def delete_singer():
    try:
        singer_id = request.args.get('singer_id')

3. Une fois l'application redémarrée, réessayez en essayant de la supprimer.
4. Arrêtez la session de débogage en cliquant sur le carré rouge dans la barre d'outils de débogage .

6. Nettoyage

Félicitations ! Dans cet atelier, vous avez entièrement créé une application Python et l'avez configurée pour fonctionner efficacement avec des conteneurs. Vous avez ensuite déployé et débogué votre application sur un cluster GKE distant en suivant le même parcours de développement que dans les piles d'applications traditionnelles.

Pour effectuer un nettoyage une fois l'atelier terminé:

1. Supprimer les fichiers utilisés dans l'atelier

cd ~ && rm -rf ~/music-service

2. Supprimer le projet pour retirer toute l'infrastructure et toutes les ressources associées