Attivazione di job Cloud Run con Cloud Scheduler

1. Panoramica

La funzionalità dei job Cloud Run è coperta dai Termini dell'offerta pre-GA dei Termini di servizio di Google Cloud. Le funzionalità pre-GA potrebbero avere supporto limitato e le modifiche alle funzionalità pre-GA potrebbero non essere compatibili con altre versioni pre-GA. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

In questo lab creerai un job Cloud Run e configurerai un job Cloud Scheduler. Eseguirai il deployment del servizio menu Cymbal Eats utilizzando lo script di configurazione. Creerai un job Cloud Run che effettua chiamate API al servizio menu Cymbal Eats. Eseguirai il job utilizzando Google Cloud CLI e configurerai una pianificazione per il job. Verificherai l'esecuzione esaminando i log ed effettuando chiamate API a Menu Service per confermare che le voci di menu sono state eliminate.

Che cosa sono i job Cloud Run?

Il job Cloud Run esegue un container che non gestisce richieste web, ma esegue attività operative o l'elaborazione dei dati. Il container eseguirà l'attività ed esce al termine dell'operazione.

Job di servizio di pulizia

Il job del servizio di pulizia recupererà le voci di menu nello stato Non riuscito e le eliminerà. Quando vengono create nuove voci di menu, le immagini vengono analizzate utilizzando l'API Vision per rilevare se si tratta o meno di un alimento. Per le immagini che non superano la convalida, lo stato delle voci di menu verrà aggiornato su Non riuscito e successivamente eliminato dal job di pulizia.

Cosa imparerai a fare

In questo lab imparerai a:

• Creazione di job Cloud Run
• esegui job Cloud Run
• Creazione job Cloud Scheduler
• Verifica l'esecuzione dei job

Prerequisiti

• Questo lab presuppone la conoscenza della console Cloud e degli ambienti shell.
• Le precedenti esperienze con Cloud Run e Cloud Scheduler sono utili, ma non sono necessarie.

2. Configurazione e requisiti

Configurazione del progetto Cloud

1. Accedi alla console Google Cloud e crea un nuovo progetto o riutilizzane uno esistente. Se non hai ancora un account Gmail o Google Workspace, devi crearne uno.

• Il Nome progetto è il nome visualizzato dei partecipanti del progetto. Si tratta di una stringa di caratteri non utilizzata dalle API di Google. Puoi aggiornarla in qualsiasi momento.
• L'ID progetto è univoco in tutti i progetti Google Cloud ed è immutabile (non può essere modificato dopo essere stato impostato). La console Cloud genera automaticamente una stringa univoca; di solito non ti importa cosa sia. Nella maggior parte dei codelab, dovrai fare riferimento all'ID progetto (in genere è identificato come PROJECT_ID). Se l'ID generato non ti soddisfa, puoi generarne un altro casuale. In alternativa, puoi provarne una personalizzata per verificare se è disponibile. Non può essere modificato dopo questo passaggio e rimarrà per tutta la durata del progetto.
• Per informazione, c'è un terzo valore, un numero di progetto, utilizzato da alcune API. Scopri di più su tutti e tre questi valori nella documentazione.

Attenzione:un ID progetto è univoco a livello globale e non può essere utilizzato da nessun altro utente dopo essere stato selezionato. Sei l'unico utente di quell'ID. Anche se un progetto viene eliminato, l'ID non può più essere riutilizzato

Nota:se utilizzi un account Gmail, puoi lasciare la posizione predefinita impostata su Nessuna organizzazione. Se utilizzi un account Google Workspace, scegli una località adatta alla tua organizzazione.

2. Successivamente, dovrai abilitare la fatturazione nella console Cloud per utilizzare risorse/API Cloud. Eseguire questo codelab non dovrebbe costare molto. Per arrestare le risorse in modo da non incorrere in fatturazione oltre questo tutorial, puoi eliminare le risorse che hai creato o eliminare l'intero progetto. I nuovi utenti di Google Cloud sono idonei al programma prova senza costi di 300$.

Configurazione dell'ambiente

Attiva Cloud Shell facendo clic sull'icona a destra della barra di ricerca.

Da Cloud Shell, esegui questo comando per clonare il codice dell'applicazione da questo repository e vai alla directory contenente il servizio di menu:

git clone https://github.com/GoogleCloudPlatform/cymbal-eats.git && cd cymbal-eats/menu-service

Eseguire il deployment del servizio Menu utilizzando lo script di configurazione in Cloud Run. Il servizio Menu è un microservizio basato su Java creato con il framework Quarkus utilizzando il database Cloud SQL Postgres per il backend. Il servizio Menu è una dipendenza di runtime per il job Cloud Run che creerai nei passaggi seguenti.

./setup.sh

Il deployment impiegherà circa 10 minuti per creare tutti i componenti richiesti.

Continua con i passaggi successivi dopo aver eseguito il comando riportato sopra.

3. esplora il codice del job Cloud Run

Apri una nuova scheda in Cloud Shell facendo clic sull'icona Più.

Vai alla directory contenente il servizio di pulizia ed esamina i file che compongono il job:

cd ~/cymbal-eats/cleanup-service

Il servizio di pulizia in questa directory contiene un elemento Dockerfile che definisce l'immagine del container per il job del servizio di pulizia con le dipendenze obbligatorie(httpie, jq).

Dockerfile

FROM ubuntu:latest 
RUN apt-get update && apt-get install -y httpie jq && apt-get clean
COPY script.sh /
RUN chmod +x /script.sh
CMD ["/script.sh"]
ENTRYPOINT ["/bin/bash"]

Lo script di pulizia effettivo, elencato di seguito, contiene comandi per recuperare un elenco di voci di menu con stato "Non riuscito ed eliminarle" effettuando chiamate API al servizio Menu.

script.sh

echo "FAILED_ITEM_AGE=$FAILED_ITEM_AGE"
echo "MENU_SERVICE_URL=$MENU_SERVICE_URL"
# Failed items older than FAILED_ITEM_AGE in minutes
for id in $(http GET $MENU_SERVICE_URL/menu/failed | jq '[.[] | select(.updateDateTime < ((now - 60 * (env.FAILED_ITEM_AGE | tonumber) )| strftime("%Y-%m-%dT%H:%M:%S.%f")))]'| jq '.[].id'); do
  echo "Deleting Menu Item : $MENU_SERVICE_URL/menu/$id"
  http GET $MENU_SERVICE_URL/menu/$id
  http DELETE $MENU_SERVICE_URL/menu/$id
done

# Processing items older than FAILED_ITEM_AGE in minutes
for id in $(http GET $MENU_SERVICE_URL/menu/processing | jq '[.[] | select(.updateDateTime < ((now - 60 * (env.FAILED_ITEM_AGE | tonumber))| strftime("%Y-%m-%dT%H:%M:%S.%f")))]'| jq '.[].id'); do
  echo "Deleting Menu Item : $MENU_SERVICE_URL/menu/$id"
  http GET $MENU_SERVICE_URL/menu/$id
  http DELETE $MENU_SERVICE_URL/menu/$id
done

Nota quanto segue in merito allo script:

• Le variabili di ambiente FAILED_ITEM_AGE e MENU_SERVICE_URL verranno impostate durante il deployment e passate dal job Cloud Run.
• FAILED_ITEM_AGE: numero di minuti prima che l'elemento con esito negativo venga eliminato.
• MENU_SERVICE_URL - URL del servizio Cymbal Eats Menu

4. Crea job Cloud Run

Quindi creerai un'immagine container e la pubblicherai in Artifact Registry.

Questa immagine container verrà utilizzata per creare un job Cloud Run.

Abilita le API di servizio:

gcloud services enable \
    run.googleapis.com \
    artifactregistry.googleapis.com \
    cloudscheduler.googleapis.com \
    --quiet

Imposta le variabili di ambiente:

export PROJECT_ID=$(gcloud config get-value project)
export PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)')
export PROJECT_NAME=$(gcloud projects describe $PROJECT_ID --format='value(name)')
export REGION=us-east1
export MENU_SERVICE_NAME=menu-service

Crea un nuovo repository Artifact Registry per archiviare le immagini Docker per il job di pulizia:

gcloud artifacts repositories create cymbal-eats --repository-format=docker --location=$REGION

Crea l'immagine container con Cloud Build ed eseguine il push su Artifact Registry con un solo comando:

gcloud builds submit -t $REGION-docker.pkg.dev/$PROJECT_NAME/cymbal-eats/cleanup-service:latest

Output di esempio:

DURATION: 35S
SOURCE: gs://cymbal-eats-14906-569_cloudbuild/source/1657126400.933586-dc3e91ec85934a55bb6d2f7012611365.tgz
IMAGES: us-east1-docker.pkg.dev/cymbal-eats-14906-569/cymbal-eats/cleanup-service (+1 more)
STATUS: SUCCESS

Al termine della pubblicazione, vai ad Artifact Registry ed esamina l'immagine pubblicata:

Passa alla prima scheda di Cloud Shell per verificare se il deployment del servizio Menu è ancora in corso e attendi il completamento prima di andare al passaggio successivo.

Torna alla seconda scheda di Cloud Shell. Esegui questo comando per descrivere il servizio Menu e salva l'URL nella variabile di ambiente. Questa variabile di ambiente verrà utilizzata per configurare il job Cloud Run.

MENU_SERVICE_URL=$(gcloud run services describe $MENU_SERVICE_NAME \
 --region=$REGION \
 --format=json | jq \
 --raw-output ".status.url")

Crea un job Cloud Run per ripulire le voci di menu non riuscite e risalenti a più di 1 minuto prima della data corrente [impostate da FAILED_ITEM_AGE].

gcloud beta run jobs create cleanup-service \
  --image=$REGION-docker.pkg.dev/$PROJECT_NAME/cymbal-eats/cleanup-service:latest \
  --set-env-vars MENU_SERVICE_URL=$MENU_SERVICE_URL \
  --set-env-vars FAILED_ITEM_AGE=1 \
  --region $REGION

Output di esempio:

Creating Cloud Run job [cleanup-service] in project [cymbal-eats] region [us-east1]
OK Creating job... Done.
Done.
Job [cleanup-service] has successfully been created.

Vai alla sezione JOBS di Cloud Run nella console ed esamina il job creato.

Fai clic sul job ed esplora le schede disponibili: CRONOLOGIA, LOG, CONFIGURAZIONE e YAML.

Verifica che le variabili di ambiente siano state impostate esaminando la sezione CONFIGURAZIONE del job nella console:

(Facoltativo) Se vuoi modificare le variabili Età elemento non riuscito o URL servizio menu, dopo la creazione del job Cloud Run puoi utilizzare il comando di aggiornamento:

gcloud beta run jobs update cleanup-service \
  --image=$REGION-docker.pkg.dev/$PROJECT_NAME/cymbal-eats/cleanup-service:latest \
  --set-env-vars MENU_SERVICE_URL=$MENU_SERVICE_URL \
  --set-env-vars FAILED_ITEM_AGE=1 \
  --region $REGION

Per convalidare il job, esegui il job Cloud Run eseguendo questo comando:

gcloud beta run jobs execute cleanup-service --region=$REGION

Output di esempio:

OK Creating execution... Done.                                   
  OK Provisioning resources...
Done.
Execution [cleanup-service-rlxs4] has successfully started running.

View details about this execution by running:
gcloud beta run jobs executions describe cleanup-service-rlxs4
 

Passa alla scheda LOG per rivedere l'output del job. Nei log dovresti vedere l'età elemento non riuscito e l'URL del servizio menu.

5. Configura una pianificazione per un job Cloud Run

Cloud Scheduler è un servizio di livello aziendale completamente gestito per la pianificazione di cron job. Consente di pianificare praticamente qualsiasi job, inclusi job batch, job per big data, operazioni dell'infrastruttura cloud e molto altro ancora.

Una best practice per la sicurezza quando si lavora con un job Cloud Scheduler è l'esecuzione di ogni job con credenziali separate. In questo passaggio crea un account di servizio da utilizzare per il job di pianificazione della pulizia.

export SCHEDULER_SERVICE_ACCOUNT=cleanup-scheduler-job-sa

gcloud iam service-accounts create ${SCHEDULER_SERVICE_ACCOUNT}

Il job Cloud Scheduler avrà bisogno delle autorizzazioni per effettuare chiamate ai job Cloud Run.

Concedi il ruolo Cloud Run Invoker all'account di servizio utilizzato nel job Cloud Scheduler:

gcloud projects add-iam-policy-binding ${PROJECT_ID} \
  --member="serviceAccount:${SCHEDULER_SERVICE_ACCOUNT}@${PROJECT_ID}.iam.gserviceaccount.com" \
  --role="roles/run.invoker"

Ora configurerai una pianificazione per eseguire il job del servizio di pulizia.

Cloud Scheduler supporta più tipi di target.

• HTTP
• Pub/Sub
• HTTP App Engine

Creerai un job scheduler utilizzando il tipo di destinazione HTTP.

A scopo dimostrativo, pianificherai l'esecuzione ogni 5 minuti.

gcloud scheduler jobs create http cleanup-schedule \
    --location $REGION \
    --schedule="*/5 * * * *" \
    --uri="https://$REGION-run.googleapis.com/apis/run.googleapis.com/v1/namespaces/$PROJECT_ID/jobs/cleanup-service:run" \
    --http-method POST \
    --oauth-service-account-email ${SCHEDULER_SERVICE_ACCOUNT}@${PROJECT_ID}.iam.gserviceaccount.com

Esamina il parametro uri utilizzato per chiamare il job Cloud Run:

• REGION e PROJECT_ID - Regione Cloud Run e ID progetto in cui viene eseguito il deployment del job di servizio di pulizia
• cleanup-service: nome del job Cloud Run

Vai a Cloud Scheduler nella console per esaminare il job di scheduler creato:

Esamina le opzioni disponibili nel menu Azioni.

6. Testa il job Cloud Run

Utilizzando gli endpoint di Menu Service, esamina le voci di menu esistenti e il loro stato:

curl ${MENU_SERVICE_URL}/menu | jq

Output:

Vedrai tre voci di menu nello stato Ready.

Cambia lo stato della voce di menu n. 1 in Failed:

curl -X PUT "${MENU_SERVICE_URL}/menu/1" \
  -H 'Content-Type: application/json' \
  -d '{"status": "Failed"}' | jq

Attendi 1 minuto. Affinché la voce di menu venga eliminata, deve essere risalente a un minuto prima, come impostato dal parametro FAILED_ITEM_AGE.

Puoi attendere la successiva esecuzione pianificata o forzare l'esecuzione del job dalla console.

Esistono diversi modi per attivare un job, mediante l'interfaccia utente o la riga di comando.

Per questo esempio, esegui il comando in Cloud Shell(opzione #3) per attivare il job.

1. Da Cloud Scheduler selezionando "Forza esecuzione di un job" dal menu Azioni.

2. Dal job Cloud Run facendo clic sul pulsante "ESEGUI" .

3. Da Cloud Shell eseguendo il comando seguente:

gcloud beta run jobs execute cleanup-service --region=$REGION

Vai alla sezione JOB di Cloud Run, apri la scheda LOG e verifica che la voce di menu sia stata eliminata.

Filtra i log per "eliminazione" per trovare i log.

Utilizza gli endpoint di Menu Service per controllare le voci di menu esistenti tramite l'endpoint REST.

curl ${MENU_SERVICE_URL}/menu | jq

Output:

Vedrai due voci di menu nello stato Ready.

7. Complimenti!

Complimenti, hai completato il codelab.

Argomenti trattati:

• Creare job Cloud Run
• Come eseguire job Cloud Run
• Creare job Cloud Scheduler
• Come verificare l'esecuzione dei job

Passaggi successivi

Esplora altri codelab di Cymbal Eats:

• Attivazione di Cloud Workflows con Eventarc
• Attivazione dell'elaborazione degli eventi da Cloud Storage
• Connessione a Cloud SQL privato da Cloud Run
• Connessione a database completamente gestiti da Cloud Run
• Applicazione serverless sicura con Identity-Aware Proxy (IAP)
• Deployment sicuro su Cloud Run
• Protezione del traffico in entrata di Cloud Run
• Connessione ad AlloyDB privata da GKE Autopilot

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è quello di eliminare il progetto che hai creato per il tutorial.