Pengantar orkestrasi serverless dengan Workflows

1. Pengantar

Anda dapat menggunakan Workflows untuk membuat alur kerja serverless yang menautkan serangkaian tugas serverless dalam urutan yang Anda tentukan. Anda dapat menggabungkan kecanggihan API Google Cloud, produk serverless seperti Cloud Functions dan Cloud Run, serta panggilan ke API eksternal untuk membuat aplikasi serverless yang fleksibel.

Workflows tidak memerlukan pengelolaan infrastruktur dan menskalakan dengan lancar sesuai permintaan, termasuk menskalakan ke nol. Dengan model harga bayar per penggunaan, Anda hanya membayar waktu eksekusi.

Dalam codelab ini, Anda akan mempelajari cara menghubungkan berbagai layanan Google Cloud dan HTTP API eksternal dengan Workflows. Lebih khusus lagi, Anda akan menghubungkan dua layanan Cloud Functions publik, satu layanan Cloud Run pribadi, dan satu API HTTP publik eksternal ke dalam alur kerja.

Yang akan Anda pelajari

• Dasar-Dasar Alur Kerja.
• Cara menghubungkan Cloud Functions publik dengan Workflows.
• Cara menghubungkan layanan Cloud Run pribadi dengan Workflows.
• Cara menghubungkan API HTTP eksternal dengan Workflows.

2. Penyiapan dan Persyaratan

Penyiapan lingkungan mandiri

1. Login ke Cloud Console dan buat project baru atau gunakan kembali project yang sudah ada. (Jika belum memiliki akun Gmail atau G Suite, Anda harus membuatnya.)

Catatan: Anda dapat mengakses Cloud Console dengan mudah dengan mengingat URL-nya, yaitu console.cloud.google.com.

Ingat project ID, nama unik di semua project Google Cloud (maaf, nama di atas telah digunakan dan tidak akan berfungsi untuk Anda!) Project ID tersebut selanjutnya akan dirujuk di codelab ini sebagai PROJECT_ID.

Catatan: Jika menggunakan akun Gmail, Anda dapat menyetel lokasi default ke Tidak ada organisasi. Jika Anda menggunakan akun G Suite, pilih lokasi yang sesuai untuk organisasi Anda.

2. Selanjutnya, Anda harus mengaktifkan penagihan di Cloud Console untuk menggunakan resource Google Cloud.

Menjalankan operasi dalam codelab ini seharusnya tidak memerlukan banyak biaya, bahkan mungkin tidak sama sekali. Pastikan untuk mengikuti petunjuk yang ada di bagian "Membersihkan" yang memberi tahu Anda cara menonaktifkan resource sehingga tidak menimbulkan penagihan di luar tutorial ini. Pengguna baru Google Cloud memenuhi syarat untuk mengikuti program Uji Coba Gratis senilai $300 USD.

Mulai Cloud Shell

Meskipun Google Cloud dapat dioperasikan dari jarak jauh menggunakan laptop Anda, dalam codelab ini, Anda akan menggunakan Google Cloud Shell, lingkungan command line yang berjalan di Cloud.

Dari Konsol GCP, klik ikon Cloud Shell di toolbar kanan atas:

Hanya perlu waktu beberapa saat untuk penyediaan dan terhubung ke lingkungan. Jika sudah selesai, Anda akan melihat tampilan seperti ini:

Mesin virtual ini berisi semua alat pengembangan yang Anda perlukan. Layanan ini menawarkan direktori beranda tetap sebesar 5 GB dan beroperasi di Google Cloud, sehingga sangat meningkatkan performa dan autentikasi jaringan. Semua pekerjaan Anda di lab ini dapat dilakukan hanya dengan browser.

3. Ringkasan Workflows

Dasar-dasar

Alur kerja terdiri dari serangkaian langkah yang dijelaskan menggunakan sintaksis berbasis YAML Workflows. Ini adalah definisi alur kerja. Untuk penjelasan mendetail tentang sintaksis YAML Workflows, lihat halaman Referensi sintaksis.

Saat alur kerja dibuat, alur kerja tersebut akan di-deploy, sehingga siap untuk dieksekusi. Eksekusi adalah satu eksekusi logika yang terkandung dalam definisi alur kerja. Semua eksekusi alur kerja bersifat independen dan produk mendukung sejumlah besar eksekusi serentak.

Mengaktifkan layanan

Dalam codelab ini, Anda akan menghubungkan Cloud Functions, layanan Cloud Run dengan Workflows. Anda juga akan menggunakan Cloud Build dan Cloud Storage selama membangun layanan.

Aktifkan semua layanan yang diperlukan:

gcloud services enable \
  cloudfunctions.googleapis.com \
  run.googleapis.com \
  workflows.googleapis.com \
  cloudbuild.googleapis.com \
  storage.googleapis.com

Pada langkah berikutnya, Anda akan menghubungkan dua Cloud Functions dalam alur kerja.

4. Men-deploy Cloud Function pertama

Fungsi pertama adalah generator angka acak di Python.

Buat dan buka direktori untuk kode fungsi:

mkdir ~/randomgen
cd ~/randomgen

Buat file main.py di direktori dengan konten berikut:

import random, json
from flask import jsonify

def randomgen(request):
    randomNum = random.randint(1,100)
    output = {"random":randomNum}
    return jsonify(output)

Saat menerima permintaan HTTP, fungsi ini akan menghasilkan angka acak antara 1 dan 100, lalu menampilkannya kembali dalam format JSON kepada pemanggil.

Fungsi ini mengandalkan Flask untuk pemrosesan HTTP dan kita perlu menambahkannya sebagai dependensi. Dependensi pada Python dikelola dengan pip dan dinyatakan dalam file metadata bernama requirements.txt.

Buat file requirements.txt di direktori yang sama dengan konten berikut:

flask>=1.0.2

Deploy fungsi dengan pemicu HTTP dan dengan permintaan yang tidak diautentikasi diizinkan dengan perintah ini:

gcloud functions deploy randomgen \
    --runtime python312 \
    --trigger-http \
    --allow-unauthenticated

Setelah fungsi di-deploy, Anda dapat melihat URL fungsi di properti url yang ditampilkan di konsol atau ditampilkan dengan perintah gcloud functions describe.

Anda juga dapat membuka URL fungsi tersebut dengan perintah curl berikut:

curl $(gcloud functions describe randomgen --format='value(url)')

Fungsi ini siap untuk alur kerja.

5. Deploy Cloud Function kedua

Fungsi kedua adalah pengali. Node ini mengalikan input yang diterima dengan 2.

Buat dan buka direktori untuk kode fungsi:

mkdir ~/multiply
cd ~/multiply

Buat file main.py di direktori dengan konten berikut:

import random, json
from flask import jsonify

def multiply(request):
    request_json = request.get_json()
    output = {"multiplied":2*request_json['input']}
    return jsonify(output)

Saat menerima permintaan HTTP, fungsi ini akan mengekstrak input dari isi JSON, mengalikannya dengan 2, dan menampilkannya kembali dalam format JSON kepada pemanggil.

Buat file requirements.txt yang sama di direktori yang sama dengan konten berikut:

flask>=1.0.2

Deploy fungsi dengan pemicu HTTP dan dengan permintaan yang tidak diautentikasi diizinkan dengan perintah ini:

gcloud functions deploy multiply \
    --runtime python312 \
    --trigger-http \
    --allow-unauthenticated

Setelah fungsi di-deploy, Anda juga dapat membuka URL fungsi tersebut dengan perintah curl berikut:

curl $(gcloud functions describe multiply --format='value(url)') \
-X POST \
-H "content-type: application/json" \
-d '{"input": 5}'

Fungsi ini siap untuk alur kerja.

6. Menghubungkan dua Cloud Functions

Dalam alur kerja pertama, hubungkan kedua fungsi.

Buat file workflow.yaml dengan konten berikut.

Pastikan Anda mengganti nilai url dengan URL sebenarnya dari fungsi Anda dengan region dan project ID yang tepat

- randomgenFunction:
    call: http.get
    args:
        url: https://<region>-<project-id>.cloudfunctions.net/randomgen
    result: randomgenResult
- multiplyFunction:
    call: http.post
    args:
        url: https://<region>-<project-id>.cloudfunctions.net/multiply
        body:
            input: ${randomgenResult.body.random}
    result: multiplyResult
- returnResult:
    return: ${multiplyResult}

Dalam alur kerja ini, Anda akan mendapatkan angka acak dari fungsi pertama dan meneruskannya ke fungsi kedua. Hasilnya adalah angka acak yang dikalikan.

Deploy alur kerja pertama:

gcloud workflows deploy workflow --source=workflow.yaml

Jalankan alur kerja pertama:

gcloud workflows execute workflow

Setelah alur kerja dieksekusi, Anda dapat melihat hasilnya dengan memasukkan ID eksekusi yang diberikan pada langkah sebelumnya:

gcloud workflows executions describe <your-execution-id> --workflow workflow

Output-nya akan menyertakan result dan state:

result: '{"body":{"multiplied":108},"code":200 ... } 

...
state: SUCCEEDED

7. Menghubungkan API HTTP eksternal

Selanjutnya, Anda akan menghubungkan math.js sebagai layanan eksternal dalam alur kerja.

Di math.js, Anda dapat mengevaluasi ekspresi matematika seperti ini:

curl https://api.mathjs.org/v4/?'expr=log(56)'

Kali ini, Anda akan menggunakan Cloud Console untuk memperbarui alur kerja. Temukan Workflows di Konsol Google Cloud:

Temukan alur kerja Anda dan klik tab Definition:

Edit definisi alur kerja dan sertakan panggilan ke math.js.

Pastikan Anda mengganti nilai url dengan URL sebenarnya dari fungsi Anda dengan region dan project ID yang tepat

- randomgenFunction:
    call: http.get
    args:
        url: https://<region>-<project-id>.cloudfunctions.net/randomgen
    result: randomgenResult
- multiplyFunction:
    call: http.post
    args:
        url: https://<region>-<project-id>.cloudfunctions.net/multiply
        body:
            input: ${randomgenResult.body.random}
    result: multiplyResult
- logFunction:
    call: http.get
    args:
        url: https://api.mathjs.org/v4/
        query:
            expr: ${"log(" + string(multiplyResult.body.multiplied) + ")"}
    result: logResult
- returnResult:
    return: ${logResult}

Alur kerja sekarang memasukkan output fungsi perkalian ke dalam panggilan fungsi log di math.js.

UI akan memandu Anda mengedit dan men-deploy alur kerja. Setelah di-deploy, klik Execute untuk menjalankan alur kerja. Anda akan melihat detail eksekusi:

Perhatikan kode status 200 dan body dengan output fungsi log.

Anda baru saja mengintegrasikan layanan eksternal ke dalam alur kerja kami, keren sekali!

8. Men-deploy layanan Cloud Run

Di bagian terakhir, selesaikan alur kerja dengan panggilan ke layanan Cloud Run pribadi. Artinya, alur kerja harus diautentikasi untuk memanggil layanan Cloud Run.

Layanan Cloud Run menampilkan math.floor dari angka yang diteruskan.

Buat dan buka direktori untuk kode layanan:

mkdir ~/floor
cd ~/floor

Buat file app.py di direktori dengan konten berikut:

import json
import logging
import os
import math

from flask import Flask, request

app = Flask(__name__)

@app.route('/', methods=['POST'])
def handle_post():
    content = json.loads(request.data)
    input = float(content['input'])
    return f"{math.floor(input)}", 200

if __name__ != '__main__':
    # Redirect Flask logs to Gunicorn logs
    gunicorn_logger = logging.getLogger('gunicorn.error')
    app.logger.handlers = gunicorn_logger.handlers
    app.logger.setLevel(gunicorn_logger.level)
    app.logger.info('Service started...')
else:
    app.run(debug=True, host='0.0.0.0', port=int(os.environ.get('PORT', 8080)))

Cloud Run men-deploy container, jadi Anda memerlukan Dockerfile dan container Anda perlu diikat ke variabel lingkungan 0.0.0.0 dan PORT, sehingga kode di atas.

Saat menerima permintaan HTTP, fungsi ini akan mengekstrak input dari isi JSON, memanggil math.floor, dan menampilkan hasilnya kembali ke pemanggil.

Di direktori yang sama, buat Dockerfile berikut:

# Use an official lightweight Python image.
# https://hub.docker.com/_/python
FROM python:3.7-slim

# Install production dependencies.
RUN pip install Flask gunicorn

# Copy local code to the container image.
WORKDIR /app
COPY . .

# Run the web service on container startup. Here we use the gunicorn
# webserver, with one worker process and 8 threads.
# For environments with multiple CPU cores, increase the number of workers
# to be equal to the cores available.
CMD exec gunicorn --bind 0.0.0.0:8080 --workers 1 --threads 8 app:app

Buat container:

export SERVICE_NAME=floor
gcloud builds submit --tag gcr.io/${GOOGLE_CLOUD_PROJECT}/${SERVICE_NAME}

Setelah container dibangun, deploy ke Cloud Run. Perhatikan tanda no-allow-unauthenticated. Hal ini memastikan layanan hanya menerima panggilan terautentikasi:

gcloud run deploy ${SERVICE_NAME} \
  --image gcr.io/${GOOGLE_CLOUD_PROJECT}/${SERVICE_NAME} \
  --platform managed \
  --no-allow-unauthenticated

Setelah di-deploy, layanan siap untuk alur kerja.

9. Menghubungkan layanan Cloud Run

Sebelum dapat mengonfigurasi Workflows untuk memanggil layanan Cloud Run pribadi, Anda perlu membuat akun layanan yang akan digunakan Workflows:

export SERVICE_ACCOUNT=workflows-sa
gcloud iam service-accounts create ${SERVICE_ACCOUNT}

Berikan peran run.invoker ke akun layanan. Tindakan ini akan mengizinkan akun layanan memanggil layanan Cloud Run yang diautentikasi:

gcloud projects add-iam-policy-binding ${GOOGLE_CLOUD_PROJECT} \
    --member "serviceAccount:${SERVICE_ACCOUNT}@${GOOGLE_CLOUD_PROJECT}.iam.gserviceaccount.com" \
    --role "roles/run.invoker"

Perbarui definisi alur kerja di workflow.yaml untuk menyertakan layanan Cloud Run. Perhatikan cara Anda juga menyertakan kolom auth untuk memastikan Workflows meneruskan token autentikasi dalam panggilannya ke layanan Cloud Run:

Pastikan Anda mengganti nilai url dengan URL sebenarnya dari fungsi Anda dengan region dan project ID yang tepat

- randomgenFunction:
    call: http.get
    args:
        url: https://<region>-<project-id>.cloudfunctions.net/randomgen
    result: randomgenResult
- multiplyFunction:
    call: http.post
    args:
        url: https://<region>-<project-id>.cloudfunctions.net/multiply
        body:
            input: ${randomgenResult.body.random}
    result: multiplyResult
- logFunction:
    call: http.get
    args:
        url: https://api.mathjs.org/v4/
        query:
            expr: ${"log(" + string(multiplyResult.body.multiplied) + ")"}
    result: logResult
- floorFunction:
    call: http.post
    args:
        url: https://floor-<random-hash>.run.app
        auth:
            type: OIDC
        body:
            input: ${logResult.body}
    result: floorResult
- returnResult:
    return: ${floorResult}

Perbarui alur kerja. Kali ini meneruskan service-account:

gcloud workflows deploy workflow \
    --source=workflow.yaml \
    --service-account=${SERVICE_ACCOUNT}@${GOOGLE_CLOUD_PROJECT}.iam.gserviceaccount.com

Jalankan alur kerja:

gcloud workflows execute workflow

Dalam beberapa detik, Anda dapat melihat eksekusi alur kerja untuk melihat hasilnya:

gcloud workflows executions describe <your-execution-id> --workflow workflow

Output-nya akan menyertakan bilangan bulat result dan state:

result: '{"body":"5","code":200 ... } 

...
state: SUCCEEDED

10. Selamat!

Selamat, Anda telah menyelesaikan codelab.

Yang telah kita bahas

• Dasar-Dasar Alur Kerja.
• Cara menghubungkan Cloud Functions publik dengan Workflows.
• Cara menghubungkan layanan Cloud Run pribadi dengan Workflows.
• Cara menghubungkan API HTTP eksternal dengan Workflows.