Pengembangan InnerLoop menggunakan Cloud Workstations dengan Python

1. Ringkasan

Lab ini menunjukkan fitur dan kemampuan yang dirancang untuk menyederhanakan alur kerja pengembangan bagi engineer software yang bertugas mengembangkan aplikasi Python dalam lingkungan yang di-container. Pengembangan container yang umum mengharuskan pengguna memahami detail container dan proses build container. Selain itu, developer biasanya harus menghentikan alur kerja mereka, keluar dari IDE untuk menguji dan men-debug aplikasi mereka di lingkungan jarak jauh. Dengan alat dan teknologi yang disebutkan dalam tutorial ini, developer dapat bekerja secara efektif dengan aplikasi yang di-containerisasi tanpa keluar dari IDE mereka.

Yang akan Anda pelajari

Dalam lab ini, Anda akan mempelajari metode untuk mengembangkan dengan container di GCP, termasuk:

• Membuat aplikasi starter Python baru
• Menjelaskan proses pengembangan
• Mengembangkan layanan REST CRUD sederhana
• Men-deploy ke GKE
• Men-debug status error
• Memanfaatkan titik henti sementara / log
• Men-deploy perubahan kembali ke GKE

2. Penyiapan dan Persyaratan

Penyiapan lingkungan mandiri

1. Login ke Google Cloud Console dan buat project baru atau gunakan kembali project yang sudah ada. Jika belum memiliki akun Gmail atau Google Workspace, Anda harus membuatnya.

• Project name adalah nama tampilan untuk peserta project ini. String ini adalah string karakter yang tidak digunakan oleh Google API. Anda dapat memperbaruinya kapan saja.
• Project ID bersifat unik di semua project Google Cloud dan tidak dapat diubah (tidak dapat diubah setelah ditetapkan). Cloud Console otomatis membuat string unik; biasanya Anda tidak mementingkan kata-katanya. Di sebagian besar codelab, Anda harus merujuk Project ID-nya (biasanya diidentifikasi sebagai PROJECT_ID). Jika tidak suka dengan ID yang dibuat, Anda dapat membuat ID acak lainnya. Atau, Anda dapat mencobanya sendiri dan melihat apakah ID tersebut tersedia. ID tidak dapat diubah setelah langkah ini dan akan tetap ada selama durasi project.
• Sebagai informasi, ada nilai ketiga, Project Number yang digunakan oleh beberapa API. Pelajari lebih lanjut ketiga nilai ini di dokumentasi.

Perhatian: Project ID bersifat unik secara global dan tidak dapat digunakan orang lain setelah Anda memilihnya. Anda adalah satu-satunya pengguna ID tersebut. Meskipun project sudah dihapus, ID tersebut tidak dapat digunakan lagi

Catatan: Jika menggunakan akun Gmail, Anda dapat menyetel lokasi default ke Tidak ada organisasi. Jika Anda menggunakan akun Google Workspace, pilih lokasi yang sesuai untuk organisasi Anda.

2. Selanjutnya, Anda harus mengaktifkan penagihan di Konsol Cloud untuk menggunakan resource/API Cloud. Menjalankan operasi dalam codelab ini seharusnya tidak memerlukan banyak biaya, bahkan mungkin tidak sama sekali. Guna mematikan resource agar tidak menimbulkan penagihan di luar tutorial ini, Anda dapat menghapus resource yang dibuat atau menghapus seluruh project. Pengguna baru Google Cloud memenuhi syarat untuk mengikuti program Uji Coba Gratis senilai $300 USD.

Mulai Cloud Shell Editor

Lab ini dirancang dan diuji untuk digunakan dengan Editor Google Cloud Shell. Untuk mengakses editor:

1. mengakses project google Anda di https://console.cloud.google.com.
2. Di pojok kanan atas, klik ikon editor cloud shell

3. Panel baru akan terbuka di bagian bawah jendela
4. Klik tombol Open Editor

5. Editor akan terbuka dengan penjelajah di sebelah kanan dan editor di area tengah
6. Panel terminal juga harus tersedia di bagian bawah layar
7. Jika terminal TIDAK terbuka, gunakan kombinasi tombol `ctrl+`` untuk membuka jendela terminal baru

Penyiapan Lingkungan

Di Cloud Shell, tetapkan project ID dan nomor project untuk project Anda. Simpan sebagai variabel PROJECT_ID dan PROJECT_ID.

export PROJECT_ID=$(gcloud config get-value project)
export PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID \
    --format='value(projectNumber)')

Menyediakan infrastruktur yang digunakan dalam lab ini

Di lab ini, Anda akan men-deploy kode ke GKE dan mengakses data yang disimpan dalam database Spanner. Anda juga akan menggunakan Cloud Workstations sebagai IDE. Skrip penyiapan di bawah akan menyiapkan infrastruktur ini untuk Anda.

1. Download skrip penyiapan dan jadikan dapat dieksekusi.

wget https://raw.githubusercontent.com/GoogleCloudPlatform/container-developer-workshop/main/labs/python/setup_with_cw.sh
chmod +x setup_with_cw.sh

2. Buka file setup_with_cw.sh dan edit nilai sandi yang saat ini ditetapkan ke CHANGEME
3. Jalankan skrip penyiapan untuk menyiapkan cluster GKE dan database Spanner yang akan Anda gunakan di lab ini

./setup_with_cw.sh &

Cluster Cloud Workstations

1. Buka Cloud Workstations di Konsol Cloud. Tunggu hingga cluster berstatus READY.

Membuat Konfigurasi Workstation

1. Jika sesi Cloud Shell Anda terputus, klik "Reconnect", lalu jalankan perintah gcloud cli untuk menetapkan project ID. Ganti project ID contoh di bawah dengan project ID qwiklabs Anda sebelum menjalankan perintah.

gcloud config set project qwiklabs-gcp-project-id

2. Download dan jalankan skrip di bawah di terminal untuk membuat konfigurasi Cloud Workstations.

wget https://raw.githubusercontent.com/GoogleCloudPlatform/container-developer-workshop/main/labs/python/workstation_config_setup.sh
chmod +x workstation_config_setup.sh
./workstation_config_setup.sh

3. Verifikasi hasil di bagian Konfigurasi. Perlu waktu 2 menit untuk beralih ke status SIAP.

4. Buka Cloud Workstations di Konsol dan buat instance baru.

5. Ubah nama menjadi my-workstation dan pilih konfigurasi yang ada: codeoss-python.

6. Verifikasi hasil di bagian Workstations.

Meluncurkan Workstation

1. Mulai dan luncurkan workstation. Perlu waktu beberapa menit untuk memulai Workstation.

2. Izinkan cookie pihak ketiga dengan mengklik ikon di kolom URL.

3. Klik "Situs tidak berfungsi?".

4. Klik "Izinkan cookie".

5. Setelah workstation diluncurkan, Anda akan melihat IDE Code OSS muncul. Klik "Mark Done" di halaman Getting Started pada IDE workstation

3. Membuat aplikasi awal Python baru

Di bagian ini, Anda akan membuat aplikasi Python baru.

1. Buka Terminal baru.

2. Buat direktori baru dan buka sebagai ruang kerja

mkdir music-service && cd music-service

code-oss-cloud-workstations -r --folder-uri="$PWD"

Klik tombol Izinkan jika Anda melihat pesan ini, sehingga Anda dapat menyalin dan menempel ke workstation.

3. Buat file bernama requirements.txt dan salin konten berikut ke dalamnya

Flask
gunicorn
google-cloud-spanner
ptvsd==4.3.2

4. Buat file bernama app.py dan tempelkan kode berikut ke dalamnya

import os
from flask import Flask, request, jsonify
from google.cloud import spanner

app = Flask(__name__)

@app.route("/")
def hello_world():
    message="Hello, World!"
    return message

if __name__ == '__main__':
    server_port = os.environ.get('PORT', '8080')
    app.run(debug=False, port=server_port, host='0.0.0.0')

5. Buat file bernama Dockerfile dan tempelkan kode berikut ke dalamnya

FROM python:3.8
ARG FLASK_DEBUG=0
ENV FLASK_DEBUG=$FLASK_DEBUG
ENV FLASK_APP=app.py
WORKDIR /app
COPY requirements.txt .
RUN pip install --trusted-host pypi.python.org -r requirements.txt
COPY . .
ENTRYPOINT ["python3", "-m", "flask", "run", "--port=8080", "--host=0.0.0.0"]

Catatan: FLASK_DEBUG=1 memungkinkan Anda memuat ulang perubahan kode secara otomatis ke aplikasi flask Python. Dockerfile ini memungkinkan Anda meneruskan nilai ini sebagai argumen build.

Membuat Manifes

Di terminal Anda, jalankan perintah berikut untuk membuat skaffold.yaml dan deployment.yaml default

1. Lakukan inisialisasi Skaffold dengan perintah berikut

skaffold init --generate-manifests

Saat diminta, gunakan tombol panah untuk memindahkan kursor dan tombol spasi untuk memilih opsi.

Pilih:

• 8080 untuk port
• y untuk menyimpan konfigurasi

Memperbarui Konfigurasi Skaffold

• Mengubah nama aplikasi default
• Buka skaffold.yaml
• Pilih nama gambar yang saat ini ditetapkan sebagai dockerfile-image
• Klik kanan, lalu pilih Ubah Semua Kemunculan
• Ketik nama baru sebagai python-app
• Edit lebih lanjut bagian build menjadi
• menambahkan docker.buildArgs ke kartu FLASK_DEBUG=1
• Menyinkronkan setelan untuk memuat perubahan apa pun pada file *.py dari IDE ke container yang sedang berjalan

Setelah pengeditan, bagian build di file skaffold.yaml akan seperti di bawah:

build:
 artifacts:
 - image: python-app
   docker:
     buildArgs:
       FLASK_DEBUG: "1"
     dockerfile: Dockerfile
   sync:
     infer:
     - '**/*.py'

Mengubah File Konfigurasi Kubernetes

1. Mengubah Nama default

• Buka file deployment.yaml
• Pilih nama gambar yang saat ini ditetapkan sebagai dockerfile-image
• Klik kanan, lalu pilih Ubah Semua Kemunculan
• Ketik nama baru sebagai python-app

4. Menjelaskan proses pengembangan

Setelah menambahkan logika bisnis, Anda kini dapat men-deploy dan menguji aplikasi. Bagian berikut akan menunjukkan penggunaan plugin Cloud Code. Selain itu, plugin ini terintegrasi dengan skaffold untuk menyederhanakan proses pengembangan Anda. Saat Anda men-deploy ke GKE pada langkah-langkah berikut, Cloud Code dan Skaffold akan otomatis membangun image container Anda, mengirimkannya ke Container Registry, lalu men-deploy aplikasi your ke GKE. Hal ini terjadi di balik layar dengan mengabstraksi detail dari alur developer.

Login ke Google Cloud

1. Klik ikon Cloud Code, lalu pilih "Sign in to Google Cloud":

2. Klik "Lanjutkan untuk login".

3. Periksa output di Terminal dan buka link:

4. Login dengan kredensial siswa Qwiklabs Anda.

5. Pilih "Izinkan":

6. Salin kode verifikasi dan kembali ke tab Workstation.

7. Tempelkan kode verifikasi, lalu tekan Enter.

Menambahkan Cluster Kubernetes

1. Menambahkan Cluster

2. Pilih Google Kubernetes Engine:

3. Pilih project.

4. Pilih "python-cluster" yang dibuat pada penyiapan awal.

5. Cluster kini muncul dalam daftar cluster Kubernetes di bagian Cloud Code. Buka dan jelajahi cluster dari sini.

Menetapkan project id saat ini menggunakan gcloud CLI

1. Salin project ID untuk lab ini dari halaman qwiklabs.

2. Dari terminal, jalankan perintah gcloud CLI untuk menetapkan project ID. Ganti project ID contoh sebelum menjalankan perintah. GANTI project ID sebelum menjalankan perintah di bawah.

gcloud config set project qwiklabs-gcp-project-id

Men-deploy ke Kubernetes

1. Di panel di bagian bawah Cloud Shell Editor, pilih Cloud Code 

2. Di panel yang muncul di bagian atas, pilih Jalankan di Kubernetes. Jika diminta, pilih Ya untuk menggunakan konteks Kubernetes saat ini.

Perintah ini memulai build kode sumber, lalu menjalankan pengujian. Build dan pengujian akan memerlukan waktu beberapa menit untuk dijalankan. Pengujian ini mencakup pengujian unit dan langkah validasi yang memeriksa aturan yang ditetapkan untuk lingkungan deployment. Langkah validasi ini sudah dikonfigurasi, dan memastikan Anda mendapatkan peringatan tentang masalah deployment meskipun Anda sedang bekerja di lingkungan pengembangan.

3. Saat pertama kali Anda menjalankan perintah, perintah akan muncul di bagian atas layar yang menanyakan apakah Anda menginginkan konteks kubernetes saat ini. Pilih "Ya" untuk menyetujui dan menggunakan konteks saat ini.
4. Selanjutnya, perintah akan ditampilkan untuk menanyakan registry container mana yang akan digunakan. Tekan enter untuk menerima nilai default yang diberikan
5. Pilih tab "Output" di panel bawah untuk melihat progres dan notifikasi. Menggunakan dropdown, pilih "Kubernetes: Run/Debug"

6. Pilih "Kubernetes: Run/Debug - Detailed" di drop-down channel di sebelah kanan untuk melihat detail tambahan dan streaming log secara live dari penampung

Setelah build dan pengujian selesai, log tab Output akan mencantumkan URL http://localhost:8080 di tampilan "Kubernetes: Run/Debug".

7. Di terminal Cloud Code, arahkan kursor ke URL pertama dalam output (http://localhost:8080), lalu di tips alat yang muncul, pilih Open Web Preview.
8. Tab browser baru akan terbuka dan menampilkan pesan Hello, World!

Hot Reload

1. Buka file app.py.
2. Ubah pesan salam menjadi Hello from Python

Segera perhatikan bahwa di jendela Output, tampilan Kubernetes: Run/Debug, watcher menyinkronkan file yang diperbarui dengan container di Kubernetes

Update initiated
Build started for artifact python-app
Build completed for artifact python-app

Deploy started
Deploy completed

Status check started
Resource pod/python-app-6f646ffcbb-tn7qd status updated to In Progress
Resource deployment/python-app status updated to In Progress
Resource deployment/python-app status completed successfully
Status check succeeded
...

3. Jika beralih ke tampilan Kubernetes: Run/Debug - Detailed, Anda akan melihatnya mengenali perubahan file, lalu mem-build dan men-deploy ulang aplikasi

files modified: [app.py]
Syncing 1 files for gcr.io/veer-pylab-01/python-app:3c04f58-dirty@sha256:a42ca7250851c2f2570ff05209f108c5491d13d2b453bb9608c7b4af511109bd
Copying files:map[app.py:[/app/app.py]]togcr.io/veer-pylab-01/python-app:3c04f58-dirty@sha256:a42ca7250851c2f2570ff05209f108c5491d13d2b453bb9608c7b4af511109bd
Watching for changes...
[python-app] * Detected change in '/app/app.py', reloading
[python-app] * Restarting with stat
[python-app] * Debugger is active!
[python-app] * Debugger PIN: 744-729-662

4. Muat ulang tab browser tempat Anda melihat hasil sebelumnya untuk melihat hasil yang diperbarui.

Proses debug

1. Buka tampilan Debug dan hentikan thread saat ini . Jika diminta, Anda dapat memilih untuk membersihkan setelah setiap proses.
2. 
3. Klik Cloud Code di menu bawah, lalu pilih Debug on Kubernetes untuk menjalankan aplikasi dalam mode debug.

• Di tampilan Kubernetes Run/Debug - Detailed jendela Output, perhatikan bahwa skaffold akan men-deploy aplikasi ini dalam mode debug.

4. Saat proses selesai. Anda akan melihat debugger terlampir dan tab Output bertuliskan: Attached debugger to container "python-app-8476f4bbc-h6dsl" successfully., dan URL http://localhost:8080 tercantum.

Port forwarding pod/python-app-8bd64cf8b-cskfl in namespace default, remote port 5678 -> http://127.0.0.1:5678

5. Status bar bawah mengubah warnanya dari biru menjadi oranye yang menunjukkan bahwa status bar tersebut berada dalam mode Debug.
6. Di tampilan Kubernetes Run/Debug, perhatikan bahwa container yang Dapat di-debug telah dimulai

**************URLs*****************
Forwarded URL from service python-app: http://localhost:8080
Debuggable container started pod/python-app-8bd64cf8b-cskfl:python-app (default)
Update succeeded
***********************************

Memanfaatkan Titik Henti Sementara

1. Buka file app.py.
2. Cari pernyataan yang bertuliskan return message
3. Tambahkan titik henti sementara ke baris tersebut dengan mengklik spasi kosong di sebelah kiri nomor baris. Indikator merah akan ditampilkan untuk menunjukkan bahwa titik henti sementara telah ditetapkan
4. Saat pertama kali dijalankan, perintah akan menanyakan lokasi sumber di dalam container. Nilai ini terkait dengan direktori di Dockerfile.

Tekan Enter untuk menerima default

Proses build dan deployment aplikasi akan memerlukan waktu beberapa menit.

5. Muat ulang browser Anda dan perhatikan bahwa debugger menghentikan proses pada titik henti sementara dan memungkinkan Anda menyelidiki variabel dan status aplikasi yang berjalan dari jarak jauh di GKE
6. Klik ke bagian VARIABEL
7. Klik Locals, di sana Anda akan menemukan variabel "message".
8. Klik dua kali nama variabel "message" dan di jendela pop-up, ubah nilainya menjadi sesuatu yang berbeda seperti "Greetings from Python"
9. Klik tombol Lanjutkan di panel kontrol debug
10. Tinjau respons di browser Anda yang kini menampilkan nilai yang diperbarui yang baru saja Anda masukkan.
11. Hentikan mode "Debug" dengan menekan tombol berhenti dan hapus titik henti sementara dengan mengklik titik henti sementara lagi.

5. Mengembangkan Layanan REST CRUD Sederhana

Pada tahap ini, aplikasi Anda telah sepenuhnya dikonfigurasi untuk pengembangan dalam container dan Anda telah mempelajari alur kerja pengembangan dasar dengan Cloud Code. Di bagian berikut, Anda akan mempraktikkan apa yang telah Anda pelajari dengan menambahkan endpoint layanan REST yang terhubung ke database terkelola di Google Cloud.

Menulis kode layanan REST

Kode di bawah membuat layanan REST sederhana yang menggunakan Spanner sebagai database yang mendukung aplikasi. Buat aplikasi dengan menyalin kode berikut ke dalam aplikasi Anda.

1. Buat aplikasi utama dengan mengganti app.py dengan konten berikut

import os
from flask import Flask, request, jsonify
from google.cloud import spanner


app = Flask(__name__)


instance_id = "music-catalog"

database_id = "musicians"

spanner_client = spanner.Client()
instance = spanner_client.instance(instance_id)
database = instance.database(database_id)


@app.route("/")
def hello_world():
    return "<p>Hello, World!</p>"

@app.route('/singer', methods=['POST'])
def create():
    try:
        request_json = request.get_json()
        singer_id = request_json['singer_id']
        first_name = request_json['first_name']
        last_name = request_json['last_name']
        def insert_singers(transaction):
            row_ct = transaction.execute_update(
                f"INSERT Singers (SingerId, FirstName, LastName) VALUES" \
                f"({singer_id}, '{first_name}', '{last_name}')"
            )
            print("{} record(s) inserted.".format(row_ct))

        database.run_in_transaction(insert_singers)

        return {"Success": True}, 200
    except Exception as e:
        return e



@app.route('/singer', methods=['GET'])
def get_singer():

    try:
        singer_id = request.args.get('singer_id')
        def get_singer():
            first_name = ''
            last_name = ''
            with database.snapshot() as snapshot:
                results = snapshot.execute_sql(
                    f"SELECT SingerId, FirstName, LastName FROM Singers " \
                    f"where SingerId = {singer_id}",
                    )
                for row in results:
                    first_name = row[1]
                    last_name = row[2]
                return (first_name,last_name )
        first_name, last_name = get_singer()  
        return {"first_name": first_name, "last_name": last_name }, 200
    except Exception as e:
        return e


@app.route('/singer', methods=['PUT'])
def update_singer_first_name():
    try:
        singer_id = request.args.get('singer_id')
        request_json = request.get_json()
        first_name = request_json['first_name']
        
        def update_singer(transaction):
            row_ct = transaction.execute_update(
                f"UPDATE Singers SET FirstName = '{first_name}' WHERE SingerId = {singer_id}"
            )

            print("{} record(s) updated.".format(row_ct))

        database.run_in_transaction(update_singer)
        return {"Success": True}, 200
    except Exception as e:
        return e


@app.route('/singer', methods=['DELETE'])
def delete_singer():
    try:
        singer_id = request.args.get('singer')
    
        def delete_singer(transaction):
            row_ct = transaction.execute_update(
                f"DELETE FROM Singers WHERE SingerId = {singer_id}"
            )
            print("{} record(s) deleted.".format(row_ct))

        database.run_in_transaction(delete_singer)
        return {"Success": True}, 200
    except Exception as e:
        return e

port = int(os.environ.get('PORT', 8080))
if __name__ == '__main__':
    app.run(threaded=True, host='0.0.0.0', port=port)

Menambahkan Konfigurasi Database

Untuk terhubung ke Spanner secara aman, siapkan aplikasi agar menggunakan Workload Identity. Hal ini memungkinkan aplikasi Anda bertindak sebagai akun layanannya sendiri dan memiliki izin individual saat mengakses database.

1. Perbarui deployment.yaml. Tambahkan kode berikut di bagian akhir file (pastikan Anda mempertahankan indentasi tab dalam contoh di bawah)

      serviceAccountName: python-ksa
      nodeSelector:
        iam.gke.io/gke-metadata-server-enabled: "true" 

Setelah perubahan, bagian spesifikasi akan terlihat seperti ini

   spec:
     containers:
     - name: python-app
       image: python-app
     serviceAccountName: python-ksa
     nodeSelector:
       iam.gke.io/gke-metadata-server-enabled: "true"

Men-deploy dan Memvalidasi Aplikasi

1. Di panel di bagian bawah Cloud Shell Editor, pilih Cloud Code, lalu pilih Debug on Kubernetes di bagian atas layar.
2. Setelah build dan pengujian selesai, tab Output akan menampilkan: Resource deployment/python-app status completed successfully, dan URL akan tercantum: "Forwarded URL from service python-app: http://localhost:8080"
3. Tambahkan beberapa entri.

Dari Terminal cloudshell, jalankan perintah di bawah

curl -X POST http://localhost:8080/singer -H 'Content-Type: application/json' -d '{"first_name":"Cat","last_name":"Meow", "singer_id": 6}'

4. Uji GET dengan menjalankan perintah di bawah di terminal

curl -X GET http://localhost:8080/singer?singer_id=6

5. Uji Penghapusan: Sekarang coba hapus entri dengan menjalankan perintah berikut. Ubah nilai item-id jika diperlukan.

curl -X DELETE http://localhost:8080/singer?singer_id=6

    This throws an error message

500 Internal Server Error

Identifikasi dan perbaiki masalahnya

1. Mode debug dan temukan masalahnya. Berikut ini beberapa tips:

• Kita tahu ada yang salah dengan DELETE karena tidak memberikan hasil yang diinginkan. Jadi, Anda akan menetapkan titik henti sementara di app.py dalam metode delete_singer.
• Jalankan eksekusi langkah demi langkah dan amati variabel di setiap langkah untuk mengamati nilai variabel lokal di jendela kiri.
• Untuk mengamati nilai tertentu seperti singer_id dan request.args, tambahkan variabel ini ke jendela Watch.

2. Perhatikan bahwa nilai yang ditetapkan ke singer_id adalah None. Ubah kode untuk memperbaiki masalah.

Cuplikan kode yang diperbaiki akan terlihat seperti ini.

@app.route('/delete-singer', methods=['DELETE', 'GET'])
def delete_singer():
    try:
        singer_id = request.args.get('singer_id')

3. Setelah aplikasi dimulai ulang, uji lagi dengan mencoba menghapus.
4. Hentikan sesi proses debug dengan mengklik kotak merah di toolbar debug

6. Pembersihan

Selamat! Dalam lab ini, Anda telah membuat aplikasi Python baru dari awal dan mengonfigurasinya agar berfungsi secara efektif dengan container. Kemudian, Anda men-deploy dan men-debug aplikasi ke cluster GKE jarak jauh dengan mengikuti alur developer yang sama seperti yang ditemukan dalam stack aplikasi tradisional.

Untuk membersihkan setelah menyelesaikan lab:

1. Hapus file yang digunakan dalam lab

cd ~ && rm -rf ~/music-service

2. Hapus project untuk menghapus semua infrastruktur dan resource terkait