1. Ringkasan
Di lab ini, Anda akan mempelajari cara menjalankan tugas pelatihan model kustom menggunakan Kubeflow Pipelines SDK di Vertex Pipelines.
Yang Anda pelajari
Anda akan mempelajari cara:
- Menggunakan Kubeflow Pipelines SDK untuk membuat pipeline ML yang skalabel
- Membuat dan membuat penampung tugas pelatihan model Scikit-learn kustom yang menggunakan set data terkelola Vertex AI, dan akan berjalan di Vertex AI Training dalam pipeline
- Menjalankan tugas prediksi batch dalam Vertex Pipelines
- Menggunakan komponen bawaan untuk berinteraksi dengan layanan Vertex AI, yang disediakan melalui library
google_cloud_pipeline_components
Total biaya untuk menjalankan lab ini di Google Cloud adalah sekitar $5.
2. Pengantar Vertex AI
Lab ini menggunakan Vertex AI, platform ML terkelola menyeluruh kami di Google Cloud. Vertex AI mengintegrasikan penawaran ML Google di Google Cloud ke dalam pengalaman pengembangan yang lancar. Selain layanan pelatihan dan deployment model, Vertex AI juga mencakup berbagai produk MLOps, termasuk Vertex Pipelines (fokus lab ini), Model Monitoring, Feature Store, dan lainnya. Anda dapat melihat semua penawaran produk Vertex AI dalam diagram di bawah.
Jika Anda memiliki masukan, harap lihat halaman dukungan.
Mengapa pipeline ML berguna?
Sebelum kita membahas lebih jauh, mari kita pahami terlebih dahulu mengapa Anda ingin menggunakan pipeline. Bayangkan Anda sedang membangun alur kerja ML yang mencakup pemrosesan data, melatih model, penyesuaian hyperparameter, evaluasi, dan deployment model. Masing-masing langkah ini mungkin memiliki dependensi yang berbeda, yang dapat menjadi berat jika Anda memperlakukan seluruh alur kerja sebagai monolit. Saat mulai menskalakan proses ML, Anda mungkin ingin membagikan alur kerja ML Anda kepada orang lain di tim Anda sehingga mereka dapat menjalankannya dan menyumbangkan kode. Tanpa proses yang andal dan dapat direproduksi, hal ini dapat menjadi sulit. Dengan pipeline, setiap langkah dalam proses ML Anda adalah penampung tersendiri. Hal ini memungkinkan Anda mengembangkan langkah-langkah secara independen dan melacak input dan output dari setiap langkah dengan cara yang dapat direproduksi. Anda juga dapat menjadwalkan atau memicu operasi pipeline berdasarkan peristiwa lain di lingkungan Cloud, seperti memulai operasi pipeline saat data pelatihan baru tersedia.
Ringkasan: pipeline membantu Anda menyederhanakan dan mereproduksi alur kerja ML.
3. Penyiapan lingkungan cloud
Anda memerlukan project Google Cloud Platform dengan penagihan yang diaktifkan untuk menjalankan codelab ini. Untuk membuat project, ikuti petunjuk di sini.
Langkah 1: Mulai Cloud Shell
Dalam lab ini, Anda akan bekerja di sesi Cloud Shell, yang merupakan penafsir perintah yang dihosting oleh virtual machine yang berjalan di cloud Google. Anda dapat dengan mudah menjalankan bagian ini secara lokal di komputer sendiri, tetapi menggunakan Cloud Shell akan memberi semua orang akses ke pengalaman yang dapat diproduksi ulang dalam lingkungan yang konsisten. Setelah lab ini, Anda dapat mencoba lagi bagian ini di komputer Anda sendiri.
Mengaktifkan Cloud Shell
Dari kanan atas Cloud Console, klik tombol di bawah untuk Mengaktifkan Cloud Shell:
Jika belum pernah memulai Cloud Shell, Anda akan melihat layar perantara (di paruh bawah) yang menjelaskan apa itu Cloud Shell. Jika memang demikian, klik Lanjutkan (dan Anda tidak akan pernah melihatnya lagi). Berikut tampilan layar sekali-tampil tersebut:
Perlu waktu beberapa saat untuk penyediaan dan terhubung ke Cloud Shell.
Virtual machine ini berisi semua alat pengembangan yang Anda perlukan. Layanan ini menawarkan direktori beranda tetap sebesar 5 GB dan beroperasi di Google Cloud, sehingga sangat meningkatkan performa dan autentikasi jaringan. Sebagian besar pekerjaan Anda dalam codelab ini dapat dilakukan hanya dengan browser atau Chromebook.
Setelah terhubung ke Cloud Shell, Anda akan melihat bahwa Anda sudah diautentikasi dan project sudah ditetapkan ke project ID Anda.
Jalankan perintah berikut di Cloud Shell untuk mengonfirmasi bahwa Anda telah diautentikasi:
gcloud auth list
Anda akan melihat yang seperti ini dalam output perintah:
Jalankan perintah berikut di Cloud Shell untuk mengonfirmasi bahwa perintah gcloud mengetahui project Anda:
gcloud config list project
Output perintah
[core] project = <PROJECT_ID>
Jika tidak, Anda dapat menyetelnya dengan perintah ini:
gcloud config set project <PROJECT_ID>
Output perintah
Updated property [core/project].
Cloud Shell memiliki beberapa variabel lingkungan, termasuk GOOGLE_CLOUD_PROJECT yang berisi nama project Cloud kita saat ini. Kita akan menggunakannya di berbagai tempat selama lab ini. Anda dapat melihatnya dengan menjalankan:
echo $GOOGLE_CLOUD_PROJECT
Langkah 2: Aktifkan API
Pada langkah-langkah berikutnya, Anda akan melihat di mana layanan ini diperlukan (dan alasannya). Namun, untuk saat ini, jalankan perintah ini agar project Anda dapat mengakses layanan Compute Engine, Container Registry, dan Vertex AI:
gcloud services enable compute.googleapis.com \
containerregistry.googleapis.com \
aiplatform.googleapis.com
Perintah di atas akan menampilkan pesan seperti berikut yang menandakan bahwa proses berhasil:
Operation "operations/acf.cc11852d-40af-47ad-9d59-477a12847c9e" finished successfully.
Langkah 3: Buat Bucket Cloud Storage
Untuk menjalankan tugas pelatihan di Vertex AI, kita memerlukan bucket penyimpanan untuk menyimpan aset model tersimpan. Bucket harus bersifat regional. Kita menggunakan us-central di sini, tetapi Anda dapat menggunakan region lain (cukup ganti di seluruh lab ini). Jika sudah memiliki bucket, Anda dapat melewati langkah ini.
Jalankan perintah berikut di terminal Cloud Shell untuk membuat bucket:
BUCKET_NAME=gs://$GOOGLE_CLOUD_PROJECT-bucket
gsutil mb -l us-central1 $BUCKET_NAME
Selanjutnya, kita akan memberi akun layanan komputasi akses ke bucket ini. Tindakan ini akan memastikan bahwa Vertex Pipelines memiliki izin yang diperlukan untuk menulis file ke bucket ini. Jalankan perintah berikut untuk menambahkan izin ini:
gcloud projects describe $GOOGLE_CLOUD_PROJECT > project-info.txt
PROJECT_NUM=$(cat project-info.txt | sed -nre 's:.*projectNumber\: (.*):\1:p')
SVC_ACCOUNT="${PROJECT_NUM//\'/}-compute@developer.gserviceaccount.com"
gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT --member serviceAccount:$SVC_ACCOUNT --role roles/storage.objectAdmin
Langkah 4: Buat instance Vertex AI Workbench
Dari bagian Vertex AI di Cloud Console Anda, klik Workbench:
Dari sana, dalam Notebooks yang dikelola pengguna, klik Notebook Baru:
Kemudian, pilih jenis instance TensorFlow Enterprise 2.3 (with LTS) tanpa GPU:
Gunakan opsi default, lalu klik Create.
Langkah 5: Buka Notebook
Setelah instance dibuat, pilih Open JupyterLab:
4. Penyiapan Vertex Pipelines
Ada beberapa library tambahan yang perlu kita instal untuk menggunakan Vertex Pipelines:
- Kubeflow Pipelines: Ini adalah SDK yang akan kita gunakan untuk mem-build pipeline. Vertex Pipelines mendukung pipeline yang berjalan yang dibangun dengan Kubeflow Pipelines atau TFX.
- Komponen Pipeline Google Cloud: Library ini menyediakan komponen bawaan yang mempermudah interaksi dengan layanan Vertex AI dari langkah pipeline Anda.
Langkah 1: Buat notebook Python dan instal library
Pertama, dari menu Peluncur di instance Notebook (yang dapat Anda akses dengan mengklik ikon + di kiri atas notebook), buat notebook dengan memilih Python 3:
Anda dapat mengakses menu Peluncur dengan mengklik tanda + di kiri atas instance notebook.
Untuk menginstal kedua layanan yang akan kita gunakan di lab ini, pertama-tama tetapkan flag pengguna di sel notebook:
USER_FLAG = "--user"
Kemudian, jalankan kode berikut dari notebook Anda:
!pip3 install {USER_FLAG} google-cloud-aiplatform==1.7.0 --upgrade
!pip3 install {USER_FLAG} kfp==1.8.9 google-cloud-pipeline-components==0.2.0
Setelah menginstal paket ini, Anda harus memulai ulang kernel:
import os
if not os.getenv("IS_TESTING"):
# Automatically restart kernel after installs
import IPython
app = IPython.Application.instance()
app.kernel.do_shutdown(True)
Terakhir, periksa apakah Anda telah menginstal paket dengan benar. Versi SDK KFP harus >=1.8:
!python3 -c "import kfp; print('KFP SDK version: {}'.format(kfp.__version__))"
!python3 -c "import google_cloud_pipeline_components; print('google_cloud_pipeline_components version: {}'.format(google_cloud_pipeline_components.__version__))"
Langkah 2: Tetapkan project ID dan bucket Anda
Selama lab ini, Anda akan mereferensikan project ID Cloud dan bucket yang Anda buat sebelumnya. Selanjutnya, kita akan membuat variabel untuk setiap variabel tersebut.
Jika tidak mengetahui project ID, Anda mungkin bisa mendapatkannya dengan menjalankan perintah berikut:
import os
PROJECT_ID = ""
# Get your Google Cloud project ID from gcloud
if not os.getenv("IS_TESTING"):
shell_output=!gcloud config list --format 'value(core.project)' 2>/dev/null
PROJECT_ID = shell_output[0]
print("Project ID: ", PROJECT_ID)
Jika tidak, tetapkan di sini:
if PROJECT_ID == "" or PROJECT_ID is None:
PROJECT_ID = "your-project-id" # @param {type:"string"}
Kemudian, buat variabel untuk menyimpan nama bucket Anda. Jika Anda membuatnya di lab ini, hal berikut akan berfungsi. Jika tidak, Anda harus menetapkannya secara manual:
BUCKET_NAME="gs://" + PROJECT_ID + "-bucket"
Langkah 3: Mengimpor library
Tambahkan kode berikut untuk mengimpor library yang akan kita gunakan di seluruh codelab ini:
from kfp.v2 import compiler, dsl
from kfp.v2.dsl import pipeline
from google.cloud import aiplatform
from google_cloud_pipeline_components import aiplatform as gcc_aip
Langkah 4: Tentukan konstanta
Hal terakhir yang perlu kita lakukan sebelum membangun pipeline adalah menentukan beberapa variabel konstan. PIPELINE_ROOT adalah jalur Cloud Storage tempat artefak yang dibuat oleh pipeline kita akan ditulis. Di sini, kita menggunakan us-central1 sebagai region, tetapi jika Anda menggunakan region yang berbeda saat membuat bucket, perbarui variabel REGION dalam kode di bawah:
PATH=%env PATH
%env PATH={PATH}:/home/jupyter/.local/bin
REGION="us-central1"
PIPELINE_ROOT = f"{BUCKET_NAME}/pipeline_root/"
PIPELINE_ROOT
Setelah menjalankan kode di atas, Anda akan melihat direktori root untuk pipeline Anda telah dicetak. Ini adalah lokasi Cloud Storage tempat artefak dari pipeline Anda akan ditulis. URL tersebut akan ditampilkan dalam format gs://YOUR-BUCKET-NAME/pipeline_root/
5. Mengonfigurasi tugas pelatihan model kustom
Sebelum menyiapkan pipeline, kita perlu menulis kode untuk tugas pelatihan model kustom. Untuk melatih model, kita akan menggunakan set data Kacang kering dari UCI Machine Learning, dari: KOKLU, M. dan OZKAN, I.A., (2020), "Multiclass Classification of Dry Beans Using Computer Vision and Machine Learning Techniques."In Computers and Electronics in Agriculture, 174, 105507. DOI.
Langkah pipeline pertama kita akan membuat set data terkelola di Vertex AI menggunakan tabel BigQuery yang berisi versi data beans ini. Set data akan diteruskan sebagai input ke tugas pelatihan. Dalam kode pelatihan, kita akan memiliki akses ke variabel lingkungan untuk mengakses set data terkelola ini.
Berikut cara menyiapkan tugas pelatihan kustom:
- Menulis model
DecisionTreeClassifierScikit-learn untuk mengklasifikasikan jenis kacang dalam data kita - Memaketkan kode pelatihan dalam container Docker dan mengirimkannya ke Container Registry
Dari sana, kita dapat memulai tugas Vertex AI Training langsung dari pipeline. Mari kita mulai!
Langkah 1: Tentukan kode pelatihan kita dalam container Docker
Dari instance Notebooks, buka Peluncur dan pilih Terminal:
Selanjutnya, jalankan perintah berikut untuk menyiapkan direktori tempat Anda akan menambahkan kode dalam container:
mkdir traincontainer
cd traincontainer
touch Dockerfile
mkdir trainer
touch trainer/train.py
Setelah menjalankan perintah tersebut, Anda akan melihat direktori bernama traincontainer/ yang dibuat di sebelah kiri (Anda mungkin perlu mengklik ikon muat ulang untuk melihatnya). Anda akan melihat kode berikut di direktori traincontainer/:
+ Dockerfile
+ trainer/
+ train.py
Langkah pertama kita dalam mem-build kode dalam container adalah membuat Dockerfile. Dalam Dockerfile, kita akan menyertakan semua perintah yang diperlukan untuk menjalankan image. Tindakan ini akan menginstal semua library yang kita gunakan dan menyiapkan titik entri untuk kode pelatihan. Buka Dockerfile yang baru saja Anda buat, lalu tambahkan kode berikut:
FROM gcr.io/deeplearning-platform-release/sklearn-cpu.0-23
WORKDIR /
# Copies the trainer code to the docker image.
COPY trainer /trainer
RUN pip install sklearn google-cloud-bigquery joblib pandas google-cloud-storage
# Sets up the entry point to invoke the trainer.
ENTRYPOINT ["python", "-m", "trainer.train"]
Untuk menyimpan file saat Anda mengeditnya di instance notebook, Anda dapat menggunakan ctrl+s.
Selanjutnya, buka file train.py. Di sinilah kita akan menambahkan kode pelatihan. Salin kode berikut ke train.py. Tindakan ini akan mengambil data dari set data terkelola, memasukkannya ke dalam Pandas DataFrame, melatih model Scikit-learn, dan mengupload model yang dilatih ke Cloud Storage:
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import roc_curve
from sklearn.model_selection import train_test_split
from google.cloud import bigquery
from google.cloud import storage
from joblib import dump
import os
import pandas as pd
bqclient = bigquery.Client()
storage_client = storage.Client()
def download_table(bq_table_uri: str):
prefix = "bq://"
if bq_table_uri.startswith(prefix):
bq_table_uri = bq_table_uri[len(prefix):]
table = bigquery.TableReference.from_string(bq_table_uri)
rows = bqclient.list_rows(
table,
)
return rows.to_dataframe(create_bqstorage_client=False)
# These environment variables are from Vertex AI managed datasets
training_data_uri = os.environ["AIP_TRAINING_DATA_URI"]
test_data_uri = os.environ["AIP_TEST_DATA_URI"]
# Download data into Pandas DataFrames, split into train / test
df = download_table(training_data_uri)
test_df = download_table(test_data_uri)
labels = df.pop("Class").tolist()
data = df.values.tolist()
test_labels = test_df.pop("Class").tolist()
test_data = test_df.values.tolist()
# Define and train the Scikit model
skmodel = DecisionTreeClassifier()
skmodel.fit(data, labels)
score = skmodel.score(test_data, test_labels)
print('accuracy is:',score)
# Save the model to a local file
dump(skmodel, "model.joblib")
# Upload the saved model file to GCS
bucket = storage_client.get_bucket("YOUR_GCS_BUCKET")
model_directory = os.environ["AIP_MODEL_DIR"]
storage_path = os.path.join(model_directory, "model.joblib")
blob = storage.blob.Blob.from_string(storage_path, client=storage_client)
blob.upload_from_filename("model.joblib")
Kemudian, kembali ke notebook Anda dan jalankan perintah berikut untuk mengganti YOUR_GCS_BUCKET dari skrip di atas dengan nama bucket Cloud Storage Anda:
BUCKET = BUCKET_NAME[5:] # Trim the 'gs://' before adding to train script
!sed -i -r 's@YOUR_GCS_BUCKET@'"$BUCKET"'@' traincontainer/trainer/train.py
Anda juga dapat melakukannya secara manual jika mau. Jika Anda melakukannya, pastikan untuk tidak menyertakan gs:// dalam nama bucket saat Anda mengupdate skrip.
Sekarang kode pelatihan kita berada dalam penampung Docker dan kita siap menjalankan pelatihan di Cloud.
Langkah 2: Kirim container ke Container Registry
Setelah kode pelatihan selesai, kita siap untuk menerapkannya ke Google Container Registry. Nanti, saat mengonfigurasi komponen pelatihan pipeline, kita akan mengarahkan Vertex Pipelines ke penampung ini.
Kembali ke Terminal, dan dari root direktori traincontainer/, tentukan variabel dengan URI untuk image container Anda di Container Registry.
PROJECT_ID=$(gcloud config get-value project)
IMAGE_URI="gcr.io/$PROJECT_ID/scikit:v1"
Kemudian, bangun container Anda dengan menjalankan perintah berikut:
docker build ./ -t $IMAGE_URI
Terakhir, kirim container ke Container Registry:
docker push $IMAGE_URI
Buka bagian Container Registry di Cloud Console untuk memverifikasi bahwa penampung Anda ada di sana. Hasil penelusuran akan terlihat seperti ini:
6. Mengonfigurasi tugas prediksi batch
Langkah terakhir dari pipeline kita akan menjalankan tugas prediksi batch. Agar ini berfungsi, kita perlu menyediakan file CSV di Cloud Storage yang berisi contoh yang ingin kita prediksi. Kita akan membuat file CSV ini di notebook dan menyalinnya ke Cloud Storage menggunakan alat command line gsutil.
Menyalin contoh prediksi batch ke Cloud Storage
File berikut berisi 3 contoh dari setiap class dalam set data beans. Contoh di bawah tidak menyertakan kolom Class karena itulah yang akan diprediksi oleh model kita. Jalankan perintah berikut untuk membuat file CSV ini secara lokal di notebook Anda:
%%writefile batch_examples.csv
Area,Perimeter,MajorAxisLength,MinorAxisLength,AspectRation,Eccentricity,ConvexArea,EquivDiameter,Extent,Solidity,roundness,Compactness,ShapeFactor1,ShapeFactor2,ShapeFactor3,ShapeFactor4
23288,558.113,207.567738,143.085693,1.450653336,0.7244336162,23545,172.1952453,0.8045881703,0.9890847314,0.9395021523,0.8295857874,0.008913077034,0.002604069884,0.6882125787,0.9983578734
23689,575.638,205.9678003,146.7475015,1.403552348,0.7016945718,24018,173.6714472,0.7652721693,0.9863019402,0.8983750474,0.8431970773,0.00869465998,0.002711119968,0.7109813112,0.9978994889
23727,559.503,189.7993849,159.3717704,1.190922235,0.5430731512,24021,173.8106863,0.8037601626,0.9877607094,0.952462433,0.9157600082,0.007999299741,0.003470231343,0.8386163926,0.9987269085
31158,641.105,212.0669751,187.1929601,1.132879009,0.4699241567,31474,199.1773023,0.7813134733,0.989959967,0.9526231013,0.9392188582,0.0068061806,0.003267009878,0.8821320637,0.9993488983
32514,649.012,221.4454899,187.1344232,1.183349841,0.5346736437,32843,203.4652564,0.7849831,0.9899826447,0.9700068737,0.9188051492,0.00681077351,0.002994124691,0.8442029022,0.9989873701
33078,659.456,235.5600775,178.9312328,1.316483846,0.6503915309,33333,205.2223615,0.7877214708,0.9923499235,0.9558229607,0.8712102818,0.007121351881,0.002530662194,0.7590073551,0.9992209221
33680,683.09,256.203255,167.9334938,1.525623324,0.7552213942,34019,207.081404,0.80680321,0.9900349805,0.9070392732,0.8082699962,0.007606985006,0.002002710402,0.6533003868,0.9966903078
33954,716.75,277.3684803,156.3563259,1.773951126,0.825970469,34420,207.9220419,0.7994819873,0.9864613597,0.8305492781,0.7496238998,0.008168948587,0.001591181142,0.5619359911,0.996846984
36322,719.437,272.0582306,170.8914975,1.591993952,0.7780978465,36717,215.0502424,0.7718560075,0.9892420405,0.8818487005,0.7904566678,0.007490177594,0.001803782407,0.6248217437,0.9947124371
36675,742.917,285.8908964,166.8819538,1.713132487,0.8119506999,37613,216.0927123,0.7788277766,0.9750618137,0.8350248381,0.7558572692,0.0077952528,0.001569528272,0.5713202115,0.9787472145
37454,772.679,297.6274753,162.1493177,1.835514817,0.8385619338,38113,218.3756257,0.8016695205,0.9827093118,0.7883332637,0.7337213257,0.007946480356,0.001420623993,0.5383469838,0.9881438654
37789,766.378,313.5680678,154.3409867,2.031657789,0.8704771226,38251,219.3500608,0.7805870567,0.9879218844,0.8085170916,0.6995293312,0.008297866252,0.001225659709,0.4893412853,0.9941740339
47883,873.536,327.9986493,186.5201272,1.758516115,0.822571799,48753,246.9140116,0.7584464543,0.9821549443,0.7885506623,0.7527897207,0.006850002074,0.00135695419,0.5666923636,0.9965376533
49777,861.277,300.7570338,211.6168613,1.42123379,0.7105823885,50590,251.7499649,0.8019106536,0.9839296304,0.843243269,0.8370542883,0.00604208839,0.001829706116,0.7006598815,0.9958014989
49882,891.505,357.1890036,179.8346914,1.986207449,0.8640114945,51042,252.0153467,0.7260210171,0.9772736178,0.7886896753,0.7055518063,0.007160679276,0.001094585314,0.4978033513,0.9887407248
53249,919.923,325.3866286,208.9174205,1.557489212,0.7666552108,54195,260.3818974,0.6966846347,0.9825445152,0.7907120655,0.8002231025,0.00611066177,0.001545654241,0.6403570138,0.9973491406
61129,964.969,369.3481688,210.9473449,1.750902193,0.8208567513,61796,278.9836198,0.7501135067,0.9892064211,0.8249553283,0.7553404711,0.006042110436,0.001213219664,0.5705392272,0.9989583843
61918,960.372,353.1381442,224.0962377,1.575832543,0.7728529173,62627,280.7782864,0.7539207091,0.9886790043,0.8436218213,0.7950947556,0.005703319619,0.00140599258,0.6321756704,0.9962029945
141953,1402.05,524.2311633,346.3974998,1.513380332,0.7505863011,143704,425.1354762,0.7147107987,0.9878152313,0.9074598849,0.8109694843,0.003692991084,0.0009853172185,0.6576715044,0.9953071199
145285,1440.991,524.9567463,353.0769977,1.486805285,0.7400216694,146709,430.0960442,0.7860466375,0.9902937107,0.8792413513,0.8192980608,0.003613289371,0.001004269363,0.6712493125,0.9980170255
146153,1476.383,526.1933264,356.528288,1.475881001,0.7354662103,149267,431.3789276,0.7319360978,0.9791380546,0.8425962592,0.8198107159,0.003600290972,0.001003163512,0.6720896099,0.991924286
Kemudian, salin file ke bucket Cloud Storage Anda:
!gsutil cp batch_examples.csv $BUCKET_NAME
Kita akan mereferensikan file ini pada langkah berikutnya saat menentukan pipeline.
7. Membuat pipeline dengan komponen bawaan
Setelah kode pelatihan berada di cloud, kita siap memanggilnya dari pipeline. Pipeline yang akan kita tentukan akan menggunakan tiga komponen bawaan dari library google_cloud_pipeline_components yang telah kita instal sebelumnya. Komponen standar ini menyederhanakan kode yang perlu kita tulis untuk menyiapkan pipeline, dan akan memungkinkan kita menggunakan layanan Vertex AI seperti pelatihan model dan prediksi batch.
Inilah yang akan dilakukan pipeline tiga langkah kita:
- Membuat set data terkelola di Vertex AI
- Menjalankan tugas pelatihan di Vertx AI menggunakan penampung kustom yang kita siapkan
- Menjalankan tugas prediksi batch pada model klasifikasi Scikit-learn yang telah dilatih
Langkah 1: Menentukan pipeline
Karena kita menggunakan komponen bawaan, kita dapat menyiapkan seluruh pipeline dalam definisi pipeline. Tambahkan kode berikut ke sel notebook:
@pipeline(name="automl-beans-custom",
pipeline_root=PIPELINE_ROOT)
def pipeline(
bq_source: str = "bq://sara-vertex-demos.beans_demo.large_dataset",
bucket: str = BUCKET_NAME,
project: str = PROJECT_ID,
gcp_region: str = REGION,
bq_dest: str = "",
container_uri: str = "",
batch_destination: str = ""
):
dataset_create_op = gcc_aip.TabularDatasetCreateOp(
display_name="tabular-beans-dataset",
bq_source=bq_source,
project=project,
location=gcp_region
)
training_op = gcc_aip.CustomContainerTrainingJobRunOp(
display_name="pipeline-beans-custom-train",
container_uri=container_uri,
project=project,
location=gcp_region,
dataset=dataset_create_op.outputs["dataset"],
staging_bucket=bucket,
training_fraction_split=0.8,
validation_fraction_split=0.1,
test_fraction_split=0.1,
bigquery_destination=bq_dest,
model_serving_container_image_uri="us-docker.pkg.dev/vertex-ai/prediction/sklearn-cpu.0-24:latest",
model_display_name="scikit-beans-model-pipeline",
machine_type="n1-standard-4",
)
batch_predict_op = gcc_aip.ModelBatchPredictOp(
project=project,
location=gcp_region,
job_display_name="beans-batch-predict",
model=training_op.outputs["model"],
gcs_source_uris=["{0}/batch_examples.csv".format(BUCKET_NAME)],
instances_format="csv",
gcs_destination_output_uri_prefix=batch_destination,
machine_type="n1-standard-4"
)
Langkah 2: Mengompilasi dan menjalankan pipeline
Setelah pipeline ditentukan, Anda siap mengompilasi pipeline tersebut. Berikut ini akan menghasilkan file JSON yang akan Anda gunakan untuk menjalankan pipeline:
compiler.Compiler().compile(
pipeline_func=pipeline, package_path="custom_train_pipeline.json"
)
Selanjutnya, buat variabel TIMESTAMP. Kita akan menggunakannya di ID tugas:
from datetime import datetime
TIMESTAMP = datetime.now().strftime("%Y%m%d%H%M%S")
Kemudian, tentukan tugas pipeline Anda, dengan meneruskan beberapa parameter khusus project:
pipeline_job = aiplatform.PipelineJob(
display_name="custom-train-pipeline",
template_path="custom_train_pipeline.json",
job_id="custom-train-pipeline-{0}".format(TIMESTAMP),
parameter_values={
"project": PROJECT_ID,
"bucket": BUCKET_NAME,
"bq_dest": "bq://{0}".format(PROJECT_ID),
"container_uri": "gcr.io/{0}/scikit:v1".format(PROJECT_ID),
"batch_destination": "{0}/batchpredresults".format(BUCKET_NAME)
},
enable_caching=True,
)
Terakhir, jalankan tugas untuk membuat eksekusi pipeline baru:
pipeline_job.submit()
Setelah menjalankan sel ini, Anda akan melihat log dengan link untuk melihat operasi pipeline di konsol:
Buka link tersebut. Anda juga dapat mengaksesnya dengan membuka Dasbor pipeline. Pipeline Anda akan terlihat seperti ini setelah selesai:
Pipeline ini akan memerlukan waktu 5-10 menit untuk dijalankan, tetapi Anda dapat melanjutkan ke langkah berikutnya sebelum pipeline selesai. Selanjutnya, Anda akan mempelajari lebih lanjut apa yang terjadi di setiap langkah pipeline ini.
8. Memahami eksekusi pipeline
Mari kita pelajari lebih lanjut ketiga langkah pipeline.
Langkah 1 Pipeline: Membuat set data terkelola
Langkah pertama dalam pipeline kita adalah membuat set data terkelola di Vertex AI. Jika Anda mengklik link set data berikut di bagian Pipeline di konsol:
Anda akan melihat set data di Vertex AI, yang mencakup link ke sumber data di BigQuery beserta informasi tentang berbagai kolom dalam set data Anda. Setelah Anda mengupload set data terkelola ke Vertex AI, set data tersebut dapat digunakan untuk melatih model AutoML atau kustom.
Untuk tugas model kustom yang menggunakan set data terkelola, Vertex AI meneruskan variabel lingkungan khusus ke tugas pelatihan Anda dan menangani pemisahan data Anda menjadi set pelatihan dan pengujian. Kita akan menggunakannya di langkah pipeline berikutnya.
Langkah 2 Pipeline: Melatih model di Vertex AI Training
Selagi tugas pelatihan kustom sedang berjalan, Anda dapat mengklik untuk melihat log secara langsung di konsol Vertex Pipelines:
Anda juga dapat melihat detail tentang tugas pelatihan kustom di Dasbor pelatihan Vertex AI. Setelah tugas pelatihan selesai, resource Model akan dibuat di Vertex AI. Kemudian, kita dapat men-deploy model ini ke endpoint untuk prediksi online atau membuat tugas prediksi batch, yang akan kita lakukan di langkah pipeline berikutnya.
Langkah 3 Pipeline: Menjalankan tugas prediksi batch pada model
Terakhir, pipeline kita akan mendapatkan prediksi pada contoh yang kita teruskan melalui file CSV. Setelah tugas prediksi batch selesai, Vertex AI akan menulis file CSV ke lokasi yang kita tentukan di Cloud Storage. Saat langkah pipeline ini mulai berjalan, Anda dapat membuka bagian Prediksi Batch di konsol Vertex AI untuk melihat tugas yang dibuat.
Klik tugas tersebut jika sudah selesai untuk melihat URL Cloud Storage dari prediksi batch Anda:
Klik link tersebut untuk membuka direktori Cloud Storage tempat Anda dapat menemukan hasil prediksi, lalu klik untuk mendownload salah satu file prediction.results. Dalam file, Anda akan melihat baris yang terlihat seperti berikut:
{"instance": [33954.0, 716.75, 277.3684803, 156.3563259, 1.773951126, 0.825970469, 34420.0, 207.9220419, 0.7994819873, 0.9864613597, 0.8305492781, 0.7496238998, 0.008168948587, 0.001591181142, 0.5619359911, 0.996846984], "prediction": "HOROZ"}
Ini mencakup nilai fitur untuk instance tertentu, beserta class yang diprediksi model kita. Untuk contoh ini, model kami menganggap ini adalah bean "HOROZ".
Dengan demikian, Anda telah menyelesaikan lab ini.
🎉 Selamat! 🎉
Anda telah mempelajari cara menggunakan Vertex AI untuk:
- Menggunakan Kubeflow Pipelines SDK untuk membuat pipeline menyeluruh dengan komponen kustom
- Menjalankan pipeline di Vertex Pipelines dan memulai operasi pipeline dengan SDK
- Melihat dan menganalisis grafik Vertex Pipelines di konsol
- Menggunakan komponen pipeline bawaan untuk menambahkan layanan Vertex AI ke pipeline Anda
- Menjadwalkan tugas pipeline berulang
Untuk mempelajari lebih lanjut berbagai bagian Vertex, lihat dokumentasinya.
9. Pembersihan
Agar tidak dikenai biaya, sebaiknya hapus resource yang dibuat selama lab ini.
Langkah 1: Hentikan atau hapus instance Notebook
Jika Anda ingin terus menggunakan notebook yang dibuat di lab ini, sebaiknya nonaktifkan notebook saat tidak digunakan. Dari UI Notebook di Cloud Console, pilih notebook, lalu pilih Stop. Jika Anda ingin menghapus instance sepenuhnya, pilih Hapus:
Langkah 2: Hapus bucket Cloud Storage
Untuk menghapus Bucket Penyimpanan menggunakan menu Navigasi di Cloud Console, jelajahi Penyimpanan, pilih bucket Anda, lalu klik Hapus:
