1. 概要
このラボでは、Vertex AI の共同ホスティング モデル機能を使用して、オンライン予測のために同じ VM 上で複数のモデルをホストします。
学習内容
次の方法を学習します。
DeploymentResourcePoolを作成するDeploymentResourcePool内にモデルをデプロイする
このラボを Google Cloud で実行するための総費用は約 $2 です。
2. Vertex AI の概要
このラボでは、Google Cloud で利用できる最新の AI プロダクトを使用します。Vertex AI は Google Cloud 全体の ML サービスを統合してシームレスな開発エクスペリエンスを提供します。以前は、AutoML でトレーニングしたモデルやカスタムモデルには、個別のサービスを介してアクセスする必要がありました。Vertex AI は、これらの個別のサービスを他の新しいプロダクトとともに 1 つの API へと結合します。既存のプロジェクトを Vertex AI に移行することもできます。ご意見やご質問がありましたら、サポートページからお寄せください。
Vertex AI には、エンドツーエンドの ML ワークフローをサポートするさまざまなプロダクトが含まれています。このラボでは、以下でハイライト表示されているプロダクト（Predictions と Workbench）を中心に学習します。
3. ユースケースの概要
モデルを Vertex AI 予測サービスにデプロイする際、各モデルはデフォルトで独自の VM にデプロイされます。ホスティングの費用対効果を高めるため、同一の VM で複数のモデルをホストすることができ、メモリとコンピューティング リソースの使用率が向上します。同じ VM にデプロイするモデルの数は、モデルのサイズとトラフィック パターンによって異なりますが、この機能は特に、トラフィックがスパースなモデルが多数デプロイされている場合に役立ちます。
モデルの共同ホスティングには、モデルをグループ化して VM 内のリソースを共有するデプロイ リソースプールのコンセプトが導入されています。エンドポイントを共有している複数のモデルが VM を共有できるだけでなく、異なるエンドポイントにデプロイされている場合でも VM の共有が可能です。現在、同じリソースプール内のモデルは、Vertex Prediction ビルド済みコンテナのフレームワーク バージョンを含む同じコンテナ イメージを使用する必要があります。また、このリリースでは、Tensorflow モデル フレームワークを使用した Vertex Prediction のビルド済みコンテナのみがサポートされています。他のモデル フレームワークとカスタム コンテナはまだサポートされていません。
4. 環境の設定
この Codelab を実行するには、課金が有効になっている Google Cloud Platform プロジェクトが必要です。プロジェクトを作成するには、こちらの手順を行ってください。
ステップ 1: Compute Engine API を有効にする
まだ有効になっていない場合は、[Compute Engine] に移動して [有効にする] を選択します。
ステップ 2: Vertex AI API を有効にする
Cloud コンソールの [Vertex AI] セクションに移動し、[Vertex AI API を有効にする] をクリックします。
ステップ 3: Vertex AI Workbench インスタンスを作成する
Cloud Console の [Vertex AI] セクションで [ワークベンチ] をクリックします。
Notebooks API をまだ有効にしていない場合は、有効にします。
有効にしたら、[マネージド ノートブック] をクリックします。
[新しいノートブック] を選択します。
ノートブックの名前を指定して、[権限] で [Service account] を選択します。
[詳細設定] を選択します。
まだ有効になっていない場合は、[セキュリティ] で、[Enable terminal] を選択します。
詳細設定のその他の設定はそのままで構いません。
[作成] をクリックします。インスタンスがプロビジョニングされるまでに数分かかります。
インスタンスが作成されたら、[JUPYTERLAB を開く] を選択します。
5. モデルをトレーニングする
共同ホスティング機能を試す前に、まずモデルをトレーニングし、保存したモデル アーティファクトを Cloud Storage バケットに保存する必要があります。Workbench ノートブック エグゼキュータを使用してトレーニング ジョブを起動します。
ステップ 1: Cloud Storage バケットを作成する
使用する既存のバケットがプロジェクトにある場合は、この手順をスキップできます。そうでない場合は、ランチャーから新しいターミナル セッションを開きます。
ターミナルで以下のように実行して、プロジェクトの環境変数を定義します。その際、your-cloud-project は実際のプロジェクト ID で置き換えてください。
PROJECT_ID='your-cloud-project'
次に、次のコマンドを実行して、プロジェクトに新しいバケットを作成します。
BUCKET="gs://${PROJECT_ID}-bucket"
gsutil mb -l us-central1 $BUCKET
ステップ 2: ノートブックの実行を開始する
Workbench インスタンスの Launcher から、新しい TensorFlow 2 ノートブックを開きます。
以下のコードは、IMDB 映画レビュー データセットでバイナリ感情分類器（ポジティブまたはネガティブ）をトレーニングします。コードをノートブックに貼り付けます。
{YOUR_BUCKET} は、前の手順で作成したバケット（またはプロジェクト内の別のバケット）に置き換えてください。保存したモデル アーティファクトを保存する場所です。これは、後でモデルを Vertex AI Model Registry にアップロードするときに必要になります。
import numpy as np
import tensorflow_datasets as tfds
import tensorflow as tf
# REPLACE WITH YOUR BUCKET!
OUTPUT_PATH='gs://{YOUR_BUCKET}/model_output'
BUFFER_SIZE = 10000
BATCH_SIZE = 64
VOCAB_SIZE = 1000
# Load data
dataset, info = tfds.load('imdb_reviews', with_info=True,
as_supervised=True)
train_dataset, test_dataset = dataset['train'], dataset['test']
train_dataset = train_dataset.shuffle(BUFFER_SIZE).batch(BATCH_SIZE).prefetch(tf.data.AUTOTUNE)
test_dataset = test_dataset.batch(BATCH_SIZE).prefetch(tf.data.AUTOTUNE)
# Create text encoder
encoder = tf.keras.layers.TextVectorization(
max_tokens=VOCAB_SIZE)
encoder.adapt(train_dataset.map(lambda text, label: text))
# Create model
model = tf.keras.Sequential([
encoder,
tf.keras.layers.Embedding(
input_dim=len(encoder.get_vocabulary()),
output_dim=64,
# Use masking to handle the variable sequence lengths
mask_zero=True),
tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(64)),
tf.keras.layers.Dense(64, activation='relu'),
tf.keras.layers.Dense(1)
])
# Compile model
model.compile(loss=tf.keras.losses.BinaryCrossentropy(from_logits=True),
optimizer=tf.keras.optimizers.Adam(1e-4),
metrics=['accuracy'])
# Fit model
history = model.fit(train_dataset, epochs=10,
validation_data=test_dataset,
validation_steps=30)
# Save model
model.save(OUTPUT_PATH)
次に、[Execute] ボタンを選択します。
次のように実行を構成し、[送信] をクリックします。
コンソールの [Executions] タブで、トレーニング ジョブのステータスを確認できます。
6. モデルのデプロイ
ステップ 1: モデルをアップロードする
実行が完了したら、Workbench ノートブックに戻ってモデルをアップロードします。新しい TensorFlow ノートブックを作成します。
まず、Vertex AI Python SDK をインポートします。
from google.cloud import aiplatform
次に、{YOUR_BUCKET} をトレーニング コードで指定したバケットに置き換えてモデルをアップロードします。
# replace {YOUR_BUCKET}
model_1 = aiplatform.Model.upload(display_name='text-model-1',
artifact_uri='gs://{YOUR_BUCKET}/model_output',
serving_container_image_uri='us-docker.pkg.dev/vertex-ai/prediction/tf2-cpu.2-8:latest')
デモ用に、このモデルを 2 回アップロードして、Vertex AI に 2 つの異なるモデルリソースを作成します。これは、デプロイ リソースプール内の 1 つのエンドポイントに複数のモデルをデプロイすることをテストするためです。実際のシナリオでは、同じ保存済みアーティファクトからモデルを作成する代わりに、2 つの異なるモデルを使用しますが、これはショートカットなので、別のトレーニング実行を起動する必要はありません。また、同じデプロイ リソースプール内の異なるエンドポイントに 2 つのモデルをデプロイすることもできます。
# replace {YOUR_BUCKET}
model_2 = aiplatform.Model.upload(display_name='text-model-2',
artifact_uri='gs://{YOUR_BUCKET}/model_output',
serving_container_image_uri='us-docker.pkg.dev/vertex-ai/prediction/tf2-cpu.2-8:latest')
Vertex AI Model Registry に両方のモデルが表示されます。モデルはまだデプロイされていないため、デプロイのステータスは空白です。
ステップ 2: エンドポイントを作成する
エンドポイントを作成します。これは、エンドポイントへのモデルのデプロイとは異なります。
endpoint = aiplatform.Endpoint.create('cohost-endpoint')
エンドポイントが作成されると、コンソールに表示されます。
ステップ 3: DeploymentResourcePool を作成する
DeploymentResourcePool は次のコマンドで作成できます。{YOUR_PROJECT} は、プロジェクト ID に置き換えてください。
# replace {YOUR_PROJECT}
PROJECT_ID={YOUR_PROJECT}
REGION="us-central1"
VERTEX_API_URL=REGION + "-aiplatform.googleapis.com"
VERTEX_PREDICTION_API_URL=REGION + "-prediction-aiplatform.googleapis.com"
MULTI_MODEL_API_VERSION="v1beta1"
# Give the pool a name
DEPLOYMENT_RESOURCE_POOL_ID="my-resource-pool"
import json
import pprint
pp = pprint.PrettyPrinter(indent=4)
CREATE_RP_PAYLOAD = {
"deployment_resource_pool":{
"dedicated_resources":{
"machine_spec":{
"machine_type":"n1-standard-4"
},
"min_replica_count":1,
"max_replica_count":2
}
},
"deployment_resource_pool_id":DEPLOYMENT_RESOURCE_POOL_ID
}
CREATE_RP_REQUEST=json.dumps(CREATE_RP_PAYLOAD)
pp.pprint("CREATE_RP_REQUEST: " + CREATE_RP_REQUEST)
!curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://{VERTEX_API_URL}/{MULTI_MODEL_API_VERSION}/projects/{PROJECT_ID}/locations/{REGION}/deploymentResourcePools \
-d '{CREATE_RP_REQUEST}'
次のコマンドを実行し、プールを確認します。
!curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://{VERTEX_API_URL}/{MULTI_MODEL_API_VERSION}/projects/{PROJECT_ID}/locations/{REGION}/deploymentResourcePools/{DEPLOYMENT_RESOURCE_POOL_ID}
ステップ 4: モデルをエンドポイントにデプロイする
リソースプールが作成されたので、リソースプール内にモデルをデプロイできます。
まず、model_1 をデプロイします。MODEL_1_ID と ENDPOINT_ID は、それぞれの ID に置き換えてください。
MODEL_1_ID="{MODEL_1_ID}"
ENDPOINT_ID="{ENDPOINT_ID}"
次のコマンドは、model_1 をリソースプール内のエンドポイントにデプロイします。
MODEL_NAME = "projects/{project_id}/locations/{region}/models/{model_id}".format(project_id=PROJECT_ID, region=REGION, model_id=MODEL_1_ID)
SHARED_RESOURCE = "projects/{project_id}/locations/{region}/deploymentResourcePools/{deployment_resource_pool_id}".format(project_id=PROJECT_ID, region=REGION, deployment_resource_pool_id=DEPLOYMENT_RESOURCE_POOL_ID)
DEPLOY_MODEL_PAYLOAD = {
"deployedModel": {
"model": MODEL_NAME,
"shared_resources": SHARED_RESOURCE
},
"trafficSplit": {
"0": 100
}
}
DEPLOY_MODEL_REQUEST=json.dumps(DEPLOY_MODEL_PAYLOAD)
pp.pprint("DEPLOY_MODEL_REQUEST: " + DEPLOY_MODEL_REQUEST)
!curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://{VERTEX_API_URL}/{MULTI_MODEL_API_VERSION}/projects/{PROJECT_ID}/locations/{REGION}/endpoints/{ENDPOINT_ID}:deployModel \
-d '{DEPLOY_MODEL_REQUEST}'
この処理には数分かかりますが、完了すると、エンドポイントにデプロイされたモデルがコンソールに表示されます。
次に、同じデプロイ プール内に model_2 をデプロイできます。model_1 と同じエンドポイントにデプロイします。ただし、同じリソースプール内の別のエンドポイントに model_2 をデプロイすることもできます。
MODEL_ID を model_2 の ID に更新します。この ID も、model_2.name を実行して取得できます。
MODEL_2_ID="{MODEL_2_ID}"
次に、model_2 をデプロイします。すでにエンドポイントに model_1 をデプロイしているため、トラフィックが 2 つのモデルに分割されるように trafficSplit を更新する必要があります。同じリソースプール内の別のエンドポイントに model_2 をデプロイする場合は、trafficSplit を更新する必要はありません。
トラフィック分割を更新するには、model_1 の DeployedModel ID を定義する必要があります。これはモデル ID とは異なります。
DEPLOYED_MODEL_1_ID = {DEPLOYED_MODEL_1_ID}
次に、以下のコマンドを実行して 2 番目のモデルをデプロイします。
MODEL_NAME = "projects/{project_id}/locations/{region}/models/{model_id}".format(project_id=PROJECT_ID, region=REGION, model_id=MODEL_2_ID)
SHARED_RESOURCE = "projects/{project_id}/locations/{region}/deploymentResourcePools/{deployment_resource_pool_id}".format(project_id=PROJECT_ID, region=REGION, deployment_resource_pool_id=DEPLOYMENT_RESOURCE_POOL_ID)
#`trafficSplit` is a map from a DeployedModel's ID to the percentage of this Endpoint's traffic that should be forwarded to that DeployedModel.
# The traffic percentage values for an endpoint must add up to 100.
# The key for the model being deployed is "0".
DEPLOY_MODEL_PAYLOAD = {
"deployedModel": {
"model": MODEL_NAME,
"shared_resources": SHARED_RESOURCE
},
"trafficSplit": {
"0": 50,
DEPLOYED_MODEL_1_ID: 50
}
}
DEPLOY_MODEL_REQUEST=json.dumps(DEPLOY_MODEL_PAYLOAD)
pp.pprint("DEPLOY_MODEL_REQUEST: " + DEPLOY_MODEL_REQUEST)
!curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://{VERTEX_API_URL}/{MULTI_MODEL_API_VERSION}/projects/{PROJECT_ID}/locations/{REGION}/endpoints/{ENDPOINT_ID}:deployModel \
-d '{DEPLOY_MODEL_REQUEST}'
この例では、2 つのモデルが同じエンドポイントにデプロイされていますが、異なるエンドポイントにデプロイされている同じリソースプールにモデルを共同ホストすることもできます。その場合は、トラフィックの分割を気にする必要はありません。
2 番目のモデルがデプロイされると、両方のモデルがコンソールに表示されます。
ステップ 5: 予測を取得する
最後のステップとして、エンドポイントをテストして予測を取得します。
まず、テスト文を定義します。
x_test=['The movie was cool. The animation and the graphics were out of this world. I would recommend this movie.']
次に、エンドポイントで predict を呼び出します。これにより、エンドポイントにデプロイされたモデルのいずれかからの予測が返されます。
endpoint.predict(instances=x_test)
お疲れさまでした
Vertex AI を使って次のことを行う方法を学びました。
- オンライン予測用に同じ VM でモデルを共同ホストする
Vertex のさまざまな部分の説明については、ドキュメントをご覧ください。
7. クリーンアップ
今後使用する予定がなければ、エンドポイントからモデルのデプロイを解除します。エンドポイント全体を削除することもできます。必要であれば、いつでもエンドポイントにモデルをデプロイできます。
Workbench マネージド ノートブックは、アイドル状態が 180 分続くと自動的にタイムアウトします。インスタンスのシャットダウンを気にする必要はありません。インスタンスを手動でシャットダウンする場合は、コンソールで [Vertex AI] の [ワークベンチ] セクションにある [停止] ボタンをクリックします。ノートブックを完全に削除する場合は、[削除] ボタンをクリックします。
ストレージ バケットを削除するには、Cloud コンソールのナビゲーション メニューで [ストレージ] に移動してバケットを選択し、[削除] をクリックします。
