1. 소개
이 실습에서는 Vertex AI에서 커스텀 예측 루틴을 사용하여 커스텀 전처리 및 후처리 로직을 작성하는 방법을 알아봅니다. 이 샘플에서는 Scikit-learn을 사용하지만 커스텀 예측 루틴은 XGBoost, PyTorch, TensorFlow와 같은 다른 Python ML 프레임워크와도 작동할 수 있습니다.
학습할 내용
- 커스텀 예측 루틴으로 커스텀 예측 로직 작성
- 커스텀 서빙 컨테이너 및 모델을 로컬에서 테스트
- Vertex AI Predictions에서 커스텀 서빙 컨테이너 테스트
2. Vertex AI 소개
이 실습에서는 Google Cloud에서 제공되는 최신 AI 제품을 사용합니다. Vertex AI는 Google Cloud 전반의 ML 제품을 원활한 개발 환경으로 통합합니다. 예전에는 AutoML로 학습된 모델과 커스텀 모델은 별도의 서비스를 통해 액세스할 수 있었습니다. 새 서비스는 다른 새로운 제품과 함께 두 가지 모두를 단일 API로 결합합니다. 기존 프로젝트를 Vertex AI로 이전할 수도 있습니다.
Vertex AI에는 엔드 투 엔드 ML 워크플로를 지원하는 다양한 제품이 포함되어 있습니다. 이 실습에서는 예측 및 Workbench에 중점을 둡니다.
3. 사용 사례 개요
이 실습에서는 컷, 투명도, 크기와 같은 속성을 기반으로 다이아몬드 가격을 예측하는 랜덤 포레스트 회귀 모델을 빌드합니다.
서빙 시 데이터가 모델에서 예상하는 형식인지 확인하는 맞춤 사전 처리 로직을 작성합니다. 예측을 반올림하고 문자열로 변환하는 맞춤 사후 처리 로직도 작성합니다. 이 논리를 작성하려면 커스텀 예측 루틴을 사용합니다.
맞춤 예측 루틴 소개
Vertex AI 사전 빌드된 컨테이너는 머신러닝 프레임워크의 예측 작업을 실행하여 예측 요청을 처리합니다. 커스텀 예측 루틴 이전에는 예측을 수행하기 전에 입력을 사전 처리하거나 결과를 반환하기 전에 모델의 예측을 사후 처리하려면 커스텀 컨테이너를 빌드해야 했습니다.
맞춤 서빙 컨테이너를 빌드하려면 학습된 모델을 래핑하고, HTTP 요청을 모델 입력으로 변환하고, 모델 출력을 응답으로 변환하는 HTTP 서버를 작성해야 합니다.
커스텀 예측 루틴을 사용하면 Vertex AI에서 서빙 관련 구성요소를 제공하므로 모델과 데이터 변환에 집중할 수 있습니다.
빌드할 항목
아래 그림 1에 표시된 대로 사용자 관리 노트북을 배포하고 us-central1에 배포된 온라인 예측 및 모델 엔드포인트에 액세스하는 데 사용되는 워크벤치 서브넷으로 구성된 aiml-vpc라는 VPC 네트워크를 설정합니다.
Figure1
4. 튜토리얼 API 사용 설정
1단계: Compute Engine API 사용 설정
Compute Engine으로 이동하여 아직 사용 설정되지 않은 경우 사용 설정을 선택합니다. 이것은 노트북 인스턴스를 생성하는 데 필요합니다.
2단계: Artifact Registry API 사용 설정
Artifact Registry로 이동하여 아직 사용 설정되지 않은 경우 사용 설정을 선택합니다. 이를 사용하여 커스텀 제공 컨테이너를 만듭니다.
3단계: Vertex AI API 사용 설정
Cloud 콘솔의 Vertex AI 섹션으로 이동하여 Vertex AI API 사용 설정을 클릭합니다.
4단계: Vertex AI Workbench 인스턴스 만들기
Notebooks API를 아직 사용 설정하지 않은 경우 사용 설정합니다.
5. aiml-vpc 만들기
이 튜토리얼에서는 Cloud Shell에서 gcloud 구성 구현을 지원하기 위해 $variables를 사용합니다.
Cloud Shell 내에서 다음을 실행합니다.
gcloud config list project
gcloud config set project [YOUR-PROJECT-NAME]
projectid=YOUR-PROJECT-NAME
echo $projectid
aiml-vpc 만들기
Cloud Shell 내에서 다음을 실행합니다.
gcloud compute networks create aiml-vpc --project=$projectid --subnet-mode=custom
사용자 관리 노트북 서브넷 만들기
Cloud Shell 내에서 workbench-subnet을 만듭니다.
gcloud compute networks subnets create workbench-subnet --project=$projectid --range=172.16.10.0/28 --network=aiml-vpc --region=us-central1 --enable-private-ip-google-access
Cloud Router 및 NAT 구성
사용자 관리 노트북에 외부 IP 주소가 없으므로 튜토리얼에서는 Cloud NAT를 사용하여 소프트웨어 패키지를 다운로드합니다. Cloud NAT는 이그레스 NAT 기능을 제공하므로 인터넷 호스트가 사용자 관리 노트북과의 통신을 시작할 수 없어 보안이 강화됩니다.
Cloud Shell 내에서 리전 Cloud Router us-central1을 만듭니다.
gcloud compute routers create cloud-router-us-central1-aiml-nat --network aiml-vpc --region us-central1
Cloud Shell 내에서 리전 cloud nat 게이트웨이 us-central1을 만듭니다.
gcloud compute routers nats create cloud-nat-us-central1 --router=cloud-router-us-central1-aiml-nat --auto-allocate-nat-external-ips --nat-all-subnet-ip-ranges --region us-central1
6. 사용자 관리 노트북 만들기
사용자 관리형 서비스 계정 만들기 (Notebook)
다음 섹션에서는 튜토리얼에서 사용되는 Vertex Workbench (노트북)와 연결될 사용자 관리 서비스 계정을 만듭니다.
튜토리얼에서 서비스 계정에는 다음 규칙이 적용됩니다.
Cloud Shell 내에서 서비스 계정을 만듭니다.
gcloud iam service-accounts create user-managed-notebook-sa \
--display-name="user-managed-notebook-sa"
Cloud Shell 내에서 스토리지 관리자 역할이 있는 서비스 계정을 업데이트합니다.
gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/storage.admin"
Cloud Shell 내에서 서비스 계정을 Vertex AI 사용자 역할로 업데이트합니다.
gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/aiplatform.user"
Cloud Shell 내에서 Artifact Registry 관리자 역할로 서비스 계정을 업데이트합니다.
gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/artifactregistry.admin"
Cloud Shell 내에서 서비스 계정을 나열하고 사용자 관리 노트북을 만들 때 사용할 이메일 주소를 기록합니다.
gcloud iam service-accounts list
사용자 관리 노트북 만들기
다음 섹션에서 이전에 만든 서비스 계정인 user-managed-notebook-sa를 통합하는 사용자 관리형 노트북을 만듭니다.
Cloud Shell 내에서 private-client 인스턴스를 만듭니다.
gcloud notebooks instances create workbench-tutorial \
--vm-image-project=deeplearning-platform-release \
--vm-image-family=common-cpu-notebooks \
--machine-type=n1-standard-4 \
--location=us-central1-a \
--shielded-secure-boot \
--subnet-region=us-central1 \
--subnet=workbench-subnet \
--no-public-ip --service-account=user-managed-notebook-sa@$projectid.iam.gserviceaccount.com
7. 학습 코드 작성
1단계: Cloud Storage 버킷 만들기
모델과 전처리 아티팩트를 Cloud Storage 버킷에 저장합니다. 사용할 버킷이 프로젝트에 이미 있는 경우 이 단계를 건너뛸 수 있습니다.
런처에서 새 터미널 세션을 엽니다.
터미널에서 다음을 실행하여 프로젝트의 env 변수를 정의하고 your-cloud-project를 프로젝트의 ID로 바꿉니다.
PROJECT_ID='your-cloud-project'
다음으로, 터미널에서 다음을 실행하여 프로젝트에 새 버킷을 만듭니다.
BUCKET="gs://${PROJECT_ID}-cpr-bucket"
gsutil mb -l us-central1 $BUCKET
2단계: 모델 학습
터미널에서 cpr-codelab이라는 새 디렉터리를 만들고 여기로 cd합니다.
mkdir cpr-codelab
cd cpr-codelab
파일 브라우저에서 새 cpr-codelab 디렉터리로 이동한 다음 런처를 사용하여 task.ipynb라는 새 Python 3 노트북을 만듭니다.
이제 cpr-codelab 디렉터리가 다음과 같이 표시됩니다.
+ cpr-codelab/
+ task.ipynb
노트북에 다음 코드를 붙여넣습니다.
먼저 requirements.txt 파일을 작성합니다.
%%writefile requirements.txt
fastapi
uvicorn==0.17.6
joblib~=1.1.1
numpy>=1.17.3, <1.24.0
scikit-learn~=1.0.0
pandas
google-cloud-storage>=2.2.1,<3.0.0dev
google-cloud-aiplatform[prediction]>=1.18.2
배포하는 모델에는 노트북 환경과 다른 종속 항목이 사전 설치되어 있습니다. 따라서 requirements.txt에 모델의 모든 종속 항목을 나열한 다음 pip를 사용하여 노트북에 정확히 동일한 종속 항목을 설치해야 합니다. 나중에 Vertex AI에 배포하기 전에 로컬에서 모델을 테스트하여 환경이 일치하는지 다시 확인합니다.
Pip이 노트북에 종속 항목을 설치합니다.
!pip install -U --user -r requirements.txt
pip 설치가 완료된 후 커널을 다시 시작해야 합니다.
다음으로 모델과 전처리 아티팩트를 저장할 디렉터리를 만듭니다.
USER_SRC_DIR = "src_dir"
!mkdir $USER_SRC_DIR
!mkdir model_artifacts
# copy the requirements to the source dir
!cp requirements.txt $USER_SRC_DIR/requirements.txt
이제 cpr-codelab 디렉터리가 다음과 같이 표시됩니다.
+ cpr-codelab/
+ model_artifacts/
+ scr_dir/
+ requirements.txt
+ task.ipynb
+ requirements.txt
이제 디렉터리 구조가 설정되었으므로 모델을 학습시킬 차례입니다.
먼저 라이브러리를 가져옵니다.
import seaborn as sns
import numpy as np
import pandas as pd
from sklearn import preprocessing
from sklearn.ensemble import RandomForestRegressor
from sklearn.pipeline import make_pipeline
from sklearn.compose import make_column_transformer
import joblib
import logging
# set logging to see the docker container logs
logging.basicConfig(level=logging.INFO)
그런 다음 다음 변수를 정의합니다. PROJECT_ID를 프로젝트 ID로 바꾸고 BUCKET_NAME을 이전 단계에서 만든 버킷으로 바꿔야 합니다.
REGION = "us-central1"
MODEL_ARTIFACT_DIR = "sklearn-model-artifacts"
REPOSITORY = "diamonds"
IMAGE = "sklearn-image"
MODEL_DISPLAY_NAME = "diamonds-cpr"
# Replace with your project
PROJECT_ID = "{PROJECT_ID}"
# Replace with your bucket
BUCKET_NAME = "gs://{BUCKET_NAME}"
seaborn 라이브러리에서 데이터를 로드한 후 데이터 프레임을 특성 및 라벨에 대해 각각 하나씩 총 두 개를 만듭니다.
data = sns.load_dataset('diamonds', cache=True, data_home=None)
label = 'price'
y_train = data['price']
x_train = data.drop(columns=['price'])
학습 데이터를 살펴보겠습니다. 각 행이 다이아몬드를 나타내는 것을 확인할 수 있습니다.
x_train.head()
해당 가격인 라벨을 확인합니다.
y_train.head()
이제 sklearn 열 변환을 정의하여 범주형 특성을 원-핫 인코딩하고 숫자 특성을 확장합니다.
column_transform = make_column_transformer(
(preprocessing.OneHotEncoder(sparse=False), [1,2,3]),
(preprocessing.StandardScaler(), [0,4,5,6,7,8]))
랜덤 포레스트 모델 정의
regr = RandomForestRegressor(max_depth=10, random_state=0)
그런 다음 sklearn 파이프라인을 만듭니다. 즉, 이 파이프라인에 제공된 데이터는 먼저 인코딩/스케일링된 후 모델에 전달됩니다.
my_pipeline = make_pipeline(column_transform, regr)
학습 데이터에 파이프라인 적합
my_pipeline.fit(x_train, y_train)
모델이 예상대로 작동하는지 확인해 보겠습니다. 테스트 샘플을 전달하여 모델에서 예측 메서드를 호출합니다.
my_pipeline.predict([[0.23, 'Ideal', 'E', 'SI2', 61.5, 55.0, 3.95, 3.98, 2.43]])
이제 파이프라인을 model_artifacts 디렉터리에 저장하고 Cloud Storage 버킷에 복사할 수 있습니다.
joblib.dump(my_pipeline, 'model_artifacts/model.joblib')
!gsutil cp model_artifacts/model.joblib {BUCKET_NAME}/{MODEL_ARTIFACT_DIR}/
3단계: 전처리 아티팩트 저장하기
다음으로 전처리 아티팩트를 만듭니다. 이 아티팩트는 모델 서버가 시작될 때 맞춤 컨테이너에 로드됩니다. 전처리 아티팩트는 거의 모든 형식 (피클 파일 등)일 수 있지만 이 경우에는 사전을 JSON 파일에 씁니다.
clarity_dict={"Flawless": "FL",
"Internally Flawless": "IF",
"Very Very Slightly Included": "VVS1",
"Very Slightly Included": "VS2",
"Slightly Included": "S12",
"Included": "I3"}
학습 데이터의 선명도 기능은 항상 축약된 형태 (즉, 'Flawless' 대신 'FL')였습니다. 서빙 시점에 이 특성의 데이터도 축약되어 있는지 확인해야 합니다. 모델이 'Flawless'가 아닌 'FL'을 원-핫 인코딩하는 방법을 알고 있기 때문입니다. 이 맞춤 전처리 로직은 나중에 작성합니다. 지금은 이 조회 테이블을 json 파일에 저장한 다음 Cloud Storage 버킷에 이를 씁니다.
import json
with open("model_artifacts/preprocessor.json", "w") as f:
json.dump(clarity_dict, f)
!gsutil cp model_artifacts/preprocessor.json {BUCKET_NAME}/{MODEL_ARTIFACT_DIR}/
이제 로컬 cpr-codelab 디렉터리가 다음과 같이 표시됩니다.
+ cpr-codelab/
+ model_artifacts/
+ model.joblib
+ preprocessor.json
+ scr_dir/
+ requirements.txt
+ task.ipynb
+ requirements.txt
8. CPR 모델 서버를 사용하여 커스텀 서빙 컨테이너 빌드
이제 모델이 학습되고 전처리 아티팩트가 저장되었으므로 커스텀 제공 컨테이너를 빌드할 차례입니다. 일반적으로 서빙 컨테이너를 빌드하려면 모델 서버 코드를 작성해야 합니다. 하지만 커스텀 예측 루틴을 사용하면 Vertex AI Predictions에서 모델 서버를 생성하고 커스텀 컨테이너 이미지를 빌드합니다.
맞춤 서빙 컨테이너에는 다음 3개의 코드가 포함됩니다.
- 모델 서버 (SDK에 의해 자동으로 생성되고 scr_dir/에 저장됨)
- 모델을 호스팅하는 HTTP 서버
- 경로/포트 등을 설정하는 일을 담당합니다.
- 요청 본문 역직렬화, 응답 직렬화, 응답 헤더 설정 등 요청 처리의 웹 서버 측면을 담당합니다.
- 이 예에서는 SDK에 제공된 기본 핸들러인 google.cloud.aiplatform.prediction.handler.PredictionHandler를 사용합니다.
- 예측 요청을 처리하는 ML 로직을 담당합니다.
이러한 각 구성요소는 사용 사례의 요구사항에 따라 맞춤설정할 수 있습니다. 이 예에서는 예측기만 구현합니다.
예측기는 맞춤 전처리 및 후처리와 같은 예측 요청을 처리하는 ML 로직을 담당합니다. 커스텀 예측 로직을 작성하려면 Vertex AI 예측자 인터페이스를 서브클래스화합니다.
이번 맞춤 예측 루틴 출시에는 재사용 가능한 XGBoost 및 Sklearn 예측기가 포함되어 있지만 다른 프레임워크를 사용해야 하는 경우 기본 예측기를 서브클래싱하여 직접 만들 수 있습니다.
아래에서 Sklearn 예측기의 예를 확인할 수 있습니다. 이 커스텀 모델 서버를 빌드하기 위해 작성해야 하는 코드는 이게 전부입니다.
노트북에서 다음 코드를 아래에 붙여넣어 SklearnPredictor를 서브클래스로 만들고 src_dir/의 Python 파일에 씁니다. 이 예시에서는 예측 메서드가 아닌 로드, 사전 처리, 후 처리 메서드만 맞춤설정합니다.
%%writefile $USER_SRC_DIR/predictor.py
import joblib
import numpy as np
import json
from google.cloud import storage
from google.cloud.aiplatform.prediction.sklearn.predictor import SklearnPredictor
class CprPredictor(SklearnPredictor):
def __init__(self):
return
def load(self, artifacts_uri: str) -> None:
"""Loads the sklearn pipeline and preprocessing artifact."""
super().load(artifacts_uri)
# open preprocessing artifact
with open("preprocessor.json", "rb") as f:
self._preprocessor = json.load(f)
def preprocess(self, prediction_input: np.ndarray) -> np.ndarray:
"""Performs preprocessing by checking if clarity feature is in abbreviated form."""
inputs = super().preprocess(prediction_input)
for sample in inputs:
if sample[3] not in self._preprocessor.values():
sample[3] = self._preprocessor[sample[3]]
return inputs
def postprocess(self, prediction_results: np.ndarray) -> dict:
"""Performs postprocessing by rounding predictions and converting to str."""
return {"predictions": [f"${value}" for value in np.round(prediction_results)]}
각 방법을 자세히 살펴보겠습니다.
- load 메서드는 전처리 아티팩트를 로드합니다. 이 경우 다이아몬드 투명도 값을 약어에 매핑하는 사전입니다.
- 전처리 메서드는 이 아티팩트를 사용하여 서비스 제공 시 선명도 기능이 약식 형식으로 되어 있는지 확인합니다. 그렇지 않으면 전체 문자열을 약어로 변환합니다.
- 후처리 메서드는 예측 값을 $ 기호가 있는 문자열로 반환하고 값을 반올림합니다.
그런 다음 Vertex AI Python SDK를 사용하여 이미지를 빌드합니다. 커스텀 예측 루틴을 사용하면 Dockerfile이 생성되고 이미지가 빌드됩니다.
from google.cloud import aiplatform
aiplatform.init(project=PROJECT_ID, location=REGION)
import os
from google.cloud.aiplatform.prediction import LocalModel
from src_dir.predictor import CprPredictor # Should be path of variable $USER_SRC_DIR
local_model = LocalModel.build_cpr_model(
USER_SRC_DIR,
f"{REGION}-docker.pkg.dev/{PROJECT_ID}/{REPOSITORY}/{IMAGE}",
predictor=CprPredictor,
requirements_path=os.path.join(USER_SRC_DIR, "requirements.txt"),
)
예측을 위한 샘플 2개가 포함된 테스트 파일을 작성합니다. 인스턴스 중 하나는 축약된 명확성 이름을 갖지만 다른 인스턴스는 먼저 변환해야 합니다.
import json
sample = {"instances": [
[0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43],
[0.29, 'Premium', 'J', 'Internally Flawless', 52.5, 49.0, 4.00, 2.13, 3.11]]}
with open('instances.json', 'w') as fp:
json.dump(sample, fp)
로컬 모델을 배포하여 컨테이너를 로컬에서 테스트합니다.
with local_model.deploy_to_local_endpoint(
artifact_uri = 'model_artifacts/', # local path to artifacts
) as local_endpoint:
predict_response = local_endpoint.predict(
request_file='instances.json',
headers={"Content-Type": "application/json"},
)
health_check_response = local_endpoint.run_health_check()
다음 명령어를 사용하여 예측 결과를 확인할 수 있습니다.
predict_response.content
9. Vertex AI에 모델 배포
컨테이너를 로컬에서 테스트했으므로 이제 이미지를 Artifact Registry로 내보내고 모델을 Vertex AI Model Registry에 업로드할 차례입니다.
먼저 Artifact Registry에 액세스하도록 Docker를 구성합니다.
!gcloud artifacts repositories create {REPOSITORY} --repository-format=docker \
--location=us-central1 --description="Docker repository"
!gcloud auth configure-docker {REGION}-docker.pkg.dev --quiet
그런 다음 이미지를 푸시합니다.
local_model.push_image()
모델을 업로드합니다.
model = aiplatform.Model.upload(local_model = local_model,
display_name=MODEL_DISPLAY_NAME,
artifact_uri=f"{BUCKET_NAME}/{MODEL_ARTIFACT_DIR}",)
모델이 업로드되면 콘솔에 표시됩니다.
다음으로 온라인 예측에 사용할 수 있도록 모델을 배포합니다. 커스텀 예측 루틴은 일괄 예측에도 사용할 수 있으므로 사용 사례에 온라인 예측이 필요하지 않은 경우 모델을 배포하지 않아도 됩니다.
그런 다음 이미지를 푸시합니다.
endpoint = model.deploy(machine_type="n1-standard-2")
마지막으로 예측을 가져와서 배포된 모델을 테스트합니다.
endpoint.predict(instances=[[0.23, 'Ideal', 'E', 'VS2', 61.5, 55.0, 3.95, 3.98, 2.43]])
🎉 수고하셨습니다. 🎉
Vertex AI를 사용하여 다음을 수행하는 방법을 배웠습니다.
- 커스텀 예측 루틴으로 맞춤 전처리 및 사후 처리 로직 작성
Cosmopup은 Codelab이 멋지다고 생각합니다.
