1. 소개
Eventarc를 사용하면 Cloud Run 서비스를 다양한 소스의 이벤트와 쉽게 연결할 수 있습니다. 마이크로서비스를 느슨하게 결합하고 배포하는 이벤트 기반 아키텍처를 빌드할 수 있습니다. 이벤트 수집, 전송, 보안, 승인, 오류 처리를 자동으로 처리합니다.
워크플로는 워크플로를 정의하는 순서대로 서비스를 실행하는 완전 관리형 조정 플랫폼입니다. 이러한 워크플로는 Cloud Run 또는 Cloud Functions에서 호스팅되는 서비스, Cloud Vision AI 및 BigQuery와 같은 Google Cloud 서비스, 모든 HTTP 기반 API를 결합할 수 있습니다.
이 Codelab에서는 이미지 처리를 위한 이벤트 기반 마이크로서비스 조정을 빌드합니다. Workflows를 사용하여 4가지 이미지 처리 Cloud Functions의 순서, 입력, 출력을 조정합니다. 그런 다음 Eventarc를 사용하여 느슨하게 결합된 방식으로 Cloud Storage 이벤트에 응답하도록 조정을 사용 설정합니다.
결국에는 이미지를 처리하기 위한 유연하고 구조화된 서버리스 아키텍처가 생성됩니다.
실습 내용
- Eventarc 및 Workflows 개요
- Cloud Functions 서비스 배포 방법
- Workflows를 사용하여 서비스를 조정하는 방법
- Eventarc로 Workflows에서 Cloud Storage 이벤트에 응답하도록 하는 방법
2 설정 및 요구사항
크레딧 사용
https://gcpcredits.com/io2022로 이동하여 '여기를 클릭하여 크레딧을 확인하세요.' 버튼을 클릭합니다.
다음 대화상자에서 '동의 및 계속' 버튼을 클릭하여 서비스 약관에 동의합니다.
서비스 약관에 동의하면 오른쪽 하단에 다음과 같은 패널이 포함된 결제 요약 페이지로 리디렉션됩니다.
마지막으로 첫 번째 프로젝트를 만들 때 프로젝트에 결제 계정을 할당할 수 있는 대화상자가 표시됩니다. 무료 크레딧과 연결된 결제 계정을 선택하고 만들기 버튼을 클릭합니다.
요약하자면, 이제 결제 계정과 프로젝트가 있고 이 두 항목은 연결되어 있어 오늘날의 Codelab에서 여러분이 하는 모든 작업이 무료 크레딧으로부터 지원받을 수 있습니다**.**
자습형 환경 설정
- Google Cloud Console에 로그인하여 새 프로젝트를 만들거나 기존 프로젝트를 재사용합니다. 아직 Gmail 또는 Google Workspace 계정이 없다면 계정을 만들어야 합니다.
- 프로젝트 이름은 이 프로젝트 참가자의 표시 이름입니다. 이는 Google API에서 사용하지 않는 문자열이며 언제든지 업데이트할 수 있습니다.
- 프로젝트 ID는 모든 Google Cloud 프로젝트에서 고유해야 하며, 변경할 수 없습니다 (설정된 후에는 변경할 수 없음). Cloud Console은 고유한 문자열을 자동으로 생성합니다. 일반적으로 별 상관없음 대부분의 Codelab에서는 프로젝트 ID를 참조해야 하며, 일반적으로 프로젝트 ID가
PROJECT_ID로 식별되므로 마음에 들지 않는 경우 다른 임의 ID를 생성하거나 직접 시도하여 다음을 확인할 수 있습니다. 있습니다. 프로젝트가 생성된 후 '고정'됩니다. - 세 번째 값은 API Number(일부 API에서 사용)입니다. 이 세 가지 값에 대한 자세한 내용은 문서를 참조하세요.
- 다음으로 Cloud 리소스/API를 사용하려면 Cloud Console에서 결제를 사용 설정해야 합니다. 이 Codelab 실행에는 많은 비용이 들지 않습니다. 이 튜토리얼 외에는 비용이 청구되지 않도록 리소스를 종료하려면 Codelab의 끝에 있는 'clean-up' 안내를 따르세요. Google Cloud 신규 사용자는 $300 USD 무료 체험 프로그램을 이용할 수 있습니다.
Cloud Shell 시작
노트북에서 원격으로 작동할 수 있는 상태이지만, 이 Codelab에서는 Cloud에서 실행되는 명령줄 환경인 Google Cloud Shell을 사용합니다.
Google Cloud Console의 오른쪽 상단에 있는 Cloud Shell 아이콘을 클릭합니다.
환경을 프로비저닝하고 연결하는 데는 몇 분 밖에 걸리지 않습니다. 완료되면 다음과 같이 표시됩니다.
가상 머신은 필요한 모든 개발 도구와 함께 로드됩니다. 5GB의 영구적인 홈 디렉터리를 제공하고 Google Cloud에서 실행되므로 네트워크 성능과 인증이 크게 향상됩니다. 이 실습의 모든 작업은 간단히 브라우저만으로 수행할 수 있습니다.
gcloud 설정
Cloud Shell에서 프로젝트 ID와 애플리케이션을 배포할 리전을 설정합니다. 이러한 변수를 PROJECT_ID 및 REGION 변수로 저장합니다. 사용 가능한 리전은 Cloud Functions 위치를 참조하세요.
PROJECT_ID=[YOUR-PROJECT-ID] REGION=[YOUR-REGION] gcloud config set core/project $PROJECT_ID gcloud config set functions/region $REGION
서비스 사용 설정
필요한 모든 서비스를 사용 설정합니다.
gcloud services enable \ artifactregistry.googleapis.com \ cloudbuild.googleapis.com \ cloudfunctions.googleapis.com \ eventarc.googleapis.com \ vision.googleapis.com \ workflows.googleapis.com \ workflowexecutions.googleapis.com
소스 코드 가져오기
애플리케이션의 소스 코드는 eventarc-samples 저장소의 processing-pipelines 폴더에 있습니다.
저장소를 클론합니다.
git clone https://github.com/GoogleCloudPlatform/eventarc-samples.git
eventarc-samples/processing-pipelines 폴더로 이동합니다.
cd eventarc-samples/processing-pipelines
3. 아키텍처 개요
애플리케이션 아키텍처는 다음과 같습니다.
- 이미지는 Cloud Storage 생성 이벤트를 생성하는 입력 버킷에 저장됩니다.
- Cloud Storage 생성 이벤트는 Eventarc에서 Cloud Storage 트리거를 통해 읽히고 CloudEvent로 Workflows에 전달됩니다.
- 워크플로의 첫 번째 단계에서 Cloud 함수 서비스인 필터는 Vision API를 사용하여 이미지가 안전한지 확인합니다. 이미지가 안전하다면 워크플로가 다음 단계를 진행합니다.
- 워크플로의 두 번째 단계에서 Cloud 함수 서비스인 Labeler는 Vision API를 사용하여 이미지 라벨을 추출하고 출력 버킷에 라벨을 저장합니다.
- 세 번째 단계인 다른 Cloud 함수 서비스인 Resizer는 ImageSharp를 사용하여 이미지 크기를 조절하고 크기가 조절된 이미지를 출력 버킷에 저장합니다.
- 마지막 단계에서 다른 Cloud 함수 서비스인 WaterMarker는 ImageSharp를 사용하여 라벨러에서 크기가 조절된 이미지에 워터마크를 추가하고 이미지를 출력 버킷에 저장합니다.
애플리케이션은 Cloud Storage 이벤트에 의해 트리거되므로 이벤트 기반입니다. 이미지 처리는 워크플로에서 발생하므로 조정입니다. 결국에는 이미지를 처리하는 유연하고 구조화된 서버리스 아키텍처의 이벤트 기반 조정이 필요합니다.
4. 버킷 만들기
사용자가 이미지를 업로드할 입력 버킷과 처리된 이미지를 저장할 이미지 처리 파이프라인의 출력 버킷을 만듭니다.
Cloud Shell에서 다음 명령어를 실행해 보세요.
BUCKET1=$PROJECT_ID-images-input BUCKET2=$PROJECT_ID-images-output gsutil mb -l $REGION gs://$BUCKET1 gsutil mb -l $REGION gs://$BUCKET2
5 필터 서비스 배포
첫 번째 서비스 배포를 시작해 보겠습니다. Cloud Functions 서비스는 버킷 및 파일 정보를 수신하여 Vision API에 이미지가 안전한지 확인하며 결과를 반환합니다.
최상위 processing-pipelines 폴더 내에 서비스를 배포합니다.
SERVICE_NAME=filter gcloud functions deploy $SERVICE_NAME \ --allow-unauthenticated \ --runtime dotnet3 \ --trigger-http \ --region=$REGION \ --entry-point Filter.Function \ --set-build-env-vars GOOGLE_BUILDABLE=image-v3/filter/csharp
함수가 배포되면 변수에 서비스 URL을 설정합니다. 나중에 이 함수가 필요합니다.
FILTER_URL=$(gcloud functions describe $SERVICE_NAME --format 'value(httpsTrigger.url)')
6. 라벨러 서비스 배포
두 번째 Cloud Functions 서비스는 버킷 및 파일 정보를 수신하고 Vision API를 사용하여 이미지의 라벨을 추출하며 라벨을 출력 버킷에 저장합니다.
최상위 processing-pipelines 폴더 내에 서비스를 배포합니다.
SERVICE_NAME=labeler gcloud functions deploy $SERVICE_NAME \ --allow-unauthenticated \ --runtime dotnet3 \ --trigger-http \ --region=$REGION \ --set-env-vars BUCKET=$BUCKET2 \ --entry-point Labeler.Function \ --set-build-env-vars GOOGLE_BUILDABLE=image-v2/labeler/csharp
함수가 배포되면 변수에 서비스 URL을 설정합니다. 나중에 이 함수가 필요합니다.
LABELER_URL=$(gcloud functions describe $SERVICE_NAME --format 'value(httpsTrigger.url)')
7 크기 조절 서비스 배포
이 Cloud Functions 서비스는 버킷과 파일 정보를 수신하고 ImageSharp를 사용하여 이미지 크기를 조절하며 이미지를 출력 버킷에 저장합니다.
최상위 processing-pipelines 폴더 내에 서비스를 배포합니다.
SERVICE_NAME=resizer gcloud functions deploy $SERVICE_NAME \ --allow-unauthenticated \ --runtime dotnet3 \ --trigger-http \ --region=$REGION \ --set-env-vars BUCKET=$BUCKET2 \ --entry-point Resizer.Function \ --set-build-env-vars GOOGLE_BUILDABLE=image-v2/resizer/csharp
함수가 배포되면 변수에 서비스 URL을 설정합니다. 나중에 이 함수가 필요합니다.
RESIZER_URL=$(gcloud functions describe $SERVICE_NAME --format 'value(httpsTrigger.url)')
8 워터마크 서비스 배포
이 Cloud Functions 서비스는 버킷, 파일, 라벨 정보를 수신하여 파일을 읽고 ImageSharp를 사용하여 이미지에 워터마크를 추가하고 이미지를 출력 버킷에 저장합니다.
최상위 processing-pipelines 폴더 내에 서비스를 배포합니다.
SERVICE_NAME=watermarker gcloud functions deploy $SERVICE_NAME \ --allow-unauthenticated \ --runtime dotnet3 \ --trigger-http \ --region=$REGION \ --set-env-vars BUCKET=$BUCKET2 \ --entry-point Watermarker.Function \ --set-build-env-vars GOOGLE_BUILDABLE=image-v2/watermarker/csharp
함수가 배포되면 변수에 서비스 URL을 설정합니다. 나중에 이 함수가 필요합니다.
WATERMARKER_URL=$(gcloud functions describe $SERVICE_NAME --format 'value(httpsTrigger.url)')
이제 4개의 Cloud Functions가 모두 배포되고 실행됩니다.
9. 워크플로 정의 및 배포
Workflows를 사용해 필터, 라벨러, 크기 조정기, 워터마크 서비스를 워크플로에 통합하세요. Workflows는 정의된 순서대로 매개변수를 사용하여 이러한 서비스에 대한 호출을 조정합니다.
정의
Workflows는 매개변수로 CloudEvent를 수신합니다. 트리거를 만들면 Eventarc에서 가져옵니다. 처음 두 단계에서 Workflows는 이벤트를 기록하고 이벤트에서 버킷과 파일 정보를 추출합니다.
main:
params: [event]
steps:
- log_event:
call: sys.log
args:
text: ${event}
severity: INFO
- extract_bucket_and_file:
assign:
- bucket: ${event.data.bucket}
- file: ${event.data.name}
filter 단계에서 Workflows는 앞서 배포한 필터 서비스를 호출합니다. 그런 다음 로그 파일 안전성을 기록하고 확인합니다.
- filter:
call: http.post
args:
url: FILTER_URL # TODO: Replace
auth:
type: OIDC
body:
bucket: ${bucket}
file: ${file}
result: filterResponse
- log_safety:
call: sys.log
args:
text: ${filterResponse.body.safe}
severity: INFO
- check_safety:
switch:
- condition: ${filterResponse.body.safe == true}
next: label
next: end
label 단계에서 Workflows는 라벨러 서비스를 호출하고 응답 (상위 3개 라벨)을 캡처합니다.
- label:
call: http.post
args:
url: LABELER_URL # TODO: Replace
auth:
type: OIDC
body:
bucket: ${bucket}
file: ${file}
result: labelResponse
resize 단계에서 Workflows는 다음과 같이 크기 조정 서비스를 호출하고 응답을 캡처합니다 (크기가 조절된 이미지의 버킷과 파일).
- resize:
call: http.post
args:
url: RESIZER_URL # TODO: Replace
auth:
type: OIDC
body:
bucket: ${bucket}
file: ${file}
result: resizeResponse
watermark 단계에서 Workflows는 크기가 조절된 이미지와 라벨이 있는 워터마크 서비스를 호출하고 결과 (크기 조절된 워터마크 이미지와 워터마크 이미지)를 캡처합니다.
- watermark:
call: http.post
args:
url: WATERMARKER_URL # TODO: Replace
auth:
type: OIDC
body:
bucket: ${resizeResponse.body.bucket}
file: ${resizeResponse.body.file}
labels: ${labelResponse.body.labels}
result: watermarkResponse
final 단계에서 Workflows는 라벨러, 크기 조절, 워터마크 서비스에서 HTTP 상태 코드를 반환합니다.
- final:
return:
label: ${labelResponse.code}
resize: ${resizeResponse.code}
watermark: ${watermarkResponse.code}
배포
워크플로를 배포하기 전에 서비스 URL이 수동으로 또는 sed을 사용하여 배포된 함수의 URL로 대체되었는지 확인합니다.
최상위 processing-pipelines 폴더 내에서 workflows.yaml 파일이 있는 image-v3 폴더로 이동합니다.
cd image-v3/
sed를 실행하여 자리표시자 URL을 배포된 서비스의 실제 URL로 바꿉니다.
sed -i -e "s|FILTER_URL|${FILTER_URL}|" workflow.yaml
sed -i -e "s|LABELER_URL|${LABELER_URL}|" workflow.yaml
sed -i -e "s|RESIZER_URL|${RESIZER_URL}|" workflow.yaml
sed -i -e "s|WATERMARKER_URL|${WATERMARKER_URL}|" workflow.yaml
워크플로를 배포합니다.
WORKFLOW_NAME=image-processing
gcloud workflows deploy $WORKFLOW_NAME \
--source=workflow.yaml \
--location=$REGION
몇 초 안에 콘솔에 배포된 워크플로가 표시됩니다.
10. 트리거 만들기
이제 워크플로가 배포되었으므로 마지막 단계는 Eventarc 트리거로 Cloud Storage 이벤트에 연결하는 것입니다.
1회 설정
기본 컴퓨팅 서비스 계정이 트리거에 사용됩니다. eventarc.eventReceiver 역할이 있는지 확인합니다.
PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)')
gcloud projects add-iam-policy-binding $PROJECT_ID \
--member serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \
--role roles/eventarc.eventReceiver
Cloud Storage 서비스 계정에 pubsub.publisher 역할을 부여합니다. Eventarc의 Cloud Storage 트리거에 필요합니다.
SERVICE_ACCOUNT="$(gsutil kms serviceaccount -p $PROJECT_NUMBER)"
gcloud projects add-iam-policy-binding $PROJECT_NUMBER \
--member serviceAccount:$SERVICE_ACCOUNT \
--role roles/pubsub.publisher
생성
다음 명령어를 실행하여 트리거를 만듭니다. 이 트리거는 입력 Cloud Storage 버킷에서 새 파일 생성 이벤트를 필터링하고 앞서 정의한 워크플로에 전달합니다.
TRIGGER_NAME=trigger-$WORKFLOW_NAME gcloud eventarc triggers create $TRIGGER_NAME \ --location=$REGION \ --destination-workflow=$WORKFLOW_NAME \ --destination-workflow-location=$REGION \ --event-filters="type=google.cloud.storage.object.v1.finalized" \ --event-filters="bucket=$BUCKET1" \ --service-account=$PROJECT_NUMBER-compute@developer.gserviceaccount.com
Cloud Console의 Eventarc 섹션에서 트리거가 생성되고 준비되었음을 확인할 수 있습니다.
1일 파이프라인 테스트
이미지 처리 파이프라인이 Cloud Storage의 이벤트를 수신할 준비가 되었습니다. 파이프라인을 테스트하려면 입력 버킷에 이미지를 업로드합니다.
gsutil cp beach.jpg gs://$BUCKET1
사진을 업로드하자마자 활성 상태의 Workflows 실행이 표시됩니다.
약 1분 후에 실행이 성공적으로 표시됩니다. 워크플로의 입력과 출력도 확인할 수 있습니다.
출력 버킷의 콘텐츠를 나열하면 크기가 조절된 이미지, 크기가 조정된 워터마크 이미지와 워터마크 이미지가 표시됩니다.
gsutil ls gs://$BUCKET2 gs://$PROJECT_ID-images-output/beach-400x400-watermark.jpeg gs://$PROJECT_ID-images-output/beach-400x400.png gs://$PROJECT_ID-images-output/beach-labels.txt
올바르게 워터마크가 표시된 이미지를 열어서 결과를 다시 확인할 수 있습니다.
12. 축하합니다
축하합니다. Codelab을 완료했습니다.
학습한 내용
- Eventarc 및 Workflows 개요
- Cloud Functions 서비스 배포 방법
- Workflows를 사용하여 서비스를 조정하는 방법
- Eventarc로 Workflows에서 Cloud Storage 이벤트에 응답하도록 하는 방법