PaLM Text Bison 모델을 래핑하는 Cloud 함수

1. 소개

이 Codelab에서는 Vertex AI 모듈을 초기화한 후 PaLM Text Bison 모델을 호출하는 엔드포인트를 제공하는 Cloud 함수를 호출하는 방법을 보여줍니다. 이 Cloud 함수는 Python으로 작성됩니다. 사용된 서비스 목록은 다음과 같습니다.

  • Cloud Functions
  • Vertex AI PaLM API

빌드할 항목

PaLM Text Bison 모델을 호출하는 엔드포인트를 제공하는 Cloud 함수를 만들고 배포합니다.

2. 요구사항

  • 브라우저(Chrome 또는 Firefox 등)
  • 결제가 사용 설정된 Google Cloud 프로젝트

3. 시작하기 전에

  1. Google Cloud 콘솔의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.
  2. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다. 프로젝트에서 결제가 사용 설정되어 있는지 확인하는 방법 알아보기
  3. 여기의 안내에 따라 Google Cloud 콘솔에서 Cloud Shell을 활성화합니다.
  4. 프로젝트가 설정되지 않은 경우 다음 명령어를 사용하여 설정합니다.
gcloud config set project <YOUR_PROJECT_ID>
  1. Cloud Shell에서 다음 환경 변수를 설정합니다.
export GCP_PROJECT=<YOUR_PROJECT_ID>
export GCP_REGION=us-central1
  1. Cloud Shell 터미널에서 다음 명령어를 실행하여 필요한 Google Cloud API를 사용 설정합니다.
gcloud services enable cloudbuild.googleapis.com cloudfunctions.googleapis.com run.googleapis.com logging.googleapis.com storage-component.googleapis.com aiplatform.googleapis.com

4. Cloud 함수 배포

Cloud 함수를 만들고 배포하려면 다음 단계를 따르세요.

  1. Cloud Shell 터미널에서 다음 명령어를 실행하여 저장소 https://github.com/rominirani/genai-apptemplates-googlecloud에서 코드를 클론합니다.
git clone https://github.com/rominirani/genai-apptemplates-googlecloud
  1. 이 명령어는 저장소 콘텐츠를 genai-templates-googlecloud 폴더에 클론합니다.
  2. Cloud Shell 터미널에서 다음 명령어를 실행하여 관심 있는 프로젝트의 폴더로 이동합니다.
cd genai-apptemplates-googlecloud/text-predict-cloudfunction
  1. dir 명령어를 실행하거나 Cloud Shell 편집기로 이동하여 text-predict-cloudfunction 폴더에서 main.py 파일과 requirements.txt 파일을 모두 확인해야 합니다.
  2. Cloud 함수를 배포하려면 gcloud functions deploy 명령어를 실행합니다.
gcloud functions deploy predictText --gen2 --runtime=python311 --region=$GCP_REGION --source=. --entry-point=predictText --trigger-http --set-env-vars=GCP_PROJECT=$GCP_PROJECT,GCP_REGION=$GCP_REGION --allow-unauthenticated --max-instances=1

Cloud 함수를 배포하면 배포된 Cloud 함수의 URL이 Cloud Shell 터미널에 표시됩니다. URL의 형식은 다음과 같습니다.

https://$GCP_REGION-$GCP_PROJECT.cloudfunctions.net/predictText

5. Cloud 함수 호출

이 Cloud 함수는 HTTP 트리거로 배포되므로 직접 호출할 수 있습니다. 샘플 호출은 다음과 같습니다.

curl -m 70 -X POST https://$GCP_REGION-$GCP_PROJECT.cloudfunctions.net/predictText \
-H "Content-Type: application/json" \
-d '{
  "prompt": "What are the best places to visit in the United States?"
}'

출력 형식은 다음과 같습니다.

3470e0a6d0a30b37.png

6. 삭제

이 게시물에서 사용한 리소스의 비용이 Google Cloud 계정에 청구되지 않도록 하려면 다음 단계를 수행하세요.

  1. Google Cloud 콘솔에서 리소스 관리 페이지로 이동합니다.
  2. 프로젝트 목록에서 삭제할 프로젝트를 선택하고 삭제 를 클릭합니다.
  3. 대화상자에서 프로젝트 ID를 입력하고 종료 를 클릭하여 프로젝트를 삭제합니다.
  4. 프로젝트를 유지하려면 위의 단계를 건너뛰고 Cloud Functions로 이동하여 함수 목록에서 삭제할 함수를 선택하고 삭제를 클릭하여 Cloud 함수를 삭제합니다.

7. 축하합니다

축하합니다. PaLM Text Bison 모델을 래핑하는 Cloud 함수를 성공적으로 사용했습니다. 사용 가능한 모델에 대한 자세한 내용은 Vertex AI LLM 제품 문서를 참조하세요.