Função do Cloud que une os modelos de bisão de texto do PaLM

Função do Cloud que une os modelos de bisão de texto do PaLM

Sobre este codelab

subjectÚltimo mai. 2, 2024 atualizado
account_circleEscrito por Romin Irani, Muthu Sankaralingam

1. Introdução

Este codelab mostra como invocar uma função do Cloud que inicializa o módulo da Vertex AI e fornece um endpoint para invocar o modelo PaLM Text Bison. Essa função do Cloud foi escrita em Python. Esta é a lista de serviços usados:

  • Cloud Functions
  • API PaLM da Vertex AI

O que você vai criar

Você vai criar e implantar uma função do Cloud que fornece um endpoint para invocar o modelo Text Bison no PaLM.

2. Requisitos

  • Use um navegador, como o Chrome ou o Firefox.
  • Tenha um projeto do Google Cloud com o faturamento ativado.

3. Antes de começar

  1. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.
  2. Verifique se o faturamento está ativado para seu projeto do Google Cloud. Saiba como verificar se o faturamento está ativado em um projeto.
  3. Ative o Cloud Shell no console do Google Cloud seguindo estas instruções.
  4. Se o projeto não estiver definido, use este comando:
gcloud config set project <YOUR_PROJECT_ID>
  1. No Cloud Shell, defina as seguintes variáveis de ambiente:
export GCP_PROJECT=<YOUR_PROJECT_ID>
export GCP_REGION=us-central1
  1. Execute os comandos a seguir no terminal do Cloud Shell para ativar as APIs do Google Cloud necessárias:
gcloud services enable cloudbuild.googleapis.com cloudfunctions.googleapis.com run.googleapis.com logging.googleapis.com storage-component.googleapis.com aiplatform.googleapis.com

4. Implante a Função do Cloud

Para criar e implantar funções do Cloud, siga estas etapas:

  1. Clone o código do repositório https://github.com/rominirani/genai-apptemplates-googlecloud executando o seguinte comando no terminal do Cloud Shell:
git clone https://github.com/rominirani/genai-apptemplates-googlecloud
  1. Esse comando clonará o conteúdo do repositório na pasta genai-templates-googlecloud.
  2. Execute o seguinte comando no terminal do Cloud Shell para acessar a pasta do projeto relevante:
cd genai-apptemplates-googlecloud/text-predict-cloudfunction
  1. Os arquivos main.py e requirements.txt vão aparecer na pasta text-predict-cloudfunction. Você pode executar o comando dir ou navegar até o editor do Cloud Shell.
  2. Para implantar a função do Cloud, execute o comando gcloud functions deploy:
gcloud functions deploy predictText --gen2 --runtime=python311 --region=$GCP_REGION --source=. --entry-point=predictText --trigger-http --set-env-vars=GCP_PROJECT=$GCP_PROJECT,GCP_REGION=$GCP_REGION --allow-unauthenticated --max-instances=1

Depois de implantar a função do Cloud, o URL dela será exibido no terminal do Cloud Shell. O URL está no seguinte formato:

https://$GCP_REGION-$GCP_PROJECT.cloudfunctions.net/predictText

5. Invocar a função do Cloud

Como esta função do Cloud é implantada com um gatilho HTTP, é possível invocá-la diretamente. Este é um exemplo de chamada:

curl -m 70 -X POST https://$GCP_REGION-$GCP_PROJECT.cloudfunctions.net/predictText \
-H "Content-Type: application/json" \
-d '{
  "prompt": "What are the best places to visit in the United States?"
}'

A saída será semelhante ao seguinte:

3470e0a6d0a30b37.png

6. Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta postagem, siga estas etapas:

  1. No console do Google Cloud, acesse a página Gerenciar recursos.
  2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir.
  3. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.
  4. Se quiser manter seu projeto, pule as etapas acima e exclua a função do Cloud. Para isso, acesse o Cloud Functions e, na lista de funções, marque a que você quer excluir e clique em EXCLUIR.

7. Parabéns

Parabéns! Você usou uma função do Cloud que encapsula o modelo PaLM Text Bison. Confira a documentação do produto LLM da Vertex AI para saber mais sobre os modelos disponíveis.