Função do Cloud que une os modelos de bisão de texto do PaLM

1. Introdução

Este codelab mostra como invocar uma função do Cloud que inicializa o módulo da Vertex AI e fornece um endpoint para invocar o modelo PaLM Text Bison. Essa função do Cloud foi escrita em Python. Esta é a lista de serviços usados:

  • Cloud Functions
  • API PaLM da Vertex AI

O que você vai criar

Você vai criar e implantar uma função do Cloud que fornece um endpoint para invocar o modelo Text Bison no PaLM.

2. Requisitos

  • Use um navegador, como o Chrome ou o Firefox.
  • Tenha um projeto do Google Cloud com o faturamento ativado.

3. Antes de começar

  1. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.
  2. Verifique se o faturamento está ativado para seu projeto do Google Cloud. Saiba como verificar se o faturamento está ativado em um projeto.
  3. Ative o Cloud Shell no console do Google Cloud seguindo estas instruções.
  4. Se o projeto não estiver definido, use este comando:
gcloud config set project <YOUR_PROJECT_ID>
  1. No Cloud Shell, defina as seguintes variáveis de ambiente:
export GCP_PROJECT=<YOUR_PROJECT_ID>
export GCP_REGION=us-central1
  1. Execute os comandos a seguir no terminal do Cloud Shell para ativar as APIs do Google Cloud necessárias:
gcloud services enable cloudbuild.googleapis.com cloudfunctions.googleapis.com run.googleapis.com logging.googleapis.com storage-component.googleapis.com aiplatform.googleapis.com

4. Implante a Função do Cloud

Para criar e implantar funções do Cloud, siga estas etapas:

  1. Clone o código do repositório https://github.com/rominirani/genai-apptemplates-googlecloud executando o seguinte comando no terminal do Cloud Shell:
git clone https://github.com/rominirani/genai-apptemplates-googlecloud
  1. Esse comando clonará o conteúdo do repositório na pasta genai-templates-googlecloud.
  2. Execute o seguinte comando no terminal do Cloud Shell para acessar a pasta do projeto relevante:
cd genai-apptemplates-googlecloud/text-predict-cloudfunction
  1. Os arquivos main.py e requirements.txt vão aparecer na pasta text-predict-cloudfunction. Você pode executar o comando dir ou navegar até o editor do Cloud Shell.
  2. Para implantar a função do Cloud, execute o comando gcloud functions deploy:
gcloud functions deploy predictText --gen2 --runtime=python311 --region=$GCP_REGION --source=. --entry-point=predictText --trigger-http --set-env-vars=GCP_PROJECT=$GCP_PROJECT,GCP_REGION=$GCP_REGION --allow-unauthenticated --max-instances=1

Depois de implantar a função do Cloud, o URL dela será exibido no terminal do Cloud Shell. O URL está no seguinte formato:

https://$GCP_REGION-$GCP_PROJECT.cloudfunctions.net/predictText

5. Invocar a função do Cloud

Como esta função do Cloud é implantada com um gatilho HTTP, é possível invocá-la diretamente. Este é um exemplo de chamada:

curl -m 70 -X POST https://$GCP_REGION-$GCP_PROJECT.cloudfunctions.net/predictText \
-H "Content-Type: application/json" \
-d '{
  "prompt": "What are the best places to visit in the United States?"
}'

A saída será semelhante ao seguinte:

3470e0a6d0a30b37.png

6. Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta postagem, siga estas etapas:

  1. No console do Google Cloud, acesse a página Gerenciar recursos.
  2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir.
  3. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.
  4. Se quiser manter seu projeto, pule as etapas acima e exclua a função do Cloud. Para isso, acesse o Cloud Functions e, na lista de funções, marque a que você quer excluir e clique em EXCLUIR.

7. Parabéns

Parabéns! Você usou uma função do Cloud que encapsula o modelo PaLM Text Bison. Confira a documentação do produto LLM da Vertex AI para saber mais sobre os modelos disponíveis.