1. Введение
В этой лаборатории кода показано, как вызвать облачную функцию, которая инициализирует модуль Vertex AI, а затем предоставляет конечную точку для вызова модели PaLM Text Bison. Эта облачная функция написана на Python. Ниже приводится список используемых сервисов:
- Облачные функции
- Vertex AI PaLM API
Что ты построишь
Вы создадите и развернете облачную функцию, которая предоставляет конечную точку для вызова модели PaLM Text Bison.
2. Требования
3. Прежде чем начать
- В Google Cloud Console на странице выбора проекта выберите или создайте проект Google Cloud.
- Убедитесь, что для вашего проекта Google Cloud включена оплата. Узнайте, как проверить, включена ли оплата в проекте.
- Активируйте Cloud Shell из консоли Google Cloud, следуя инструкциям здесь.
- Если ваш проект не установлен, используйте следующую команду, чтобы установить его:
gcloud config set project <YOUR_PROJECT_ID>
- В Cloud Shell установите следующие переменные среды:
export GCP_PROJECT=<YOUR_PROJECT_ID>
export GCP_REGION=us-central1
- Включите необходимые API Google Cloud, выполнив следующие команды в терминале Cloud Shell:
gcloud services enable cloudbuild.googleapis.com cloudfunctions.googleapis.com run.googleapis.com logging.googleapis.com storage-component.googleapis.com aiplatform.googleapis.com
4. Развертывание облачной функции
Чтобы создать и развернуть облачные функции, выполните следующие действия:
- Клонируйте код из репозитория https://github.com/rominirani/genai-apptemplates-googlecloud , выполнив следующую команду в терминале Cloud Shell:
git clone https://github.com/rominirani/genai-apptemplates-googlecloud
- Эта команда клонирует содержимое репозитория в папку genai-templates-googlecloud.
- Перейдите в папку интересующего нас проекта, выполнив следующую команду из терминала Cloud Shell:
cd genai-apptemplates-googlecloud/text-predict-cloudfunction
- Вы должны увидеть файлы main.py и require.txt в папке text-predict-cloudfunction либо выполнив команду dir, либо перейдя в редактор Cloud Shell.
- Чтобы развернуть функцию облака, выполните команду развертывания функций gcloud :
gcloud functions deploy predictText --gen2 --runtime=python311 --region=$GCP_REGION --source=. --entry-point=predictText --trigger-http --set-env-vars=GCP_PROJECT=$GCP_PROJECT,GCP_REGION=$GCP_REGION --allow-unauthenticated --max-instances=1
После развертывания облачной функции URL-адрес развернутой облачной функции отображается в терминале Cloud Shell. URL-адрес имеет следующий формат:
https://$GCP_REGION-$GCP_PROJECT.cloudfunctions.net/predictText
5. Вызов функции облака
Поскольку эта облачная функция развертывается с помощью триггера HTTP, вы можете вызвать ее напрямую. Вот пример звонка:
curl -m 70 -X POST https://$GCP_REGION-$GCP_PROJECT.cloudfunctions.net/predictText \
-H "Content-Type: application/json" \
-d '{
"prompt": "What are the best places to visit in the United States?"
}'
Вывод выглядит следующим образом:
6. Очистка
Чтобы избежать списания средств с вашей учетной записи Google Cloud за ресурсы, используемые в этом посте, выполните следующие действия:
- В консоли Google Cloud перейдите на страницу «Управление ресурсами» .
- В списке проектов выберите проект, который хотите удалить, и нажмите «Удалить».
- В диалоговом окне введите идентификатор проекта, а затем нажмите «Завершить работу» , чтобы удалить проект.
- Если вы хотите сохранить свой проект, пропустите вышеуказанные шаги и удалите функцию облака, перейдя к функциям облака и в списке функций отметьте ту, которую хотите удалить, и нажмите УДАЛИТЬ.
7. Поздравления
Поздравляем! Вы успешно использовали облачную функцию, которая обертывает текстовую модель PaLM Bison. Ознакомьтесь с документацией по продукту Vertex AI LLM , чтобы узнать больше о доступных моделях.