Автоматическое развертывание генеративного AI Go с помощью веб-приложения Genkit из системы контроля версий в облако

1. Обзор

Первое развертывание веб-приложения может показаться сложным. Даже после первого развертывания, если процесс слишком трудоемкий, вы можете избегать развертывания новых версий приложения. С помощью непрерывного развертывания вы можете легко и автоматически развертывать изменения в своем приложении.

В этой лабораторной работе вы напишете веб-приложение и настроите Cloud Run для автоматического развертывания вашего приложения при внесении изменений в исходный код. Затем вы внесете изменения в приложение и снова его развернете.

Что вы узнаете

• Напишите веб-приложение с помощью редактора Cloud Shell.
• Сохраняйте код своего приложения на GitHub.
• Автоматически разверните ваше приложение в Cloud Run.

• Добавьте генеративный ИИ в свое приложение с помощью Genkit.
• Управляйте подсказками для студентов магистратуры с помощью библиотеки dotprompt.

2. Предварительные требования

1. Если у вас еще нет учетной записи Google, вам необходимо ее создать .
   • Используйте личный аккаунт вместо рабочего или учебного. Рабочие и учебные аккаунты могут иметь ограничения, которые не позволят вам включить API, необходимые для этой лабораторной работы.
2. Если у вас еще нет учетной записи GitHub, вам необходимо ее создать.
   • Если у вас есть существующая учетная запись GitHub, используйте её. GitHub с большей вероятностью заблокирует новую учетную запись как спам.
   • Настройте двухфакторную аутентификацию в своей учетной записи GitHub, чтобы снизить вероятность того, что ваша учетная запись будет помечена как спам.

3. Настройка проекта

1. Войдите в консоль Google Cloud .
2. Включите выставление счетов в облачной консоли.
   • Выполнение этой лабораторной работы должно обойтись менее чем в 1 доллар США в виде облачных ресурсов.
   • В конце этой лабораторной работы вы можете выполнить действия по удалению ресурсов, чтобы избежать дальнейших списаний средств.
   • Новые пользователи могут воспользоваться бесплатной пробной версией стоимостью 300 долларов США .
   • Собираетесь посетить мероприятие Gen AI for Devs? Возможно, вам будет предоставлен кредит в размере 1 доллара США .
3. Создайте новый проект или выберите вариант повторного использования существующего проекта.
4. Подтвердите, что выставление счетов включено в разделе «Мои проекты» в Cloud Billing.
   • Если в столбце Billing account Billing is disabled :
     1. Нажмите на три точки в столбце Actions .
     2. Нажмите «Изменить оплату».
     3. Выберите платежный аккаунт, который вы хотите использовать.
   • Если вы посещаете мероприятие Gen AI for Devs, ваша учетная запись, скорее всего, будет называться Google Cloud Platform Trial Billing Account.

4. Откройте редактор Cloud Shell.

1. Перейдите в редактор Cloud Shell.
2. Если терминал не отображается в нижней части экрана, откройте его:
   • Нажмите на значок гамбургера.
   • Нажмите «Терминал»
   • Нажмите «Новый терминал»
3. В терминале настройте свой проект с помощью этой команды:
   • Формат:

     gcloud config set project [PROJECT_ID]
     

   • Пример:

     gcloud config set project lab-project-id-example
     

   • Если вы не помните идентификатор своего проекта:
     • Вы можете вывести список всех идентификаторов ваших проектов с помощью:

       gcloud projects list | awk '/PROJECT_ID/{print $2}'
       

     
4. Если появится запрос на авторизацию, нажмите «Авторизовать» , чтобы продолжить.
5. Вы должны увидеть следующее сообщение:

   Updated property [core/project].
   

   Если вы видите WARNING и вас спрашивают Do you want to continue (Y/N)? , то, скорее всего, вы неправильно ввели идентификатор проекта. Нажмите N , затем Enter и попробуйте снова выполнить команду gcloud config set project .

5. Включите API.

В терминале включите API:

gcloud services enable \
  run.googleapis.com \
  cloudbuild.googleapis.com \
  aiplatform.googleapis.com

Выполнение этой команды может занять несколько минут, но в итоге должно отобразиться сообщение об успешном завершении, похожее на это:

Operation "operations/acf.p2-73d90d00-47ee-447a-b600" finished successfully.

6. Настройка Git

1. Укажите адрес электронной почты вашего глобального пользователя Git:

   git config --global user.email "[e-mail]"
   

2. Укажите ваше глобальное имя пользователя Git:

   git config --global user.name "Your Name"
   

3. Установите глобальную ветку по умолчанию в Git на main :

   git config --global init.defaultBranch main
   

7. Напишите свой код.

Чтобы написать приложение на Go:

1. Перейдите в домашний каталог:

   cd ~
   

2. Создайте каталог codelab-genai :

   mkdir codelab-genai
   

3. Перейдите в каталог codelab-genai :

   cd codelab-genai
   

4. Инициализируем файл go.mod для объявления нашего модуля:

   go mod init codelab-genai
   

5. Создайте файл main.go :

   touch main.go
   

6. Откройте файл main.go в редакторе Cloud Shell:

   cloudshell edit main.go
   

   Теперь в верхней части экрана должен появиться пустой файл. Здесь вы можете редактировать файл main.go
7. Отредактируйте main.go и вставьте в него следующий код:

   package main
   
   import (
       "fmt"
       "log"
       "net/http"
       "os"
   )
   
   func main() {
       http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {
           fmt.Fprintln(w, "Hello, world!")
       })
   
       port := os.Getenv("PORT")
   
       if port == "" {
           port = "8080"
       }
       if err := http.ListenAndServe(":"+port, nil); err != nil {
           log.Fatal(err)
       }
   }
   

   Через несколько секунд редактор Cloud Shell автоматически сохранит ваш код. Этот код отвечает на HTTP-запросы нашим приветствием "Hello world!".

Исходный код вашего приложения готов и может быть сохранен в системе контроля версий.

8. Создайте репозиторий.

1. Вернитесь к терминалу Cloud Shell в нижней части экрана.
2. Убедитесь, что вы по-прежнему находитесь в правильной директории:

   cd ~/codelab-genai
   

3. Инициализируйте свой репозиторий Git.

   git init -b main
   

4. Войдите в интерфейс командной строки GitHub.

   gh auth login
   

   Нажмите Enter , чтобы принять параметры по умолчанию, и следуйте инструкциям в инструменте командной строки GitHub, включая:
   1. В какой учетной записи вы хотите войти? GitHub.com
   2. Какой протокол вы предпочитаете использовать для операций Git на этом хосте? HTTPS
   3. Аутентифицировать Git с помощью учетных данных GitHub? Y (Пропустите, если этот пункт не отображается.)
   4. Как вы хотите авторизоваться в GitHub CLI? Login with a web browser
   5. Скопируйте свой одноразовый код
   6. Откройте https://github.com/login/device
   7. Вставьте свой одноразовый код
   8. Нажмите «Авторизовать GitHub»
   9. Завершите вход в систему.
5. Подтвердите, что вы вошли в систему:

   gh api user -q ".login"
   

   Если вы успешно вошли в систему, отобразится ваше имя пользователя на GitHub.
6. Создайте переменную GITHUB_USERNAME

   GITHUB_USERNAME=$(gh api user -q ".login")
   

7. Убедитесь, что вы создали переменную среды:

   echo ${GITHUB_USERNAME}
   

   Если вы успешно создали переменную, то в результате должно отобразиться ваше имя пользователя на GitHub.
8. Создайте пустой репозиторий GitHub с именем codelab-genai :

   gh repo create codelab-genai --private
   

   Если вы получили ошибку:

   GraphQL: Name already exists on this account (createRepository)
   

   Значит, у вас уже есть репозиторий с именем codelab-genai . Для продолжения выполнения этого руководства у вас есть два варианта:
   • Удалите существующий репозиторий GitHub.
   • Создайте репозиторий с другим именем и не забудьте изменить его в следующих командах.
9. Добавьте репозиторий codelab-genai в качестве удаленного origin :

   git remote add origin https://github.com/${GITHUB_USERNAME}/codelab-genai
   

9. Поделитесь своим кодом

1. Убедитесь, что вы находитесь в правильной директории:

   cd ~/codelab-genai
   

2. Добавьте все файлы из текущего каталога в этот коммит:

   git add .
   

3. Создайте первый коммит:

   git commit -m "add http server"
   

4. Отправьте свой коммит в main ветку репозитория origin :

   git push -u origin main
   

Вы можете выполнить эту команду и перейти по полученному URL-адресу, чтобы просмотреть код своего приложения на GitHub:

echo -e "\n\nTo see your code, visit this URL:\n \
    https://github.com/${GITHUB_USERNAME}/codelab-genai/blob/main/main.go \n\n"

10. Настройте автоматическое развертывание.

1. Оставьте вкладку «Редактор Cloud Shell» открытой. Мы вернемся к этой вкладке позже.
2. В новой вкладке перейдите на страницу Cloud Run .
3. Выберите нужный проект Google Cloud в консоли.
4. Нажмите ПОДКЛЮЧИТЬ РЕПОЗИТОРИЙ
5. Нажмите «НАСТРОЙКА С ПОМОЩЬЮ CLOUD BUILD».
   1. Выберите GitHub в качестве поставщика репозитория.
      • Если вы не вошли в свою учетную запись GitHub в браузере, войдите, используя свои учетные данные.
   2. Нажмите «Аутентифицировать» , а затем « Продолжить» .
   3. После входа в систему на странице Cloud Run вы увидите сообщение о том, что приложение GitHub не установлено ни в одном из ваших репозиториев.
   4. Нажмите на кнопку «УСТАНОВИТЬ GOOGLE CLOUD BUILD» .
      • На странице «Настройка установки» выберите «Выбрать только репозитории» и выберите репозиторий codelab-genai , который вы создали через CLI.
      • Нажмите «Установить».
      • Примечание: Если у вас много репозиториев GitHub, загрузка может занять несколько минут.
   5. Выберите your-user-name/codelab-genai в качестве репозитория.
      • Если репозиторий отсутствует, нажмите ссылку «Управление подключенными репозиториями» .
   6. Оставить ветку как ^main$
   7. Используйте Go, Node.js, Python, Java, .NET Core, Ruby или PHP через buildpacks от Google Cloud.
      • Остальные поля ( Build context directory , Entrypoint и Function target ) оставьте без изменений.
   8. Нажмите «Сохранить».
6. Прокрутите вниз до раздела «Аутентификация» .
7. Нажмите «Разрешить неаутентифицированные вызовы».
8. Нажмите СОЗДАТЬ

После завершения сборки (что займет несколько минут) выполните эту команду и перейдите по полученному URL-адресу, чтобы просмотреть запущенное приложение:

echo -e "\n\nOnce the build finishes, visit your live application:\n \
    "$( \
        gcloud run services list | \
        grep codelab-genai | \
        awk '/URL/{print $2}' | \
        head -1 \
    )" \n\n"

11. Измените свой код

1. Вернитесь к терминалу Cloud Shell в нижней части экрана.
2. Убедитесь, что вы по-прежнему находитесь в правильной директории:

   cd ~/codelab-genai
   

3. Установите Genkit SDK для Go:

   go get github.com/firebase/genkit/go/ai
   

4. Установите плагин Vertex AI для Genkit:

   go get github.com/firebase/genkit/go/plugins/vertexai
   

5. Установите плагин dotprompt для управления подсказками к нашим лекциям по программе LLM:

   go get github.com/firebase/genkit/go/plugins/dotprompt
   

6. Установите библиотеку Metadata для Go, чтобы получить текущий идентификатор проекта:

   go get cloud.google.com/go/compute/metadata
   

7. Откройте main.go в редакторе Cloud Shell.

   cloudshell edit main.go
   

8. Замените следующий код в файле main.go :

   package main
   
   import (
       "context"
       "fmt"
       "log"
       "net/http"
       "os"
   
       "cloud.google.com/go/compute/metadata"
       "github.com/firebase/genkit/go/plugins/dotprompt"
       "github.com/firebase/genkit/go/plugins/vertexai"
   )
   
   func main() {
       ctx := context.Background()
       var projectId string
       var err error
       projectId = os.Getenv("GOOGLE_CLOUD_PROJECT")
       if projectId == "" {
           projectId, err = metadata.ProjectIDWithContext(ctx)
           os.Setenv("GOOGLE_CLOUD_PROJECT", projectId)
           if err != nil {
               return
           }
       }
   
       if err := vertexai.Init(ctx, nil); err != nil {
           log.Fatal(err)
           return
       }
   
       dotprompt.SetDirectory("./")
       prompt, err := dotprompt.Open("animal-facts")
       if err != nil {
           log.Fatal(err)
           return
       }
       type AnimalPromptInput struct {
           Animal string `json:"animal"`
       }
   
       http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {
   
           animal := r.URL.Query().Get("animal")
           if animal == "" {
               animal = "dog"
           }
   
           response, err := prompt.Generate(
               ctx,
               &dotprompt.PromptRequest{
                   Variables: AnimalPromptInput{
                       Animal: animal,
                   },
               },
               nil,
           )
   
           if err != nil {
               w.WriteHeader(http.StatusServiceUnavailable)
               fmt.Fprint(w, err)
               return
           }
   
           w.Header().Set("Content-Type", "text/html; charset=utf-8")
           fmt.Fprint(w, response.Text())
   
       })
   
       port := os.Getenv("PORT")
   
       if port == "" {
           port = "8080"
       }
       if err := http.ListenAndServe(":"+port, nil); err != nil {
           log.Fatal(err)
       }
   }
   

9. Создайте файл animal-facts.prompt :

   touch animal-facts.prompt
   

10. Откройте файл animal-facts.prompt в редакторе Cloud Shell:

    cloudshell edit animal-facts.prompt
    

11. Отредактируйте файл animal-facts.prompt и вставьте в него следующий код:

    ---
    model: vertexai/gemini-1.5-flash
    config:
    temperature: 0.9
    input:
    schema:
        animal: string
    default:
        animal: dog
    ---
    
    Give me 10 fun facts about {{animal}}. Return the results as HTML without markdown backticks.
    

12. Передислокация

1. Убедитесь, что вы по-прежнему находитесь в правильной директории в Cloud Shell:

   cd ~/codelab-genai
   

2. Выполните следующие команды, чтобы добавить новую версию вашего приложения в локальный репозиторий Git:

   git add .
   git commit -m "add latest changes"
   

3. Отправьте изменения в GitHub:

   git push
   

4. После завершения сборки выполните эту команду и откройте развернутое приложение:

   echo -e "\n\nOnce the build finishes, visit your live application:\n \
       "$( \
           gcloud run services list | \
           grep codelab-genai | \
           awk '/URL/{print $2}' | \
           head -1 \
       )" \n\n"
   

Для завершения сборки может потребоваться несколько минут, прежде чем вы сможете увидеть внесенные изменения.

Историю всех изменений можно посмотреть здесь: https://console.cloud.google.com/run/detail/us-central1/codelab-genai/revisions

13. (Необязательно) Проведите аудит использования Vertex AI.

Как и в других сервисах Google Cloud, вы можете проводить аудит операций Vertex AI . Журналы аудита помогут вам ответить на вопросы: «Кто что сделал, где и когда?». Административные журналы аудита для Vertex AI включены по умолчанию. Чтобы проводить аудит запросов на генерацию контента, необходимо включить журналы аудита доступа к данным :

Ведение журналов аудита данных может повлечь за собой дополнительные расходы.

1. В консоли Google Cloud перейдите на страницу «Журналы аудита» :
   Перейдите в раздел «Журналы аудита».
   Если вы воспользуетесь строкой поиска, чтобы найти эту страницу, выберите результат, подзаголовок которого — IAM & Admin .
2. Убедитесь, что вы создаете приложение Cloud Run именно в том существующем проекте Google Cloud.
3. В таблице конфигурации журналов аудита доступа к данным в столбце «Сервис» выберите Vertex AI API .
4. На вкладке «Типы журналов» выберите типы журналов аудита доступа к данным: Admin read и Data read .
5. Нажмите « Сохранить ».

После включения этой функции вы сможете просматривать журналы аудита для каждого запуска приложения. Чтобы просмотреть журналы аудита с подробным описанием запусков, выполните следующие действия:

1. Вернитесь к развернутому приложению и обновите страницу, чтобы запустить запись в журнал.
2. В консоли Google Cloud перейдите на страницу Log Explorer :
   Перейдите в Log Explorer
   
3. В окне запроса введите:

   LOG_ID("cloudaudit.googleapis.com%2Fdata_access")
   protoPayload.serviceName="aiplatform.googleapis.com"
   

4. Нажмите « Выполнить запрос» .

Журналы аудита фиксируют использование API Vertex AI, но они не позволяют отслеживать данные, связанные с рабочей нагрузкой, такие как подсказки или подробности ответов.

14. (Необязательно) Уборка

Хотя Cloud Run не взимает плату, когда услуга не используется, с вас все равно может взиматься плата за хранение образа контейнера в реестре артефактов. Вы можете удалить свой проект Cloud, чтобы избежать дополнительных расходов. Удаление проекта Cloud прекращает выставление счетов за все ресурсы, используемые в этом проекте.

При желании вы можете удалить проект:

gcloud projects delete $GOOGLE_CLOUD_PROJECT

Вы также можете удалить ненужные ресурсы с диска Cloudshell. Для этого выполните следующие действия:

1. Удалите каталог проекта codelab:

   rm -rf ~/codelab-genai
   

2. Уберите все ненужные вам тревожные посылки:

   cd ~
   go clean -modcache
   

3. Внимание! Это действие необратимо! Если вы хотите удалить все данные в Cloud Shell, чтобы освободить место, вы можете удалить всю свою домашнюю директорию . Будьте внимательны и убедитесь, что все, что вы хотите сохранить, сохранено в другом месте.

   sudo rm -rf $HOME
   

15. Поздравляем!

В этой лабораторной работе вы написали веб-приложение и настроили Cloud Run для автоматического развертывания приложения при внесении изменений в исходный код. Затем вы модифицировали приложение и развернули его снова.

Если вам понравилась эта лабораторная работа, вы можете попробовать выполнить её ещё раз на другом языке программирования или с использованием другого фреймворка:

• Python
• Node.js
• Идти
• Java
• Угловой
• Next.js

Если вас интересует участие в исследовании пользовательского опыта (UX) для улучшения продуктов, с которыми вы работаете сегодня, зарегистрируйтесь здесь .

Вот несколько вариантов для продолжения обучения:

• Документация: Используйте Genkit как гибкую абстракцию моделей, которая упрощает интеграцию любого API моделей и использование моделей, поддерживаемых сообществом.
• Codelab: Как развернуть чат-приложение на базе Gemini в Cloud Run
• Как использовать вызов функций Gemini с помощью Cloud Run
• По запросу пройд-мастер-класс: Google Kubernetes Engine Onboard
• Как использовать API Cloud Run Jobs Video Intelligence для покадровой обработки видео.