Создайте приложение для рекомендаций по экипировке на базе ИИ с помощью AlloyDB и бессерверных сред выполнения. Создайте приложение для рекомендаций по экипировке на основе ИИ с помощью AlloyDB и бессерверных сред выполнения. Создайте приложение для рекомендаций по экипировке на базе ИИ с помощью AlloyDB и бессерверных сред выполнения. Создайте приложение для рекомендаций по экипировке на основе ИИ с помощью AlloyDB и бессерверных сред выполнения.

Создайте приложение для рекомендаций по экипировке на базе искусственного интеллекта с помощью AlloyDB и бессерверных сред выполнения.

О практической работе

Последнее обновление: мар. 28, 2025

Авторы: Abirami Sukumaran, Shweta Shetye

1. Обзор

Представьте себе модное приложение, которое не только поможет вам подобрать идеальный наряд, но и даст советы по стилю в режиме реального времени, и все это благодаря возможностям передовой интеграции genAI! В этом докладе мы рассмотрим, как мы создали такое приложение, используя возможности векторного поиска AlloyDB в сочетании с индексом Google ScaNN, что позволяет молниеносно искать подходящие наряды и мгновенно предоставлять рекомендации по моде.

Мы также углубимся в то, как индекс ScaNN AlloyDB оптимизирует сложные запросы для создания персонализированных предложений по стилю. Мы также будем использовать Gemini и Imagen, мощные генеративные модели искусственного интеллекта, чтобы вдохновлять вас на творческий стиль и даже визуализировать ваш индивидуальный образ. Все это приложение построено на бессерверной архитектуре, обеспечивая пользователям бесперебойную и масштабируемую работу.

Задача: предлагая персонализированные предложения по одежде, приложение призвано помочь людям, которые борются с нерешительностью в моде. Это также помогает избежать усталости от принятия решений при планировании экипировки.

Решение: Приложение рекомендации одежды решает проблему предоставления пользователям интеллектуального, персонализированного и увлекательного опыта моды, одновременно демонстрируя возможности AlloyDB, генеративного искусственного интеллекта и бессерверных технологий.

Что ты построишь

В рамках этой лабораторной работы вы:

1. Создайте экземпляр AlloyDB и загрузите набор данных электронной торговли.
2. Включите расширения pgvector и генеративной модели искусственного интеллекта в AlloyDB.
3. Генерация вложений из описания продукта
4. Разверните решение в бессерверных функциях Cloud Run.
5. Загрузите изображение в Gemini и создайте запрос описания изображения.
6. Генерируйте результаты поиска на основе подсказок в сочетании с внедренными наборами данных электронной торговли.
7. Добавьте дополнительные подсказки, чтобы настроить подсказку и создать рекомендации по стилю.
8. Разверните решение в бессерверных функциях Cloud Run.

Требования

• Браузер, например Chrome или Firefox.
• Проект Google Cloud с включенной оплатой.

2. Архитектура

Высокоуровневая архитектура приложения выглядит следующим образом:

В следующих разделах описывается контекстуальная последовательность урока:

Проглатывание :

Наш первый шаг — загрузить данные о розничной торговле (инвентарь, описания продуктов, взаимодействие с клиентами) в AlloyDB.

Аналитический механизм:

Мы будем использовать AlloyDB в качестве аналитической системы для выполнения следующих задач:

1. Извлечение контекста: механизм анализирует данные, хранящиеся в AlloyDB, чтобы понять взаимосвязи между продуктами, категориями, поведением клиентов и т. д., если это применимо.
2. Создание встраивания: встраивания (математические представления текста) создаются как для запроса пользователя, так и для информации, хранящейся в AlloyDB.
3. Векторный поиск: механизм выполняет поиск по сходству, сравнивая встраивание запроса с встраиванием описаний продуктов, обзоров и других соответствующих данных. Это определяет 25 наиболее важных «ближайших соседей».

Рекомендации Близнецам:

Массив байтов изображения передается в модель Gemini через API Vertex AI вместе с запросом текстового описания верхнего износа и рекомендаций по нижнему износу.

AlloyDB RAG и векторный поиск:

Описание верхней одежды используется для запроса в базу данных. Запрос преобразует текст поиска (рекомендацию модели Gemini для сопоставления износа нижней части) во вложения и выполняет векторный поиск по вложениям, хранящимся в базе данных, чтобы найти ближайших соседей (совпадающие результаты). Векторные вложения в базе данных AlloyDB индексируются с использованием индекса ScaNN для лучшего поиска.

Генерация ответного изображения:

Проверенные ответы структурируются в массив JSON, а весь механизм упаковывается в бессерверную функцию запуска облака, которая вызывается из Agent Builder.

Генерация изображения изображения:

Подсказка пользователя о стиле, выбранная пользователем рекомендация и любые запросы на персонализацию объединяются, чтобы предложить Imagen 3 существующее изображение. Изображение стиля создается на основе этого запроса с использованием API Vertex AI.

3. Прежде чем начать

Создать проект

1. В Google Cloud Console на странице выбора проекта выберите или создайте проект Google Cloud.
2. Убедитесь, что для вашего облачного проекта включена оплата. Узнайте, как проверить, включена ли оплата в проекте .
3. Вы будете использовать Cloud Shell , среду командной строки, работающую в Google Cloud, в которую предварительно загружен bq. Нажмите «Активировать Cloud Shell» ( ) в верхней части консоли Google Cloud.
4. После подключения к Cloud Shell убедитесь, что вы уже прошли аутентификацию и что для проекта установлен идентификатор вашего проекта, используя следующую команду:

gcloud auth list

5. Выполните следующую команду, чтобы убедиться, что будущие команды gcloud правильно идентифицируют ваш проект.

gcloud config list project

6. Если ваш проект не установлен, используйте следующую команду, чтобы установить его явно:

gcloud config set project <YOUR_PROJECT_ID>

7. Включите необходимые API.

Перейдите по ссылке , чтобы включить API.

Если вы пропустили включение какого-либо API, вы всегда можете включить его в ходе реализации.

Дополнительную информацию о командах и использовании gcloud можно найти в документации .

4. Настройка базы данных

В этой лабораторной работе мы будем использовать AlloyDB в качестве базы данных для хранения набора данных розничной электронной торговли. Он использует кластеры для хранения всех ресурсов, таких как базы данных и журналы. Каждый кластер имеет основной экземпляр , который предоставляет точку доступа к данным. Таблицы — это реальный ресурс, в котором хранятся данные.

Давайте создадим кластер, экземпляр и таблицу AlloyDB, куда будет загружен набор данных электронной коммерции.

Создайте кластер и экземпляр

1. В Google Cloud Console найдите AlloyDB . Самый простой способ найти большинство страниц в Cloud Console — это выполнить их поиск с помощью панели поиска консоли.
2. Нажмите СОЗДАТЬ КЛАСТЕР .

3. Создайте кластер и экземпляр со следующими значениями:

• идентификатор кластера: " shopping-cluster "
• пароль: " alloydb "
• Совместимость с PostgreSQL 15
• Регион: " us-central1 "
• Сеть: « default »

4. В разделе «Сеть» при выборе сети по умолчанию появляется следующая опция. Нажмите НАСТРОЙКА СОЕДИНЕНИЯ , чтобы настроить сеть по умолчанию.
   
5. Выберите « Использовать автоматически выделенный диапазон IP-адресов» и нажмите «Продолжить» . Ознакомившись с информацией, нажмите СОЗДАТЬ СОЕДИНЕНИЕ .

Дождитесь завершения создания сети по умолчанию.

6. В разделе «Настройка основного экземпляра» установите для идентификатора экземпляра « shopping-instance" .

7. Нажмите CREATE CLUSTER , чтобы завершить настройку кластера следующим образом:

Создание кластера займет около 10 минут. После успешного завершения в поле «Статус» отобразится статус «Готово». Ниже приведен пример экрана, на котором показан кластер, готовый к использованию.

5. Прием данных

Теперь пришло время добавить таблицу с данными о магазине. Подождите, пока ваш экземпляр завершится. После его создания вы можете войти в AlloyDB, используя учетные данные, которые вы указали при создании кластера.

Аутентификация в базе данных AlloyDB

1. В Google Cloud Console перейдите в AlloyDB . Выберите основной кластер и нажмите AlloyDB Studio на панели навигации слева:

2. Введите следующие данные для аутентификации в базе данных AlloyDB:

• Имя пользователя: « postgres »
• База данных: « postgres ».
• Пароль: « alloydb »

После успешной аутентификации в AlloyDB Studio команды SQL будут введены на вкладках редактора . Вы можете добавить несколько окон редактора, используя плюс справа от первой вкладки редактора.

Вы будете вводить команды для AlloyDB в окнах редактора, используя при необходимости параметры «Выполнить», «Форматировать» и «Очистить».

Включить расширения

Для создания этого приложения мы будем использовать расширения « pgvector" и « google_ml_integration" .

• Расширение pgvector позволяет хранить и искать вложения векторов.
• Расширение google_ml_integration предоставляет функции, которые вы используете для доступа к конечным точкам прогнозирования Vertex AI для получения прогнозов в SQL.

1. Включите эти расширения, запустив следующие DDL:

CREATE EXTENSION IF NOT EXISTS google_ml_integration CASCADE;
CREATE EXTENSION IF NOT EXISTS vector;

2. Проверьте, установлены ли расширения, выполнив эту команду SQL:

select extname, extversion from pg_extension;

Создать таблицу

1. Создайте таблицу, используя следующий оператор DDL:

CREATE TABLE
 apparels ( id BIGINT,
   category VARCHAR(100),
   sub_category VARCHAR(50),
   uri VARCHAR(200),
   image VARCHAR(100),
   content VARCHAR(2000),
   pdt_desc VARCHAR(5000),
   embedding vector(768) );

При успешном выполнении приведенной выше команды вы сможете просмотреть таблицу в

база данных. На следующем изображении показан пример:

Прием данных

Для этой лабораторной работы у нас есть тестовые данные примерно из 200 записей в этом файле SQL . Он содержит id, category, sub_category, uri, image и content . Остальные поля будут заполнены позже в лабораторной работе.

1. Скопируйте 20 строк/операторов вставки из файла SQL на новую вкладку «Редактор» в AlloyDB Studio и нажмите «Выполнить» .

В зависимости от используемого вами платежного аккаунта Google Cloud количество строк

которые вы можете проглотить, могут различаться. Если у вас возникли проблемы, уменьшите количество строк до 10.

или ниже.

2. Разверните раздел «Проводник», пока не увидите таблицу с именем apparels .
3. Щелкните значок меню [ ⋮ ] и выберите «Запрос» . Оператор SELECT откроется на новой вкладке редактора.

4. Нажмите «Выполнить» , чтобы убедиться, что строки вставлены.

Предоставить разрешение пользователю

Мы предоставим пользователю postgres разрешение на создание вложений из AlloyDB . В AlloyDB Studio выполните следующий оператор, чтобы предоставить пользователю postgres права на выполнение функции embedding :

GRANT EXECUTE ON FUNCTION embedding TO postgres;

Предоставьте РОЛЬ пользователя Vertex AI сервисной учетной записи AlloyDB.

Мы будем использовать модели внедрения текста из Vertex AI для создания внедрений, для которых РОЛЬ пользователя Vertex AI привязана к учетной записи службы AlloyDB.

В Google Cloud Console щелкните терминал Cloud Shell [ ] и выполните следующую команду:

PROJECT_ID=$(gcloud config get-value project)

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:service-$(gcloud projects describe $PROJECT_ID --format="value(projectNumber)")@gcp-sa-alloydb.iam.gserviceaccount.com" \
--role="roles/aiplatform.user"

6. Создать контекст

Чтобы создать встраивание, нам понадобится context , то есть вся информация, которую мы хотим включить в одно поле. Мы сделаем это, создав описание продукта, которое будем хранить в столбце pdt_desc таблицы apparels .

В нашем случае мы будем использовать всю информацию о каждом продукте, но когда вы делаете это со своими собственными данными, вы можете создавать данные любым способом, который вы считаете значимым для вашего бизнеса.

На вкладке редактора AlloyDB Studio выполните следующую команду, которая обновит поле pdt_desc контекстными данными:

UPDATE
 apparels
SET
 pdt_desc = CONCAT('This product category is: ', category, ' and sub_category is: ', sub_category, '. The description of the product is as follows: ', content, '. The product image is stored at: ', uri)
WHERE
 id IS NOT NULL;

Этот DML создает простую контекстную сводку, используя информацию из всех полей, доступных в таблице, и других зависимостей (если таковые имеются в вашем случае). Для более точного набора информации и создания контекста вы можете формировать данные любым способом, который вы считаете значимым для вашего бизнеса.

7. Создание вложений для контекста

Компьютерам гораздо проще обрабатывать числа, чем текст. Система внедрения преобразует текст в ряд чисел с плавающей запятой, которые должны представлять текст, независимо от того, как он сформулирован, на каком языке он используется и т. д.

Рассмотрим описание прибрежного места. Его можно назвать "on the water », « beachfront », « walk from your room to the ocean », « sur la mer », « на берегу океана » и т. д. Все эти термины выглядят по-разному, но их семантическое значение или, в терминологии машинного обучения, их вложения должны быть очень близки друг к другу.

Теперь, когда данные и контекст готовы, мы запустим SQL, чтобы добавить внедрения столбца описания продукта (pdt_desc ) в таблицу в поле embedding . Вы можете использовать различные модели внедрения. Мы используем text-embedding-005 от Vertex AI.

Убедитесь, что вы используете одну и ту же модель внедрения во всем проекте.

1. В AlloyDB Studio выполните следующую команду, чтобы сгенерировать внедрения, и обновите столбец pdt_desc , добавив внедрения для хранящихся в нем данных:

Если вы используете существующий проект Google Cloud, созданный некоторое время назад, вам, возможно, придется продолжать использовать более старые версии модели встраивания текста, например textembedding-gecko.

UPDATE
 apparels
SET
 embedding = embedding( 'text-embedding-005',
   pdt_desc)
WHERE
 TRUE;

2. Убедитесь, что внедрения создаются, выполнив следующую команду:

SELECT
 id,
 category,
 sub_category,
 content,
 embedding
FROM
 Apparels
LIMIT 5;

Ниже приведен пример вектора внедрения, который выглядит как массив чисел с плавающей запятой для примера текста в запросе следующим образом:

Вновь созданные проекты Google Cloud на бесплатном уровне могут столкнуться с проблемами квот, когда речь идет о количестве запросов на внедрение, разрешенных в секунду для моделей внедрения. Мы предлагаем вам использовать фильтрационный запрос для идентификатора, а затем выборочно выбирать 1–5 записей и т. д. при создании внедрения.

8. Выполнить векторный поиск

Теперь, когда таблица, данные и внедрения готовы, давайте выполним векторный поиск в реальном времени для текста поиска пользователя.

Предположим, что поисковый текст пользователя: « pink color, casual, pure cotton tops for women ».

Чтобы найти совпадения для этого запроса, выполните следующий SQL-запрос:

SELECT
id,
category,
sub_category,
content,
pdt_desc AS description
FROM
apparels
ORDER BY
embedding <=> embedding('text-embedding-005',
  'pink color, casual, pure cotton tops for women')::vector
LIMIT
5;

Давайте рассмотрим этот запрос подробно:

В этом запросе

1. Текст поиска пользователя: « I want womens tops, pink casual only pure cotton.
2. Мы преобразуем этот искомый текст во встраивания, используя метод embedding() вместе с моделью: text-embedding-005 . Этот шаг должен выглядеть знакомо после предыдущего шага, где мы применили функцию внедрения ко всем элементам таблицы.
3. " <=> " представляет собой использование метода расстояния COSINE SIMILARITY . Вы можете найти все доступные меры сходства в документации pgvector .
4. Мы преобразуем результат метода внедрения в векторный тип данных, чтобы сделать его совместимым с векторами, хранящимися в базе данных.
5. LIMIT 5 означает, что мы хотим извлечь 5 ближайших соседей для искомого текста.

Ниже показан пример ответа на этот SQL-запрос:

Как вы можете видеть по результатам, совпадения довольно близки к искомому тексту. Попробуйте изменить цвет, чтобы увидеть, как изменятся результаты.

Индекс AlloyDB ScaNN для оценки производительности запросов

Теперь предположим, что мы хотим повысить производительность (время запроса), эффективность и запоминаемость результатов векторного поиска с помощью индекса ScaNN .

Прочтите шаги в этом блоге, чтобы сравнить разницу в результатах с индексом и без него.

Если вы хотите использовать индекс ScanNN, попробуйте выполнить следующие действия:

1. Поскольку у нас уже созданы кластер, экземпляр, контекст и внедрения, нам просто нужно установить расширение ScaNN, используя следующий оператор:

CREATE EXTENSION IF NOT EXISTS alloydb_scann;

2. Создайте индекс ScanNN:

CREATE INDEX apparel_index ON apparels
USING scann (embedding cosine)
WITH (num_leaves=54);

В приведенном выше DDL:

• apparel_index — это имя индекса.
• apparels — это название таблицы.
• scann — это индексный метод.
• embedding — это столбец таблицы, который вы хотите проиндексировать.
• cosine — это метод расстояния, который вы хотите использовать с индексом.
• 54 — это количество разделов, которые можно применить к этому индексу. Установите любое значение от 1 до 1048576. Дополнительные сведения о том, как определить это значение, см . в разделе Настройка индекса ScanNN .

Согласно рекомендации репозитория ScanN , мы использовали КВАДРАТНЫЙ КОРЕНЬ из количества точек данных. При секционировании num_leaves должно примерно равняться квадратному корню из количества точек данных.

3. Проверьте, создан ли индекс с помощью запроса:

SELECT * FROM pg_stat_ann_indexes;

4. Выполните векторный поиск, используя тот же запрос, который мы использовали без индекса:

select * from apparels
   ORDER BY embedding <=> CAST(embedding('textembedding-gecko', 'white tops for girls without any print') as vector(768))
   LIMIT 20

Приведенный выше запрос аналогичен тому, который мы использовали в лабораторной работе на шаге 8. Однако теперь у нас есть поле, проиндексированное с использованием индекса ScaNN.

5. Протестируйте с помощью простого поискового запроса с индексом и без него. Для тестирования без индекса необходимо удалить индекс:

white tops for girls without any print

Приведенный выше текст поиска в запросе векторного поиска по ИНДЕКСИРОВАННЫМ данным внедрения приводит к качественным результатам поиска и эффективности. Эффективность значительно повышается (с точки зрения времени выполнения: 10,37 мс без ScaNN и 0,87 мс с ScaNN) с помощью индекса. Для получения дополнительной информации по этой теме, пожалуйста, обратитесь к этому блогу .

9. Проверка соответствия с LLM

Прежде чем двигаться дальше и создавать сервис для возврата лучших совпадений в приложение, давайте воспользуемся генеративной моделью ИИ, чтобы проверить, действительно ли эти потенциальные ответы актуальны и безопасны ли для обмена ими с пользователем.

Обеспечение настройки экземпляра для Gemini

1. Убедитесь, что google_ml_integration уже включена для вашего кластера и экземпляра. В AlloyDB Studio выполните следующую команду:

show google_ml_integration.enable_model_support;

Если значение отображается как «включено» , вы можете пропустить следующие 2 шага и сразу перейти к настройке.

интеграция AlloyDB и модели Vertex AI.

1. Перейдите к основному экземпляру вашего кластера AlloyDB и нажмите «РЕДАКТИРОВАТЬ ОСНОВНОЙ ЭКЗЕМПЛЯР» .

2. В разделе «Параметры расширенной конфигурации» разверните раздел «Новый флаг базы данных» и убедитесь, что google_ml_integration.enable_model_support flag установлено значение « on » следующим образом:

3. Если для него не установлено значение « on », установите для него значение « on », а затем нажмите «ОБНОВИТЬ ЭКЗЕМПЛЯР» .

Этот шаг займет несколько минут.

Интеграция моделей AlloyDB и Vertex AI

Теперь вы можете подключиться к AlloyDB Studio и запустить следующую инструкцию DML, чтобы настроить доступ к модели Gemini из AlloyDB, используя идентификатор вашего проекта, где указано. Перед запуском команды вас могут предупредить о синтаксической ошибке, но она должна работать нормально.

1. В Google Cloud Console перейдите в AlloyDB . Выберите основной кластер и нажмите AlloyDB Studio на панели навигации слева.
2. Мы будем использовать gemini-1.5-pro:generateContent , который доступен по умолчанию с расширением google_ml_integration .
3. Вы можете проверить модели, настроенные для доступа, с помощью следующей команды в AlloyDB Studio:

select model_id,model_type from google_ml.model_info_view;        

4. Предоставьте пользователям базы данных разрешение на выполнение функции ml_predict_row для выполнения прогнозов с использованием моделей Google Vertex AI, выполнив следующую команду:

GRANT EXECUTE ON FUNCTION ml_predict_row to postgres;

Если вы используете существующий проект Google Cloud и существующий кластер/экземпляр AlloyDB, созданный некоторое время назад, вы можете обновить версию google_ml_integration до последней, запустив ALTER EXTENSION google_ml_integration UPDATE; команда для получения доступа к моделям со встроенной поддержкой.

Оценка ответов

Хотя в следующем разделе, где мы фактически перенесем приложение в Cloud Run, нам придется использовать один большой запрос, чтобы гарантировать, что ответы на запрос являются разумными, запрос может быть трудным для понимания.

Мы рассмотрим отдельные разделы, которые помогут построить более крупный запрос, который мы в конечном итоге используем.

1. Сначала мы отправим запрос в базу данных, чтобы получить 5 наиболее близких совпадений с пользовательским запросом. Мы жестко запрограммировали запрос, чтобы сделать его простым, но не волнуйтесь, мы интерполируем его в запрос позже.

Мы включаем описание продукта из таблицы apparels и добавляем два новых поля: одно объединяет описание с индексом, а другое — с исходным запросом. Эти данные сохраняются в таблице с именем xyz , которая является временным именем таблицы.

CREATE TABLE
 xyz AS
SELECT
 id || ' - ' || pdt_desc AS literature,
 pdt_desc AS content,
 'I want womens tops, pink casual only pure cotton.' AS  user_text
FROM
 apparels
ORDER BY
 embedding <=> embedding('text-embedding-005',
   'I want womens tops, pink casual only pure cotton.')::vector
LIMIT
 5;

Результатом этого запроса будут 5 наиболее похожих строк, относящихся к запросу пользователя.

новая таблица xyz будет содержать 5 строк, каждая из которых будет иметь следующие столбцы:

• literature
• content
• user_text

2. Чтобы определить, насколько действительны ответы, мы воспользуемся сложным запросом, в котором объясним, как оценивать ответы. Он использует user_text и content таблицы xyz как часть запроса.

"Read this user search text: ', user_text, 
' Compare it against the product inventory data set: ', content, 
' Return a response with 3 values: 1) MATCH: if the 2 contexts are at least 85% matching or not: YES or NO 2) PERCENTAGE: percentage of match, make sure that this percentage is accurate 3) DIFFERENCE: A clear short easy description of the difference between the 2 products. Remember if the user search text says that some attribute should not be there, and the record has it, it should be a NO match."

3. Используя этот запрос, мы затем проверим «качественность» ответов в таблице xyz . Когда мы говорим «хорошо», мы имеем в виду, насколько точно генерируемые реакции соответствуют нашим ожиданиям.

CREATE TABLE
  x AS
SELECT
  json_array_elements( google_ml.predict_row( model_id => 'gemini-1.5',
      request_body => CONCAT('{
 "contents": [ 
        { "role": "user", 
          "parts": 
             [ { "text": "Read this user search text: ', user_text, ' Compare it against the product inventory data set: ', content, ' Return a response with 3 values: 1) MATCH: if the 2 contexts are at least 85% matching or not: YES or NO 2) PERCENTAGE: percentage of match, make sure that this percentage is accurate 3) DIFFERENCE: A clear short easy description of the difference between the 2 products. Remember if the user search text says that some attribute should not be there, and the record has it, it should be a NO match." 
             } ]
         } 
] }'
)::json))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text'
AS LLM_RESPONSE
FROM
    xyz;

4. predict_row возвращает результат в формате JSON. Код « -> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text'" используется для извлечения фактического текста из этого JSON. Чтобы увидеть фактический возвращаемый JSON, вы можете удалить этот код.
5. Наконец, чтобы получить поле LLM, вам просто нужно извлечь его из таблицы x:

SELECT 
LLM_RESPONSE 
FROM 
        x;

6. Это можно объединить в один запрос следующим образом:

Предупреждение . Если вы выполнили приведенные выше запросы для проверки промежуточных результатов,

убедитесь, что вы удалили таблицы xyz и x из базы данных AlloyDB перед выполнением этого запроса,

SELECT
 LLM_RESPONSE
FROM (
 SELECT
 json_array_elements( google_ml.predict_row( model_id => 'gemini-1.5',
     request_body => CONCAT('{
     "contents": [
       { "role": "user",
         "parts":
            [ { "text": "Read this user search text: ', user_text, ' Compare it against the product inventory data set: ', content, ' Return a response with 3 values: 1) MATCH: if the 2 contexts are at least 85% matching or not: YES or NO 2) PERCENTAGE: percentage of match, make sure that this percentage is accurate 3) DIFFERENCE: A clear short easy description of the difference between the 2 products. Remember if the user search text says that some attribute should not be there, and the record has it, it should be a NO match."
            } ]
        }
] }'
)::json))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text'
AS LLM_RESPONSE
   FROM (
         SELECT
           id || ' - ' || pdt_desc AS literature,
           pdt_desc AS content,
         'I want womens tops, pink casual only pure cotton.' user_text
         FROM
           apparels
         ORDER BY
             embedding <=> embedding('text-embedding-005',
             'I want womens tops, pink casual only pure cotton.')::vector
         LIMIT
           5 ) AS xyz ) AS X;

Более крупный запрос представляет собой комбинацию всех запросов, которые мы выполняли на предыдущих шагах. Результаты показывают, есть ли совпадение, какой процент совпадения, а также некоторые пояснения к рейтингу.

Обратите внимание, что в модели Gemini потоковая передача включена по умолчанию, поэтому фактический ответ распределяется по нескольким строкам:

10. Перенесите приложение в Интернет

Теперь мы разместим это приложение, чтобы к нему можно было получить доступ из Интернета.

Создайте функцию Cloud Run

1. В Google Cloud Console перейдите в раздел «Функции запуска облака», используя следующую ссылку:

https://console.cloud.google.com/run/create?deploymentType=function

2. В Configuration установите имя функции « retail-engine » и выберите регион « us-central1 ».
3. В URL-адресе конечной точки выберите среду выполнения Java 17 .
4. В разделе «Аутентификация» выберите «Разрешить неаутентифицированные вызовы» .
5. Разверните Контейнер(ы), Тома, Сеть, Безопасность и перейдите на вкладку Сеть .
6. Выберите «Подключиться к VPC для исходящего трафика» , а затем нажмите « Использовать соединители бессерверного доступа к VPC» .
7. В разделе «Сеть» нажмите «Добавить новый соединитель VPC» . Включите API-интерфейс бессерверного доступа к VPC , если он еще не включен.
8. В соединителе «Создать» задайте имя alloydb-test-conn .
9. Установите регион us-central .
10. Оставьте значение «Сеть» по умолчанию и установите «Подсеть» в качестве «Пользовательский диапазон IP-адресов» с доступным диапазоном IP-адресов 10.8.0.0 или чем-то подобным.
11. Разверните «Показать настройки масштабирования» и установите для параметра «Минимум экземпляров» значение 2, а для параметра «Максимум экземпляров» — 3.
12. Выберите тип экземпляра f1-micro . Ниже показаны параметры создания соединителя:

13. Нажмите «Создать», чтобы создать соединитель.
14. В разделе «Маршрутизация трафика» выберите «Направить весь трафик в VPC» .
15. Нажмите «Создать» , чтобы создать функцию.

Развертывание приложения

После создания функции обновите исходный код и повторно разверните приложение.

1. В Cloud Run перейдите на вкладку «Сервисы» и выберите функцию «Retail-Engine» .
2. Откройте вкладку «Источник». Оставьте для точки входа функции по умолчанию значение « gcfv2.HelloHttpFunction ».
3. Замените содержимое файла HelloHttpFunction.java содержимым из этого файла Java .
4. Обновите данные AlloyDbJdbcConnector в файле в соответствии с данными вашего экземпляра и кластера AlloyDB. Замените $PROJECT_ID идентификатором проекта вашего кластера и экземпляра AlloyDB.

5. Замените содержимое файла pom.xml содержимым этого XML- файла.
6. Нажмите «Сохранить и повторно развернуть» , чтобы развернуть функцию.

11. Протестируйте приложение для розничной торговли

После развертывания обновленной облачной функции вы должны увидеть конечную точку в следующем формате:

Чтобы узнать номер вашего проекта Google Cloud, на левой панели навигации Google Cloud Console нажмите «Обзор облака» > «Панель мониторинга» . В информации о проекте вы можете найти номер проекта.

https://retail-engine-PROJECT_NUMBER.us-central1.run.app

Вы можете протестировать его из терминала Cloud Shell, выполнив следующую команду:

gcloud functions call retail-engine --region=us-central1 --gen2 --data '{"search": "I want some kids clothes themed on Disney"}'

Альтернативно вы можете протестировать функцию Cloud Run следующим образом:

PROJECT_ID=$(gcloud config get-value project)

curl -X POST https://retail-engine-$PROJECT_NUMBER.us-central1.run.app \
  -H 'Content-Type: application/json' \
  -d '{"search":"I want some kids clothes themed on Disney"}' \
  | jq .

И результат:

Теперь, когда мы запустили поиск вектора сходства с использованием модели встраивания для данных AlloyDB, мы можем перейти к созданию приложения, которое использует эти встраивания вместе с вашим изображением и предлагает генерировать предложения по стилю.

12. Понять порядок рекомендаций по одежде

Приложение рекомендаций по экипировке — это приложение для загрузки спринта, которое настроено для работы с встраиваниями, которые мы создали в приложении розничной торговли AlloyDB вместе с Gemini и Imagen, для создания вариантов визуального стиля экипировки. Он также позволяет добавлять собственные подсказки и импровизировать рекомендации.

Подумайте об этом так: вы загружаете в это приложение изображение ярко-розового топа из вашего гардероба. Когда вы нажимаете «Показать», на основе подсказки, заданной в коде приложения, и встроенных данных в базе данных AlloyDB, приложение генерирует несколько параметров, соответствующих исходному изображению. Теперь вам интересно, как предложенные варианты могут выглядеть с синим ожерельем, поэтому вы добавляете подсказку в эти строки и нажимаете «Стиль». Создается окончательное изображение, сочетающее в себе мощное сочетание исходного изображения и рекомендаций по созданию подходящего наряда.

Чтобы начать создавать приложение с рекомендациями по одежде, выполните следующие действия:

1. В Cloud Run откройте приложение розничной торговли и запишите URL-адрес вашего приложения. Это репозиторий вложений, который мы будем использовать для генерации подобных предложений.
2. В своей IDE клонируйте репозиторий https://github.com/AbiramiSukumaran/outfit-recommender/ . В этом упражнении показанные шаги выполняются в Visual Studio Code IDE.

git clone https://github.com/AbiramiSukumaran/outfit-recommender/

Ниже приведены некоторые важные файлы в каталоге приложения:

• src/main : Исходный каталог, в котором находятся файлы приложения и HTML:
• HelloWorldApplication.java : основная точка входа для приложения весенней загрузки.
• HelloWorldController.java : контроллер REST Spring Boot, который обрабатывает HTTP-запросы, связанные с приложением рекомендации одежды. Этот файл обрабатывает запросы GET и POST, обрабатывает запросы пользователя, анализирует изображения, взаимодействует с встраиваниями AlloyDB и возвращает окончательный ответ пользовательскому интерфейсу. Этот контроллер вызывает класс GenerateImageSample.
• GenerateImageSample.java : содержит класс генерации изображений, который подключается к Vertex AI, форматирует пользовательское приглашение, выполняет вызовы API к модели Imagen, возвращает прогнозируемое изображение в класс контроллера.
• Resources : этот каталог содержит изображения и файлы HTML, необходимые для создания пользовательского интерфейса приложения.
• Pom.xml : определяет зависимости и конфигурации проекта.

3. В коде Visual Studio откройте HelloWorldController.java и обновите экземпляры идентификатора проекта и местоположения в соответствии с местом создания вашего экземпляра AlloyDB.

4. Обновите endpoint , указав URL-адрес приложения для розничной торговли, который вы разместили ранее.

5. Откройте GenerateImageSample.java и обновите идентификатор проекта и местоположение в соответствии с местом создания вашего экземпляра AlloyDB.

Для проектов с бесплатным тарифом или если вы сталкиваетесь с ограничениями на создание изображений с использованием человеческих ресурсов.

рисунок, вы можете изменить приглашение post_context , чтобы Generate a high-quality, aesthetically pleasing image suitable for fashion recommendations. Show a two piece outfit from the provided image without a human figure and using other details described in the prompt. генерировать рекомендации по стилю. Кроме того, закомментируйте paramsMap.put("personGeneration", "allow_adult"); параметр.

6. Сохраните все файлы.

Теперь мы развернем это приложение в бессерверной среде выполнения Cloud Run.

13. Перенесите приложение в Интернет

Теперь, когда мы добавили соответствующий проект, местоположение и сведения о приложении для розничной торговли в приложение весенней загрузки рекомендации по оборудованию, мы можем развернуть приложение в Cloud Run.

Мы будем использовать команду gcloud run deploy в терминале Visual Code Studio для развертывания приложения. Для Visual Studio Code вы можете установить расширение Google Cloud Code, чтобы начать использовать интерфейс командной строки gcloud.

Чтобы развернуть приложение, выполните следующие действия:

1. В вашей IDE откройте клонированный каталог и запустите терминал. В Visual Code Studio нажмите «Терминал» > «Новый терминал» .
2. Следуйте инструкциям в этом документе , чтобы установить интерфейс командной строки gcloud.
3. Если вы используете Visual Code Studio, нажмите «Расширения» , найдите Google Cloud Code и установите расширение.
4. В терминале IDE подтвердите свою учетную запись Google, выполнив следующую команду:

gcloud auth application-default login

5. Установите идентификатор проекта в тот же проект, в котором находится ваш экземпляр AlloyDB.

gcloud config set project PROJECT_ID

6. Запустите процесс развертывания.

gcloud run deploy

7. В Source code location нажмите Enter, чтобы выбрать клонированный каталог GitHub.
8. В Service name » введите имя службы, например Outfit-Recommender, и нажмите Enter.
9. В Please specify a region введите местоположение, где размещен ваш экземпляр AlloyDB и приложение для розничной торговли, например 32 для us-central1, и нажмите Enter.

10. В поле Allow unauthenticated invocations to [..] введите Y и нажмите Enter.

На следующем изображении показан ход развертывания вашего приложения:

14. Протестируйте приложение рекомендации нарядов

После успешного развертывания приложения в Cloud Run вы сможете увидеть сервис в Google Cloud Console следующим образом:

1. В Google Cloud Console перейдите в Cloud Run .
2. В разделе «Службы» щелкните развернутую службу рекомендации по оборудованию . Вы должны увидеть как розничный движок , так и службу рекомендации одежды следующим образом:

3. Щелкните URL-адрес приложения, чтобы открыть пользовательский интерфейс приложения-рекомендатора.

    The following is a sample URL that you will use:

https://outfit-recommender-22905290964.us-central1.run.app/style

Развернутое приложение можно увидеть следующим образом:

Использование приложения

Чтобы начать использовать приложение, выполните следующие действия:

1. Нажмите «Загрузить» и загрузите изображение предмета одежды.
2. После загрузки изображения нажмите «Стиль» . Приложение использует изображение в качестве подсказки и генерирует нижние параметры на основе подсказки приложения для розничной торговли, которая включает в себя встраивания для набора розничных данных.

Приложение генерирует предложения изображений, а также подсказку на основе изображения с рекомендациями по стилю. Например, A white semi-sheer button up blouse with pink floral patterns on it, with balloon sleeves.

3. Вы можете передать дополнительные запросы в эту автоматически созданную рекомендацию по стилю. Например, STYLE RECOMMENDATION: Cute brown skirt on a curly updo. Make it photo realistic. Accessorize with cherry earrings and burgundy plastic case sling bag.
4. Нажмите «Показать» , чтобы увидеть окончательный стиль.

15. Очистить

Чтобы избежать списания средств с вашей учетной записи Google Cloud за ресурсы, используемые в этом посте, выполните следующие действия:

1. В консоли Google Cloud перейдите на страницу «Управление ресурсами» .
2. В списке проектов выберите проект, который хотите удалить, и нажмите «Удалить» .
3. В диалоговом окне введите идентификатор проекта, а затем нажмите «Завершить работу» , чтобы удалить проект.

16. Поздравления

Поздравляем! Вы успешно выполнили поиск по сходству с помощью поиска AlloyDB, pgvector и Vector, а также использовали результаты поиска с мощной моделью Imagen для генерации рекомендаций по стилю.