Создайте приложение для чата с использованием анализа диалогов и Looker.

1. Прежде чем начать

В этом практическом занятии вы познакомитесь с использованием API анализа разговоров (CA API) с Looker для создания собственного чат-приложения для запросов к данным. Для получения максимальной пользы вам необходимо быть знакомым с BigQuery, Looker, LLM-модулями и агентами, а также с Python.

Что вы узнаете

После выполнения этого практического задания вы узнаете:

• Как использовать разговорную аналитику с Looker
• Как настроить и использовать приложение для быстрого запуска Conversational Analytics Python (и как работает это приложение)
• Преимущества использования Looker для семантического моделирования с помощью разговорной аналитики.

Что вам понадобится

Для выполнения этого практического задания вам потребуется:

• Экземпляр Looker с установленным блоком Looker для демографических данных ASC.
• API и доступ для разработчиков к вашему экземпляру Looker.
• Локальная среда с установленными Python версии 3.11+, Git и gcloud.
• Облачный проект с настроенными для вашей учетной записи пользователя ролями IAM:
• roles/bigquery.dataViewer BigQuery Data Viewer
• roles/bigquery.user Пользователь BigQuery
• roles/looker.instanceUser Looker Instance User

2. Создайте и протестируйте свое приложение для чата с помощью BigQuery.

Для начала давайте настроим и протестируем приложение для быстрого запуска Conversational Analytics, используя BigQuery в качестве источника данных.

Аутентификация и активация облачных API

1. Пройдите локальную аутентификацию с помощью своей учетной записи пользователя:

gcloud auth login

2. Включите API облачных проектов. Пожалуйста, замените YOUR_PROJECT_ID на идентификатор вашего проекта Google Cloud:

gcloud services enable geminidataanalytics.googleapis.com bigquery.googleapis.com cloudaicompanion.googleapis.com --project=YOUR_PROJECT_ID

3. Настройка учетных данных приложения по умолчанию (ADC) и выставления счетов:

gcloud auth application-default login
gcloud auth application-default set-quota-project YOUR_PROJECT_ID

Настройте приложение быстрого запуска.

4. Клонируйте репозиторий quickstart на GitHub в свою локальную среду. См. пример команды ниже:

git clone "https://github.com/looker-open-source/ca-api-quickstarts"

5. Перейдите в клонированную директорию ca-api-quickstarts :

cd ca-api-quickstarts

6. Создайте файл secrets.toml в каталоге .streamlit . В полях YOUR_LOOKER_CLIENT_ID и YOUR_LOOKER_CLIENT_SECRET должны быть указаны идентификатор клиента Looker и секретный ключ клиента Looker из вашего экземпляра Looker. Содержимое файла должно быть следующим:

[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"

Для создания файла можно использовать следующую команду (пример). Обязательно замените значения на идентификатор вашего проекта, идентификатор клиента и секретный ключ клиента:

cat > .streamlit/secrets.toml <<'EOF'
[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"
EOF

7. Установите необходимые зависимости Python для приложения быстрого запуска:

pip install -r requirements.txt

8. Запустите приложение быстрого запуска:

streamlit run app.py

Вы используете разработанное вами приложение Streamlit — фреймворк для создания интерактивных приложений на Python с открытым исходным кодом, позволяющий создавать прототипы таких приложений. Для получения дополнительной информации ознакомьтесь с документацией Streamlit .

9. Откройте https://localhost:8501 в любом браузере.

Попробуйте приложение для быстрого запуска.

Вы находитесь на странице агентов приложения для быстрого запуска. У вас нет доступных агентов данных.

Что такое агент ИИ для обработки данных? Агенты ИИ — это программные системы, которые используют искусственный интеллект для достижения целей и выполнения задач от имени пользователей. Они обладают способностью к рассуждению, планированию и запоминанию, а также определенным уровнем автономности для принятия решений, обучения и адаптации. В нашем случае мы используем агентов ИИ для анализа наших данных. Поведение агента определяется системными инструкциями, заданными для него. Подробнее см. в статье «Что такое агенты ИИ?» .

10. Теперь давайте создадим агента данных, который будет говорить как пират, используя форму «Создать агента» :
11. Задайте поле «Отображаемое имя» :

Pirate BQ Agent

2. Установите поле « Системные инструкции» :

You are a pirate. Answer questions like a pirate

3. Выберите опцию BigQuery .
4. Установите поле «Проект» :

bigquery-public-data

5. Установите поле " Набор данных" :

google_trends

6. Настройте поле таблицы :

top_rising_terms

11. Выберите «Создать агента» .

В форме создания агента в приложении быстрого запуска вызывается конечная точка create dataAgent API центра сертификации через Python SDK gcloud, передавая системные инструкции агента и источник данных. Приложение использует Python SDK gcloud для всех вызовов API центра сертификации.

12. Теперь перейдём на страницу чата через левую панель навигации. Наш недавно созданный агент доступен для общения. Давайте начнём чат, добавив сообщение: "Здравствуйте, как дела?"
13. Теперь давайте немного узнаем об этом наборе данных: «О чём этот набор данных?»

Что происходит, когда вы отправляете запрос (или сообщение) в чате? Приложение отправляет ваше сообщение в качестве полезной нагрузки на конечную точку чата CA API. CA API, работая в фоновом режиме, использует системные инструкции агента данных и информацию из источника данных в качестве контекста для вашего запроса и отправляет запрос и контекст в Gemini. Затем CA API передает ответ Gemini обратно.

14. Задайте ещё один вопрос — что-то вроде этого:
15. Какие населенные пункты [Укажите штат] включены в набор данных?
16. «Не могли бы вы предоставить данные за последние 2 недели по [город, штат]?»
17. "Вы можете создать визуализацию?"

Вы только что завершили многоэтапный диалог со своим агентом данных и данными BigQuery в собственном чат-приложении.

3. Моделируйте и анализируйте свои данные в Looker.

Теперь давайте смоделируем и проанализируем те же данные BigQuery в Looker.

Запрос к данным переписи населения в BigQuery

Что произойдет, если мы подключимся к более крупному реляционному набору данных? Сначала мы создадим нового агента.

1. Вернитесь к форме «Создать агента » на странице агентов.
2. Задайте поле «Отображаемое имя» :

BQ Census Agent

2. Установите поле « Системные инструкции» :

You are really excited about census data, you love learning about the demographics in your area because you want to come up with marketing campaigns for your company

3. Выберите опцию BigQuery .
4. Установите поле «Проект» :

bigquery-public-data

5. Установите поле " Набор данных" :

census_bureau_acs

6. Настройте поле таблицы :

blockgroup_2018_5yr

2. Выберите «Создать агента» .
3. Задайте новоназначенному агенту оба этих вопроса:
4. «Какие данные у вас есть?»
5. «Не могли бы вы показать мне предварительный просмотр моих данных?»

Когда вы запрашиваете у агента предварительный просмотр данных, вы можете увидеть, что таблица не имеет удобочитаемого местоположения, связанного с ней, а только географический идентификатор (geo_id).

Используйте Looker для моделирования данных переписи населения.

Теперь мы будем использовать модель LookML для определения данных переписи населения из BigQuery. Мы решим проблемы, которые только что рассматривали.

4. Войдите в свою учетную запись Looker.
5. Чтобы получить доступ к файлам с демографическими данными ACS, перейдите в главное меню слева, выберите «Разработка» , а затем выберите marketplace_acs_census-v2 .
6. Давайте посмотрим на представление Looker. Откройте каталог imported_project , каталог acs_census-v2 и каталог geography .
7. Наконец, откройте файл cbsa.view .
8. В строке 17 мы видим, что LookML создает производную таблицу. Другими словами, этот код создает новую, объединенную таблицу путем соединения двух общедоступных наборов данных BigQuery: одного с данными переписи населения, а другого — с данными о географических границах. LookML позволяет объединять несколько наборов данных, создавая постоянную производную таблицу для запросов.

Постоянная производная таблица (PDT) — это таблица, созданная Looker и хранящаяся в вашей базе данных (в данном случае, BigQuery). Это материализованное представление сложного запроса. Вместо того чтобы каждый раз при запросе отчета пользователем выполнять один и тот же ресурсоемкий запрос, Looker может более эффективно обращаться к предварительно вычисленной PDT, повышая производительность и сокращая время выполнения запроса.

Кроме того, объединение данных определяется в версионируемом коде (LookML), а не в системных инструкциях, что делает разработку агентов более масштабируемой. С помощью LookML вы можете задавать конкретные предположения и ограничения в отношении ваших данных, чтобы поддерживать пользователей при взаимодействии с вашими данными через агента данных.

Изучите смоделированные данные переписи населения, полученные с помощью Looker.

Давайте быстро выполним запрос в окне Explore, чтобы продемонстрировать, что у нас есть один централизованный источник данных для запросов.

9. В левом главном навигационном меню выберите «Исследовать» , затем «Блок данных переписи населения», а затем «Штат и округ».
10. Выберите раздел «Образование» > «Степень младшего специалиста» .
11. Выберите следующие размеры:
12. География > Группа кварталов
13. География > Округ > Название округа
14. География > Штат > Штат .
15. Выполните запрос (вверху справа), и вы увидите, что эти географические идентификаторы (называемые «Группа блоков») теперь связаны с удобочитаемыми строками.
16. Откройте вкладку «Визуализация», и вы увидите эти данные на карте.

4. Попробуйте приложение для чата с Looker.

Теперь давайте создадим агент данных для Looker.

1. Перейдите на страницу агента вашего приложения быстрого запуска, где находится форма «Создать агента» :
2. Задайте поле «Отображаемое имя» :

Cartoon character data analyst

2. Установите значение поля « Системная инструкция »:

You are [fill in your favorite cartoon character, Bugs Bunny is a favorite]. Answer questions like that cartoon character

3. Выберите опцию Looker .
4. В поле Url укажите URL-адрес вашего экземпляра Looker: "https://..."
5. Установите поле «Модель» :

data_block_acs_bigquery

6. Установите поле «Исследовать» :

cbsa

7. Выберите «Создать агента» .
8. Перейдите на страницу чата и выберите только что созданного агента.
9. Давайте начнём чат, добавив сообщение: "Привет, как дела?"
10. Давайте попросим агента описать набор данных: «Какие данные у вас есть в наличии?»
11. Давайте зададим ещё несколько вопросов:
12. «В каком округе штата Нью-Йорк проживает наибольшее население?»
13. «А как насчет наибольшего количества выпускников средней школы на душу населения?»
14. «Не могли бы вы предоставить данные о численности населения по полу и штатам?»
15. «Я хотел бы увидеть столбчатую диаграмму с десятью штатами, имеющими наибольшую численность населения?»

Видите эту столбчатую диаграмму в вашем разговоре? API CA отправил в приложение сообщение со спецификацией диаграммы Vega. Спецификация диаграммы Vega содержит данные визуализации и ее конфигурации, такие как цвета, оси, тип диаграммы и т. д. С помощью этой спецификации приложение Streamlit отобразило ее в виде интерактивной диаграммы Vega, которую вы можете просматривать и с которой можете взаимодействовать. API CA позволяет не только запрашивать, но и визуализировать ваши данные с помощью агентов данных, создавая стандартные конфигурации визуализации для удобного просмотра.

5. Что еще может делать приложение для быстрого запуска?

Вы уже:

• Настройте приложение чата локально.
• Созданы агент данных BigQuery и агент данных Looker.
• Проводил беседы с вашими агентами обработки данных.
• Узнал о преимуществах семантического моделирования Looker в качестве контекста для ваших чатов.

Давайте опробуем другие возможности приложения для быстрого запуска:

1. Перезагрузите веб-страницу приложения быстрого запуска и перейдите на страницу чата.
2. Вы можете просмотреть свои прошлые беседы со всеми соответствующими сообщениями как из вашего агента BigQuery, так и из агента Looker. Фронтенд приложения не хранит прошлые беседы или сообщения, а получает их из API CA.

API CA предоставляет конечные точки для всех прошлых разговоров и их сообщений. Приложение получает прошлые разговоры из конечной точки списка разговоров API CA. Затем приложение получает все прошлые сообщения разговора из конечной точки списка сообщений . Когда вы отправляете сообщение в разговор, API CA может связать сообщения с разговором, чтобы включить все прошлые сообщения в разговор в качестве контекста для более полезного многоходового общения.

3. Теперь перейдите на страницу агентов и выберите своего агента Looker из списка.
4. Вы можете обновить конфигурацию агента или удалить его, если хотите. В интерфейсе приложения агенты не хранятся.

Приложение обращается к предоставленным API CA конечным точкам для отображения списка , создания , обновления и удаления агентов. Приложение использует возможности API CA для хранения и управления агентами. API CA также предоставляет другие операции с агентами!

6. Дополнительные задания и дальнейшее изучение.

При желании вы можете воспользоваться этой возможностью, чтобы ознакомиться с аналитикой разговоров и приложением для быстрого запуска. Или же поставьте перед собой задачу модифицировать приложение для быстрого запуска. Вы можете попробовать выполнить некоторые из следующих предложений и заданий или перейти к заключительному разделу.

Ознакомьтесь поближе с API центра сертификации и приложением для быстрого запуска.

• Узнайте больше о подробных системных инструкциях по управлению поведением вашего агента .
• Настройте еще один агент данных, указывающий на новый набор данных BigQuery.
• Установите новый блок Looker в свой экземпляр Looker, создайте агента и укажите ему новый набор данных Looker.

Задачи по быстрой модификации приложений

• Вы знакомы с встраиванием Looker? Если да, попробуйте встроить панель мониторинга Looker в приложение для быстрого запуска. Рассмотрите возможность использования компонента iframe от Streamlit .
• Найдите общедоступный набор данных, содержащий URL-адреса видео, и обновите логику отображения чата в приложении, чтобы в чате отображалось видео.

7. Заключение и выводы

Вы дошли до конца! Вы создали чат-приложение, разработали агентов обработки данных и общались с вашими данными, используя API Conversational Analytics. Давайте рассмотрим некоторые ключевые возможности и концепции!

Возможности анализа диалогов

Мы уже рассмотрели многие возможности анализа разговорной речи, такие как:

• Создание, обновление, перечисление, получение и удаление агентов данных.
• Направьте агентов обработки данных либо на BigQuery, либо на Looker в качестве источника данных.
• Создавайте, отображайте и получайте переписки и соответствующие им сообщения.
• Разработайте спецификации диаграммы Вега для наглядной визуализации в ходе диалогов.
• Используйте предыдущие сообщения в разговоре в качестве полезного контекста для будущих сообщений.

Преимущества использования Looker с API CA

Looker предоставляет централизованное, тестируемое и управляемое семантическое моделирование ваших данных. В сочетании с разговорной аналитикой Looker обеспечивает масштабируемый способ предоставления контекста для ваших агентов данных.

Что дальше?

• Для получения дополнительной информации, ознакомления с функциями и примерами использования, посетите документацию по анализу разговорной речи .
• Будьте в курсе последних обновлений и вносите свой вклад в репозиторий приложения quickstart .