Аналитика с помощью Data Agent Kit и Antigravity IDE

1. Введение

Сегодня утро понедельника, и финансовый директор только что отправил вам сообщение. Средняя стоимость заказа в этом месяце снизилась на 7%, но общая выручка осталась на прежнем уровне. Что-то не сходится, и совет директоров хочет получить ответы к пятнице.

Ваша компания, Cymbal Pets, является одним из крупнейших онлайн-ритейлеров товаров для животных в США. Необходимые вам данные разбросаны по трем сервисам Google Cloud: история продаж и заказов в BigQuery , записи о клиентах и ​​товарах в Cloud SQL и маркетинговые файлы в Cloud Storage . Обычно для проведения подобного межсервисного исследования требуется переключение между консолями, написание шаблонного кода для подключения и ручное объединение результатов.

В этом практическом задании вы будете использовать Google Cloud Data Agent Kit (DAK) в среде разработки Antigravity IDE для исследования аномалии с помощью естественного языка. Вы описываете, что ищете, а ИИ-агент обрабатывает соединения, SQL-запросы и межсервисные объединения BigQuery, Cloud SQL и Cloud Storage. После того, как вы разберетесь с проблемой, вы попросите агента создать конвейер dbt для практического применения ваших результатов, отладить реальную ошибку моделирования данных и предоставить финансовому директору рекомендацию, подкрепленную прогнозом.

Впервые используете Antigravity? Если вы впервые работаете с этой IDE, сначала ознакомьтесь с разделом «Начало работы с Google Antigravity» .

Что вы будете делать

• С помощью каталога знаний вы можете находить данные в BigQuery , Cloud SQL и Cloud Storage .
• Исследуйте аномалию , запрашивая данные из нескольких сервисов в рамках одного диалога с помощью инструментов MCP.
• Создайте конвейер dbt для подготовки и объединения данных между сервисами с использованием моделей подготовки и автоматизированных тестов.
• Устранение проблемы моделирования данных : агент самостоятельно диагностирует и исправляет ошибку в механизме разветвления данных.
• Прогнозируйте будущие тенденции и предоставляйте рекомендации на основе данных с помощью AI.FORECAST от BigQuery.

Что вам понадобится

• Веб-браузер, например Chrome.
• Антигравитация IDE
• Проект Google Cloud с включенной оплатой и доступом к консоли Google Cloud (для практических занятий рекомендуется использовать новый, выделенный проект).
• Базовые знания SQL и Google Cloud Console.

Данный практический семинар предназначен для специалистов среднего уровня по работе с данными (инженеров-аналитиков, аналитиков данных, специалистов по обработке данных).

Стоимость ресурсов, созданных в этом практическом задании, должна быть менее 5 долларов. Обязательно следуйте инструкциям по очистке в конце задания, чтобы удалить выделенные ресурсы.

Выберите инструмент: В этой лабораторной работе используется среда разработки Antigravity IDE. Вскоре мы выпустим альтернативные версии этого же исследования, адаптированные для Antigravity 2.0 , Antigravity CLI и кода Клода !

2. Прежде чем начать

В этом разделе вы запустите скрипт настройки, который подготовит всю вашу тестовую среду: набор данных BigQuery с данными о заказах, экземпляр Cloud SQL Postgres с данными о клиентах и ​​продуктах, а также хранилище Cloud Storage с записями рекламных кампаний. Выполнение скрипта занимает около 8-10 минут, при этом узким местом является подготовка Cloud SQL.

Выберите или создайте проект

Выберите существующий проект или создайте новый проект в консоли Google Cloud.

Подтвердите выставление счетов.

Убедитесь, что для вашего проекта Google Cloud включена функция выставления счетов. Подробнее о том, как это сделать, вы можете узнать, следуя этому руководству .

Запустить Cloud Shell

Для запуска скрипта настройки вы будете использовать Google Cloud Shell.

1. Откройте консоль Google Cloud и нажмите «Активировать Cloud Shell» в верхней части окна.

2. После подключения укажите идентификатор проекта и подтвердите свою среду:

gcloud config set project <<YOUR_PROJECT_ID>>
export PROJECT_ID=$(gcloud config get-value project)

Вы должны увидеть сообщение, похожее на следующее:

Your active configuration is: [cloudshell-####]
Updated property [core/project]

Клонируйте репозиторий

Клонируйте репозиторий codelab в свою среду Cloud Shell:

cd ~/
git clone --filter=blob:none --no-checkout https://github.com/GoogleCloudPlatform/devrel-demos.git
cd ~/devrel-demos
git sparse-checkout init --cone
git sparse-checkout set codelabs/agentic-data-labs
git checkout main
cd codelabs/agentic-data-labs/

Запустите скрипт установки.

Скрипт настройки автоматически подготавливает всю лабораторную среду, чтобы вы могли сразу же приступить к исследованию:

cd ~/devrel-demos/codelabs/agentic-data-labs/scripts
chmod +x setup.sh setup_sql.sh
./setup.sh

Что делает setup.sh :

1. Включает API: активирует BigQuery, Cloud SQL, Cloud Storage, Knowledge Catalog (Dataplex) и вспомогательные инфраструктурные API.
2. Создает ресурсы BigQuery: загружает пример истории заказов в набор данных cymbal_pets .
3. Создает сегмент облачного хранилища: загружает записи рекламных кампаний в исходный сегмент GCS.
4. Provisions Cloud SQL: запускает фоновый процесс для создания экземпляра PostgreSQL ( cymbal-pets-ops ).
5. Создает файл .env : сохраняет конфигурацию среды и базы данных для скриптов установки и завершения работы.

Ресурсы, созданные с помощью скрипта установки, удаляются на заключительном этапе очистки с помощью ./teardown.sh .

После завершения процесса вы увидите сводку по вашей текущей среде:

╔══════════════════════════════════════════════════════╗
║   Base Setup complete!                               ║
╚══════════════════════════════════════════════════════╝

Your core BigQuery and GCS assets are ready.
Cloud SQL is currently provisioning in the background and will be fully ready by Step 4.

  BigQuery:   YOUR_PROJECT_ID.cymbal_pets
              ├── orders
              └── order_items

  GCS:        gs://YOUR_PROJECT_ID-cymbal-pets-raw
              └── promo_events.json

Пока вы продолжаете выполнение следующих шагов лабораторной работы, база данных создается и заполняется в фоновом режиме. Вы можете в любое время отслеживать этот процесс в отдельной панели терминала, используя:

tail -f /tmp/cloudsql_setup.log

Обратите внимание на архитектуру данных: исторические записи о продажах (заказы и позиции заказов) хранятся в BigQuery, а оперативные данные приложений (клиенты, профили домашних животных и товары) — в Cloud SQL. Такое разделение отражает реальные организации, где аналитические хранилища и оперативные базы данных содержат разные элементы общей картины.

В качестве базового набора данных здесь используется официальный набор данных электронной коммерции Cymbal Pets (~1,9 млн заказов от 92 тыс. клиентов), дополненный данными о сделках между компаниями, которые и закладывают основу для расследования, которое вам предстоит провести.

Краткое содержание раздела: Вы запустили скрипт настройки для инициализации вашей тестовой среды и запустили фоновое выделение ресурсов базы данных.

3. Настройте IDE и Data Agent Kit.

Откройте Antigravity IDE

Не нужно ждать завершения работы Cloud SQL! Просто откройте Antigravity IDE и подключите её к своему проекту в Google Cloud.

1. Если вы еще этого не сделали, скачайте и установите Antigravity IDE со страницы загрузки Google Antigravity .
2. Запустите настольное приложение Antigravity IDE .
3. Создайте на локальном компьютере новую пустую папку (например, с именем agentic-data-labs ) и откройте её в IDE, выбрав «Открыть папку» . Она будет служить вашей локальной рабочей областью для этого практического задания.

Установите расширение Data Agent Kit.

Расширение Google Cloud Data Agent Kit добавляет браузер каталога данных, навыки агента и серверы MCP для BigQuery, Cloud SQL и Cloud Storage, позволяя запрашивать и проверять эти сервисы прямо из редактора.

1. В среде разработки Antigravity IDE щелкните значок «Расширения» на панели активности в левой части экрана (он выглядит как четыре квадрата).
2. В строке поиска в верхней части панели расширений введите Google Cloud Data Agent Kit .
3. Найдите первый результат с названием Google Cloud Data Agent Kit (опубликовано googlecloudtools ).
4. Нажмите кнопку «Установить» .
5. Возможно, появится запрос: «Доверяете ли вы издателю 'googlecloudtools' и его расширениям?» Нажмите «Доверять издателям и устанавливать» , чтобы продолжить.

После установки в левой части панели активности среды разработки Antigravity IDE появится новый значок Google Cloud Data Agent Kit .

Аутентифицируйте и настройте расширение.

После установки подключите расширение к своему проекту в Google Cloud.

1. Автоматически должна открыться страница регистрации под названием «Добро пожаловать в Google Cloud Data Agent Kit». Если вы не вошли в свою учетную запись Cloud, следуйте инструкциям, чтобы разрешить доступ.
2. В разделе «Сводка конфигурации» найдите поле «Проект». Щелкните раскрывающийся список и выберите свой проект Google Cloud. Установите регион как us-central1 . Затем выберите «Настроить серверы MCP» .

3. В панели «Конфигурация MCP» включите BigQuery и Cloud SQL . Затем нажмите «Начать» .

Расширение уже установлено или приветственная страница не открылась? Вы можете в любой момент открыть настройки расширения вручную. Щелкните значок Google Cloud Data Agent Kit на панели действий в левом верхнем углу, затем выберите «Настройки» , чтобы изменить конфигурацию.

Примечание об активных навыках/MCP: Если в вашей IDE активны другие пользовательские навыки или серверы MCP, они могут помешать нормальному выполнению этой лабораторной работы. Если агент ведет себя непредсказуемо, рассмотрите возможность его отключения для этой лабораторной работы.

Изучите параметры конфигурации.

После завершения настройки вы попадете на страницу "Начало работы с Google Cloud Data Agent Kit".

1. В разделе «Настройка и конфигурация» нажмите «Начать ».
2. Это откроет панель настройки Data Agent Kit . Изучите вкладки:
   • Проект и регион: Проверьте выбранный идентификатор проекта и убедитесь, что необходимые API (API облачного хранилища, API BigQuery, API каталога и API администрирования Cloud SQL) включены.
   • BigQuery: Настройте местоположение по умолчанию для ваших запросов BigQuery. Используйте регион us-central1 .
   • Настройка серверов MCP: Просмотрите список включенных серверов MCP (BigQuery, Notebooks, Cloud SQL и т. д.), которые позволяют агентам ИИ безопасно взаимодействовать с вашими данными.
   • Навыки: Изучите встроенные навыки , которые предоставляют агентам специализированные возможности для решения сложных задач обработки данных.

Краткое содержание раздела: Вы открыли Antigravity IDE, подключили его к своему проекту в Google Cloud и настроили удаленные серверы MCP Data Agent Kit.

4. Изучите свои данные

Давайте разберемся в ситуации. Вот что происходит: финансовый директор говорит, что средняя стоимость заказа в прошлом месяце снизилась на 7%, но общая выручка осталась на прежнем уровне. Прежде чем просить агента провести расследование, вам следует сначала понять, с какими данными вы работаете.

В этом разделе вы вручную изучите панель Data Agent Kit, чтобы получить общее представление о её работе. Понимание ваших данных до начала запросов к ним — это критически важный первый шаг в любом исследовании.

Изучите таблицы BigQuery

1. В панели Data Agent Kit, в разделе CATALOG , разверните свой проект → BigQuery → cymbal_pets .
2. Щёлкните по таблице orders . Откроется новая вкладка с подробным описанием таблицы.
3. Изучите вкладки в левой части окна просмотра таблиц:
   • Данные : Предварительный просмотр строк. Прокрутите набор данных и изучите столбцы.
   • Схема : Проверьте названия и типы столбцов. Обратите внимание на такие поля, как order_type и promo_code , которые станут важными позже.
   • Другие вкладки (Подробности, Аналитика, Профиль данных и т. д.) : Доступ к метаданным, истории происхождения данных и сведениям о качестве, которые вы обычно находите в консоли Google Cloud, — и все это, не выходя из редактора.

4. Теперь щелкните по таблице order_items и просмотрите ее схему. Обратите внимание на поля quantity и price .

Замечайте подсказки на ранней стадии. Просматривая данные, вы можете заметить некоторые необычные вещи: тип заказа B2B-Wholesale и поле promo_code . Пока не беспокойтесь о том, чтобы связать все воедино. Агент вам в этом поможет.

Изучите таблицы Cloud SQL.

Скрипт установки также разместил данные о клиентах, питомцах и товарах в базе данных PostgreSQL в Cloud SQL.

5. В панели Data Agent Kit в разделе CATALOG нажмите на Universal Search .
6. В поле поиска введите pet_profiles и нажмите Enter .
7. В результатах поиска щелкните по результату «Таблица PostgreSQL для pet_profiles » (в экземпляре Cloud SQL вашего проекта). Обратите внимание, что боковая панель автоматически развернется, показывая вам точное местоположение таблицы в дереве базы данных. Теперь щелкните по таблице customers , расположенной прямо над ней в дереве, чтобы открыть ее подробную информацию и изучить вкладки «Схема» и «Подробности» .

Изучите файлы облачного хранилища.

Наконец, данные о маркетинговых и рекламных кампаниях сохраняются в облачном хранилище в виде необработанных JSON-файлов.

8. В левой панели Data Agent Kit разверните раздел CLOUD STORAGE . Найдите необработанный сегмент вашего проекта ( YOUR_PROJECT_ID-cymbal-pets-raw ).
9. Щелкните файл promo_events.json внутри хранилища. Откроется новая вкладка редактора, позволяющая просматривать исходное JSON-содержимое маркетинговых кампаний непосредственно в IDE.

Подведите итоги

Вот что вам теперь известно об этих данных:

Услуга	Таблицы	Что там?
BigQuery	orders , order_items	Примерно 1,9 млн заказов, примерно 4,3 млн позиций, период 2023-2025 гг.
Облачный SQL	customers , pet_profiles , products	Примерно 92 тыс. клиентов, примерно 7,6 тыс. профилей домашних животных, 206 товаров.
Облачное хранилище	promo_events.json	записи рекламных кампаний

Почему данные распределены между сервисами? Это отражает реальные архитектуры. Cloud SQL — это OLTP (транзакционная) база данных. Она оптимизирована для быстрых операций на уровне строк, таких как обновление адреса клиента или обработка одного заказа. BigQuery — это OLAP (аналитическое) хранилище данных. Оно лучше подходит для сканирования миллионов строк, чтобы ответить на вопросы типа «какова средняя стоимость заказа в этом месяце?». В большинстве организаций данные хранятся в обоих типах хранилищ, поэтому инструменты для межсервисного анализа, такие как Data Agent Kit, так важны.

Данные распределены по трем сервисам. В традиционном рабочем процессе вам пришлось бы устанавливать соединения, писать код интеграции и вручную объединять результаты. На следующем шаге вы позволите агенту ИИ выполнить все это в рамках одного диалога.

Краткое содержание раздела: Вы использовали панель Data Agent Kit для ручного изучения архитектуры данных в BigQuery, Cloud SQL и Cloud Storage. Теперь вы знаете, где находятся данные и какие поля доступны, поэтому вы готовы начать исследование.

5. Следуйте за цифрами.

Теперь начинается расследование. Вы воспользуетесь панелью чата, чтобы попросить агента ИИ получить данные о средней стоимости заказа (AOV) из BigQuery. AOV — это бизнес-показатель, отражающий среднюю сумму, потраченную на один заказ. Агент выполнит запрос от вашего имени с помощью MCP Tools, и вы сможете увидеть каждый выполненный им SQL-запрос.

Отслеживайте тренд средней стоимости заказа.

1. В панели чата в правой части IDE введите следующую команду и нажмите Enter :

   Calculate our monthly average order value from August 2024 through January 2025
   using the orders and order_items tables in BigQuery.
   

2. Подтвердите права доступа к данным. Следует проявлять осторожность в отношении запросов к вашим базам данных, выполняемых агентами искусственного интеллекта. Data Agent Kit позволяет вам контролировать ситуацию, запрашивая явное разрешение перед доступом к данным. При появлении запроса вы можете выбрать:
   • Учитывайте следующее время: подтверждает однократное использование (идеально подходит для аудита запросов с высоким риском).
   • Всегда разрешать: Одобряет дальнейшее использование данного инструмента в течение сессии.
   • Нет: Полностью блокирует действие.

Для максимально комфортной работы в лаборатории выберите «Да» и «Всегда разрешать» . Примечание: разрешения предоставляются для каждого инструмента отдельно. Вскоре вы, вероятно, увидите еще несколько запросов, поскольку агент будет использовать новые инструменты (например, list_table_ids или execute_sql_readonly ). Вы также можете «всегда разрешать» их.

3. Наблюдайте за работой оператора. Панель чата одновременно служит журналом прозрачности всех действий оператора. Вместо черного ящика оператор показывает вам свои рассуждения и действия в режиме реального времени.
4. После завершения работы агента нажмите на выпадающее меню « Работа выполнена в течение Xm» под вашим запросом, чтобы развернуть полный журнал работы. Здесь вы можете точно узнать, как агент получил ваш ответ:
   • Исследовано: Разверните эти элементы, чтобы увидеть, как агент читает файлы, просматривает папки или вызывает инструменты MCP (например, datacloud_bigquery_remote / list_table_ids и execute_sql_readonly ). Вы можете просмотреть точные JSON-аргументы, переданные инструментам, и выполненный SQL-запрос.
   • Ran: Разверните эти элементы, чтобы увидеть все команды терминала, выполненные агентом, например, gcloud config list .

5. Просмотрите результаты. Агент должен вернуть таблицу ежемесячных значений среднего чека. Посмотрите на цифры сами: в предыдущие месяцы он колебался около ~110 долларов, а в январе опустился примерно до ~103 долларов. Именно на эту аномалию указал финансовый директор.

Что такое инструменты MCP и навыки агента? Инструменты MCP — это защищенные соединения, позволяющие агенту взаимодействовать с внешними сервисами, такими как BigQuery и Cloud SQL. Навыки агента — это предварительно созданные наборы инструкций (например discovering-gcp-data-assets ), которые обучают агента выполнению конкретных задач. Вместе они образуют уровень аудита. Щелкните по любому шагу, чтобы увидеть, что именно сделал агент и почему.

Детализация по каналам

Общий средний чек снизился, но откуда это взялось? Давайте разберемся.

1. В панели чата введите:

   January looks lower than the prior months. 
   Break down January's AOV by order_type to see what's going on?
   

2. Агент выполняет еще один запрос BigQuery, на этот раз группируя по order_type . Внимательно изучите результаты. Вы должны увидеть нечто поразительное: средний чек онлайн и офлайн остается стабильным на уровне около 110 долларов. Но появился новый канал, B2B-оптовая торговля , со значительно более низким средним чеком (около 75 долларов). Этот новый канал снижает средний чек.
3. Агент может по собственной инициативе предложить провести исследование B2B-клиентов. Если этого не произойдет, ничего страшного. Вы сделаете это на следующем этапе.

Агент сопоставляет факты. Обратите внимание, что агент интерпретирует результаты и может добровольно поделиться такими выводами, как: «Канал B2B-оптовая торговля, по-видимому, представляет собой новый тип заказов, которого не было в предыдущие месяцы». Такой проактивный анализ является ключевой особенностью работы агента.

Краткое содержание раздела: Вы сами заметили снижение среднего чека в январе, используя нейтральные данные, а затем, проанализировав данные по типу заказа, определили, что B2B-Wholesale является новым каналом, снижающим усредненный показатель. Теперь вам нужно выяснить, кто эти B2B-клиенты.

6. Пересечение границы зоны обслуживания.

Вы определили B2B-Wholesale как аномальный канал в BigQuery, но данные о клиентах хранятся в Cloud SQL. С помощью Data Agent Kit вы можете продолжить этот процесс, и он обработает границу между сервисами.

Изучите клиентов B2B.

1. В панели чата введите:

   Who are these B2B customers? Their profiles should be in our Cloud SQL database. 
   Check for:
   - Who they are
   - When they signed up
   - Whether they're new or existing customers
   

2. Внимательно следите за панелью чата. На этот раз должно появиться другое окно инструмента MCP . Теперь агент запрашивает данные из Cloud SQL вместо BigQuery. Агент подключается к экземпляру Cloud SQL Postgres cymbal-pets-ops и выполняет запрос к таблице customers . Нажмите « Показать подробности» , чтобы увидеть SQL-запрос.
3. Проанализируйте результаты. В ходе анализа должно быть выявлено несколько ключевых моментов:
   • У всех B2B-клиентов customer_type = 'Business'
   • Все они зарегистрировались в течение последних 30 дней (январь 2025 года).
   • Значения last_name представляют собой названия компаний, такие как "Pet Supply Co", "Animal Care LLC" и "Happy Paws Inc".
   • Их около 100 человек, и до этого месяца такой группы не существовало.

Пересечение границ сервисов. Агент выполнил запрос к двум разным сервисам Google Cloud (BigQuery и Cloud SQL) в рамках одного диалога. Обратите внимание на различное название инструмента MCP в панели чата. Не было настройки соединения, не было конфигурации учетных данных. Агент обработал это автоматически.

Введите промокод

4. Агент может самостоятельно заметить, что многие B2B-заказы в BigQuery имеют значение promo_code BIGORDER25 . Если он сам сообщит об этом наблюдении, отлично. Расследование, естественно, продвигается. Если же агент не упомянет промокод, напомните ему об этом:

   I noticed a promo_code field on the orders table in BigQuery. 
   Check what promo codes appear on the B2B-Wholesale orders?
   

5. Агент снова отправляет запрос в BigQuery и обнаруживает, что примерно 92% заказов B2B-оптовой торговли имеют promo_code = 'BIGORDER25' . Практически вся активность в сфере B2B связана с одной рекламной кампанией. Затем агент может поискать данные о рекламных акциях в другом месте системы (в облачном хранилище).

Краткое содержание раздела: Агент запросил данные в Cloud SQL и обнаружил, что все B2B-клиенты — это новые компании, зарегистрировавшиеся в январе 2025 года. В сочетании с данными BigQuery, показавшими, что примерно 92% их заказов имеют promo_code = 'BIGORDER25' , след теперь указывает на рекламную кампанию. Пора найти источник.

7. Найдите недостающую деталь.

Две услуги уже недоступны, осталась одна. Вы знаете, что произошло (заказы B2B снижают средний чек) и кто в этом виноват (новые бизнес-клиенты за последние 30 дней). Теперь вам нужно выяснить причину , и ответ кроется в облачном хранилище.

Проверьте хранилище GCS.

1. В панели чата введите:

   Good catch on the promo code. 
   We might have promotional campaign data in our GCS bucket. 
   Can you check what's there?
   

2. У агента нет предварительно настроенного инструмента MCP для облачного хранилища, поэтому он автоматически переключается на использование своего терминального инструмента для выполнения команд gcloud storage . Он запросит разрешение на выполнение таких команд, как gcloud storage ls . Разрешите эти команды, затем разверните журнал Ran в панели чата, чтобы увидеть точные команды CLI, которые он использовал для чтения и анализа файла promo_events.json .
3. Агент должен выявить в файле три рекламные кампании:

   Кампания	Промо-код	Скидка	Цель	Даты
   Летняя распродажа товаров для домашних животных	PETSUMMER15	Скидка 15%	Все	Июнь 2024 г.
   Оптовая торговля B2B	BIGORDER25	Скидка 25%	B2B	Январь 2025 г.
   Праздничный бонус для участников программы лояльности	LOYAL10	скидка 10%	Участники программы лояльности	Декабрь 2024 г.

   Вот в чем причина. Промокод BIGORDER25 привязан к акции под названием B2B Wholesale Push : скидка 25% для B2B-клиентов при минимальном заказе 50 единиц.

Три сервиса, один диалог. В последних трех разделах агент выполнил запросы к BigQuery (история продаж и заказов), Cloud SQL (данные о клиентах и ​​товарах) и Cloud Storage (записи о рекламных акциях) — все из одного и того же чата, без какой-либо настройки или переключения контекста с вашей стороны. В этом и заключается основная ценность Data Agent Kit: единый ИИ-агент, работающий со всей вашей инфраструктурой данных.

Соберите всё воедино

4. Попросите агента обобщить всю найденную информацию:

   Put it all together. 
   What happened to our average order value?
   

5. Агент предоставляет четкий, структурированный синтез, связывающий все три источника данных. Он должен объяснять что-то вроде:
   1. Падение среднего чека реально, но это не означает снижение объемов существующего бизнеса. Средний чек как в онлайн, так и в офлайн-магазинах остается стабильным на уровне около 110 долларов.
   2. В январе 2025 года появился новый канал оптовой торговли B2B , насчитывающий около 25 000 заказов со значительно более низким средним чеком (примерно 75-100 долларов).
   3. Клиентами B2B являются 100 новых бизнес-аккаунтов , которые зарегистрировались в течение последних 30 дней (Cloud SQL).
   4. Данная акция проводится в рамках рекламной кампании («B2B Wholesale Push»), предлагающей скидку 25% на оптовые заказы с минимальным объемом 50 единиц (облачное хранилище).
   5. Выручка остаётся на прежнем уровне, поскольку большой объём заказов B2B компенсирует снижение цен. Однако маржа на единицу продукции значительно снижена (примерно на 65%) из-за 25% оптовой скидки, что серьёзно угрожает общей прибыльности с учётом затрат на доставку и операционных расходов.
   В этот момент расследование дает четкий ответ. На вопрос финансового директора есть однозначный ответ: средний чек снизился, потому что маркетинговая программа B2B в январе привела к большому количеству заказов по низким ценам. Существующий бизнес находится в хорошем состоянии.

Краткое содержание раздела: Вы обнаружили причину в облачном хранилище: рекламная кампания B2B, предлагавшая скидку 25% на оптовые заказы. Агент обобщил результаты анализа всех трех сервисов в четкое изложение проблемы. Этап расследования завершен. Далее вы примените полученные результаты на практике.

8. Создайте конвейер

Вы раскрыли дело. Теперь финансовый директор хочет, чтобы этот анализ обновлялся автоматически. В этом разделе вы попросите агента создать проект dbt , который подготовит данные из BigQuery и создаст таблицу фактов для текущего анализа AOV.

Здесь агент переходит из роли следователя в роль инженера . Вы увидите, как он создает структуру целого проекта DBT и запускает весь конвейер обработки данных, и все это из одной командной строки.

Что такое dbt? dbt (инструмент построения данных) — это фреймворк, позволяющий специалистам по работе с данными преобразовывать данные в хранилище данных с помощью SQL. Он рассматривает SQL как код, добавляя контроль версий, автоматизированное тестирование и управление зависимостями.

Создание каркаса для проекта dbt

1. В панели чата введите следующую подсказку. Она намеренно ориентирована на достижение цели, а не на пошаговое выполнение. Вы сообщаете агенту, чего хотите, а не как это создать:

   I want to productionize our AOV analysis so it updates automatically. Build a dbt project that:
   1. Creates staging models for the BigQuery tables (orders and order_items) and a mart called fct_order_analysis that calculates AOV by channel and month
   2. Add a uniqueness test on order_id and run dbt build
   

2. Обратите внимание на самокоррекцию: если вы развернете журнал "Работано для Ns" , вы можете увидеть, как агент проверяет наличие dbt и, обнаружив его отсутствие, автоматически выполняет команды для создания виртуальной среды Python ( .venv ). Он сам настраивает среду!

3. Ознакомьтесь с планом реализации: агент сгенерирует формальный план реализации. Вы можете просмотреть предлагаемые файлы и архитектуру, добавить комментарии при необходимости и нажать «Продолжить» , чтобы агент выполнил план.

4. Следите за панелью чата, пока агент выполняет свой план, записывая необходимые файлы .sql и конфигурации YAML. После завершения и успешной компиляции проекта будет представлено краткое описание изменений. Нажмите «Принять все» , чтобы добавить эти файлы в свою рабочую область.

5. Изучите созданный проект dbt в окне проводника слева. Вы должны увидеть структуру, похожую на следующую:

   dbt/
   ├── models/
   │   ├── marts/
   │   │   └── fct_order_analysis.sql
   │   └── staging/
   │       ├── schema.yml
   │       ├── sources.yml
   │       ├── stg_order_items.sql
   │       └── stg_orders.sql
   ├── dbt_project.yml
   └── profiles.yml
   

6. Щелкните файлы модели .sql , чтобы просмотреть SQL-код, сгенерированный агентом. Обратите внимание на то, как он обрабатывает:
   • Модели для подготовки : чистые, переименованные столбцы со ссылками на источники.
   • Модель «умного магазина» : логика объединения и расчет AOV по каналам.
   • Обработка заказов без регистрации : Вы можете заметить COALESCE(customer_type, 'Guest') или ослабленные ограничения на значения NULL. Это моделирует розничные покупки, совершенные без учетной записи, и сохраняет действительный доход от заказа вместо удаления неполных записей.

Проверка кода Mart: Откройте models/marts/fct_order_analysis.sql . Обратите внимание, как он сначала агрегирует позиции заказа, чтобы таблица фактов оставалась детализированной по заказу. Совет: Редактируйте только исходные файлы внутри каталога models/ , а не автоматически сгенерированные в /target/ !

7. Проверьте панель чата (или перейдите к сгенерированному артефакту пошагового руководства ), чтобы убедиться, что агент подтвердил создание всех моделей и прохождение всех тестов. Результаты AOV из хранилища должны подтвердить то, что вы обнаружили во время расследования:

   - Online: ~$110
   - Offline: ~$110
   - B2B-Wholesale: ~$75 to $77
   

Краткое содержание раздела: Агент создал проект dbt на основе одной целенаправленной задачи: сгенерировал модели для промежуточного хранения и хранилища данных, успешно выполнил dbt build и подтвердил аномалию AOV. Далее вы предложите агенту сложную задачу, чтобы посмотреть, как он справится со сложными задачами.

9. При сбоях тестов агент выполняет отладку.

Конвейер обработки данных работает, но использует только данные BigQuery. Команда разработчиков хочет обогатить анализ данными о профилях клиентов и их питомцев из Cloud SQL, чтобы рекомендовать продукты, исходя из диетических потребностей. Это означает, что агенту необходимо преодолеть барьер Cloud SQL и обработать неочевидную ошибку моделирования данных — классическое «расширение» в многомерном моделировании.

Что такое «рассеивание данных»? Если один заказ принадлежит клиенту, у которого 3 питомца, стандартный SQL- JOIN создаст 3 одинаковые строки для этого одного заказа (по одной для каждого питомца). Это «рассеивает» данные и искажает такие показатели, как средняя стоимость заказа, поскольку доход от одного и того же заказа учитывается 3 раза! Чтобы это исправить, необходимо объединить данные о питомцах в список (массив) перед выполнением операции объединения.

В зависимости от используемой модели и её возможностей анализа, агент обработает этот запрос одним из двух способов: проактивно избегая ошибки (Вариант А) или самовосстанавливаясь после сбоя теста (Вариант Б). Давайте посмотрим, какой путь выберет ваш агент!

Инициировать запрос

1. В панели чата введите:

   Enrich fct_order_analysis with customer data and pet profile data from our Cloud SQL database. 
   Include customer type and each customer's pets and dietary needs so we can recommend products. 
   Keep the uniqueness test on order_id and run dbt build.
   

2. Наблюдайте за работой агента. Он обнаружит таблицы Cloud SQL, определит, как связать данные с BigQuery (с помощью федеративного запроса или материализованного копирования), создаст новые промежуточные модели и изменит fct_order_analysis.sql .

Архитектурная заметка: MCP против федеративных запросов
Ранее в Codelab агент напрямую обращался к Cloud SQL с помощью инструмента Cloud SQL MCP для интерактивного анализа. Теперь же внутри конвейера dbt dbt-bigquery выполняет преобразования в BigQuery. Для запроса данных Cloud SQL из BigQuery агент использует федеративные запросы BigQuery ( EXTERNAL_QUERY(...) ) через ресурс подключения BigQuery cymbal-pets-cloudsql .

Вариант А: Проактивный агент (предотвращение ошибок)

Если вы используете сложную модель логического мышления, агент может обнаружить сдвиг зерна до написания какого-либо кода . Поскольку у клиента может быть несколько питомцев, прямое соединение дублирует заказы и не проходит проверку уникальности, запрошенную вами для order_id .

1. Обратите внимание на проактивную агрегацию : в пояснении в панели чата или в пошаговом руководстве агент может отметить, что он предварительно агрегировал данные о питомцах перед их объединением, чтобы предотвратить «классическое разветвление». Обычно это делается путем объединения нескольких питомцев для каждого клиента с помощью функции агрегации (например, ARRAY_AGG() или STRING_AGG() ).
2. Проверьте результаты : dbt build выполняется успешно с первой попытки, поскольку агент заблаговременно защитил детализацию таблицы фактов. Вы можете убедиться в этом, проверив сгенерированный артефакт Walkthrough, который часто показывает успешный результат теста вместе с результатами запроса.

Агент избежал ошибки. Просмотрите сгенерированный SQL-код в файле fct_order_analysis.sql , чтобы увидеть, как он структурировал агрегацию, а затем перейдите к следующему разделу: «Выдать ответ» .

Вариант B: Самовосстанавливающийся агент (отладка и диагностика)

Если модель сначала выполнит наивное прямое левое соединение, сам SQL-запрос будет выполнен успешно, но автоматизированный набор dbt test обнаружит сдвиг зернистости!

1. Обратите внимание на сбой теста : вы увидите сообщение о сбое в журналах хода выполнения в панели чата.

   Completed with 1 error
   
   Failure in test unique_fct_order_analysis_order_id
   Got 287 results, configured to fail if != 0
   

   Проверка уникальности по order_id выявила дублирующиеся записи, поскольку клиенты с несколькими питомцами распределили заказы веером.
2. Позвольте агенту провести диагностику и самовосстановление : Поскольку тест не пройден, попросите агента выполнить отладку. В панели чата введите:

   The uniqueness test failed. Can you figure out why and fix it?
   

3. Следите за диагностикой : агент запросит данные, обнаружит связь «один ко многим» в pet_profiles , объяснит, что прямое соединение изменяет детализацию с одной строки на заказ на одну строку на заказ на питомца , и перепишет модель для предварительной агрегации профилей питомцев:

   -- Pre-aggregating pets per customer to resolve fan-out
   LEFT JOIN (
     SELECT
       customer_id,
       COUNT(*) AS num_pets,
       STRING_AGG(DISTINCT pet_type, ', ') AS pet_types,
       STRING_AGG(DISTINCT dietary_needs, ', ') AS dietary_needs
     FROM pet_profiles
     GROUP BY customer_id
   ) pet_agg ON c.customer_id = pet_agg.customer_id
   

4. Проверка исправления : агент снова запускает dbt build , и на этот раз все модели материализуются, и все тесты проходят успешно!

Краткое содержание раздела: Независимо от того, удалось ли вашему агенту предотвратить ошибку или успешно устранить ее самостоятельно после сбоя теста, вы видели, как система преодолевает барьер Cloud SQL, интегрирует данные профилей клиентов и питомцев и сохраняет одну строку на каждый заказ в таблице фактов. Конвейер завершен и протестирован!

10. Дайте ответ.

Сегодня четверг. Неделя началась с обеспокоенного финансового директора и разрозненных данных по трем облачным сервисам. Теперь у вас есть первопричина и производственный конвейер. Пришло время предоставить ответ, а также перспективную рекомендацию, подкрепленную количественным прогнозом.

Напишите краткое изложение для руководителей.

1. В панели чата введите:

   Write an executive summary covering:
   - Main findings and the quantitative margin impact
   - Project AOV for the subsequent quarter if the B2B program continues at its current trajectory
   - A data-driven recommendation
   

2. Наблюдайте за работой агента.

   Примечание о форматах вывода и их вариативности: Большие языковые модели являются недетерминированными. В зависимости от активной модели, агент может выводить краткое изложение непосредственно в панель чата или создавать специальный файл Markdown (например, executive_summary_cfo.md ​​или output.txt ) и размещать ссылку на него в чате.

   Точные цифры, рассчитанные итоговые значения (например, потенциальная упущенная выгода или среднее снижение среднего чека) и форматирование будут меняться от запуска к запуску. Важно лишь сохранить основную структурную логику полученных результатов.

3. Проанализируйте резюме агента. Типичный и хорошо структурированный ответ должен включать в себя следующее:
   • Основной вывод : в январе средний чек снизился исключительно из-за нового канала B2B-оптовой торговли. Онлайн и офлайн продажи остаются стабильными на уровне около 110 долларов.
   • Первопричина : Акция "B2B Wholesale Push" (скидка 25% на оптовые заказы) привлекла 100 новых клиентов, что привело к оформлению примерно 25 000 заказов.
   • Влияние на маржу : Оптовые заказы снизили среднюю прибыль на единицу продукции примерно на 65% (с ~7,50 до ~2,60 долларов).
   • Выручка : Общая выручка остается неизменной, поскольку высокий объем продаж B2B компенсирует снижение цен.

Прогнозирование среднего чека с помощью AI.FORECAST

4. Агент также должен составить прогноз на будущее. Найдите вызов инструмента MCP, в котором агент выполняет запрос AI.FORECAST к BigQuery. Этот запрос использует встроенную базовую модель TimesFM для прогнозирования среднего чека на 90 дней вперед на основе исторических тенденций. Запрос должен прогнозировать средний чек на 90 дней вперед в двух сценариях: продолжение кампании (структурно заниженный средний чек) против завершения кампании (восстановление до ~110 долларов).

Подсказка (если агент не использует AI.FORECAST): Если агент предоставляет качественный прогноз вместо количественного, попробуйте следующее:

Use BigQuery's AI.FORECAST function to generate a 90-day forecast with confidence intervals.

5. Проанализируйте стратегические рекомендации агента. Рекомендации должны охватывать следующие аспекты:
   • Реструктуризация скидок : Введение минимальных или максимальных оптовых скидок для защиты маржи на уровне отдельных единиц продукции.
   • Ужесточить минимальные объемы заказа : предотвратить злоупотребление розничными покупателями оптовыми ценами.
   • Раздельная отчетность : отслеживайте показатели розничной торговли и B2B независимо друг от друга, чтобы избежать искажения данных о результатах розничной торговли.

Полная история

То, что началось в понедельник как экстренная тревога из-за падения средней стоимости заказа на 7%, имеет четкое решение для финансового директора:

• Состояние розничной торговли : Основные каналы розничной торговли остаются здоровыми и стабильными на исходном уровне.
• Приток оптовых продаж : Снижение среднего чека полностью обусловлено новым каналом оптовой торговли B2B и кампанией BIGORDER25 .
• Влияние на маржу : 25-процентная оптовая скидка значительно снизила маржу на единицу продукции, поставив под угрозу прибыльность, несмотря на стагнацию выручки.
• Стратегический прогноз : Согласно прогнозу AI.FORECAST , реструктуризация оптовых сегментов рынка восстановит средний чек.

You deliver a data-backed recommendation to establish wholesale margin floors and separate retail/B2B reporting.

Section Recap: You asked the agent to write an executive summary with margin analysis, generate an AI.FORECAST projection, and deliver a data-driven recommendation. The investigation is complete.

11. Clean up

To avoid incurring ongoing charges to your Google Cloud account, delete the resources created in this codelab by running the teardown script.

Don't forget this step! The Cloud SQL instance incurs charges even when idle. If you skip the teardown, you can always run it later or delete the entire Google Cloud project you used for this codelab.

1. Return to Google Cloud Shell (where you ran the setup script) and run the teardown script:

cd ~/devrel-demos/codelabs/agentic-data-labs/scripts
chmod +x teardown.sh
./teardown.sh

2. The script will display all the resources it plans to delete and ask for confirmation before proceeding:
   • Cloud SQL instance ( cymbal-pets-ops ): All tables
   • BigQuery datasets ( cymbal_pets , dbt_marts ): All tables and models
   • Cloud Storage bucket ( gs://YOUR_PROJECT_ID-cymbal-pets-raw )
   • BigQuery connection ( cymbal-pets-cloudsql )
3. Type y to confirm. The teardown takes about 2-3 minutes.

[INFO]  Deleting BigQuery dataset cymbal_pets...
[ OK ]  BigQuery dataset cymbal_pets deleted.
[INFO]  Deleting BigQuery dataset dbt_marts...
[ OK ]  BigQuery dataset dbt_marts deleted.
[INFO]  Deleting GCS bucket gs://YOUR_PROJECT_ID-cymbal-pets-raw...
[ OK ]  GCS bucket deleted.
[INFO]  Deleting BigQuery connection cymbal-pets-cloudsql...
[ OK ]  BQ connection deleted.
[INFO]  Deleting Cloud SQL instance cymbal-pets-ops...
[ OK ]  Cloud SQL instance deleted.

12. Congratulations!

You've successfully completed The Cymbal Pets Investigation ! You went from a vague CFO question to a fully operationalized, forecast-backed recommendation, using an AI agent that works across your entire Google Cloud data estate.

What you accomplished

1. 🔍 Explored across services : Discovered and previewed assets in BigQuery , Cloud SQL , and Cloud Storage using the Data Agent Kit 's Knowledge Catalog .
2. 🕵️‍♂️ Investigated with AI : Queried multiple services in a single chat pane conversation using MCP Tools to trace the AOV anomaly to a bulk B2B promotional campaign.
3. 🔧 Built a production pipeline : Scaffolded a complete dbt project to clean, join, and test order and customer data.
4. 🐛 Debugged a fan-out bug : Observed the agent automatically diagnose a granularity issue and refactor the dbt SQL model to pre-aggregate customer pet profiles.
5. 📈 Forecasted and recommended : Used BigQuery's built-in AI.FORECAST to model AOV trends and delivered a data-driven recommendation to the CFO.

Ключевые понятия

Концепция	What you learned
Инструменты MCP	Secure, auditable connections that let the AI agent query services like BigQuery, Cloud SQL, Spanner, and other databases on your behalf, with every call visible in the Chat pane
Навыки агента	Pre-built instruction sets (like dbt-bigquery or discovering-gcp-data-assets ) that teach the agent domain-specific best practices without you having to prompt for them
Cross-service investigation	The agent queries multiple Google Cloud services in a single conversation, with no connection setup and no context-switching between consoles
Goal-oriented prompting	Telling the agent what you want ("build a dbt project that calculates AOV by channel") rather than how , and letting it choose the implementation approach
Data Agent Kit	The extension that binds everything together, from MCP Tools and Agent Skills to data discovery, giving you access to your entire Google Cloud data estate from within your IDE of choice

Следующие шаги

• Read the Data Agent Kit documentation to learn more about its capabilities
• Learn about BigQuery ML and AI functions including AI.FORECAST , AI.GENERATE , and AI.EMBED
• Try building your own cross-service investigation with the Antigravity IDE on your own data