Как общаться со своими данными с помощью агентов BigQuery и Antigravity IDE

1. Обзор

Давайте посмотрим на масштабную архитектуру, которую мы построили за последние четыре части:

Часть 1. Мы использовали BigQuery Knowledge Catalog, чтобы преобразовать PDF-файлы с рецептами замороженного йогурта в структурированные реляционные таблицы.

Часть 2. Мы создали транзакционный мост без ETL, объединив хранилище BigQuery напрямую с AlloyDB.

Часть 3. Мы создали мультиагентное приложение (FroyoOS) с помощью Agent Development Kit и MCP Toolbox.

Часть 4. Мы доказали, что агент безопасен для рабочей среды, создав двухэтапный конвейер оценки.

Наши операции выполняются безупречно. Но как быть разработчикам и бизнес-аналитикам, которым нужно понимать огромные объемы данных, генерируемых этой системой?

Сегодня мы поговорим о будущем аналитики. Мы начнем прямо в редакторе кода Antigravity IDE с Google Cloud Data Agent Kit, а затем перейдем в консоль Google Cloud, чтобы визуализировать данные с помощью BigQuery Conversational Analytics.

Давайте начнем!

Что вы узнаете

В этой последней практической работе из серии Agentic Data Cloud вы объедините все части архитектуры, чтобы получать полезную бизнес-статистику. Вот о чем вы узнаете.

• Аналитика на основе IDE. Как установить и настроить Antigravity IDE и Google Cloud Data Agent Kit, чтобы запрашивать данные об архитектуре прямо из среды разработки.
• Разговорный BigQuery. Как создавать, настраивать и инструктировать агентов данных BigQuery, чтобы автоматизировать сложные задачи SQL и прогнозирование с помощью естественного языка.
• Демократизация данных. Как опубликовать агентов в организации, чтобы сделать их доступными для аналитиков и бизнес-пользователей.
• Визуализация статистики. Как тесно интегрировать аналитику разговоров агента в Студию данных, чтобы создавать динамические сводки с прогнозами.
• Экосистема Agentic Data Cloud. Как сформулировать ценность вашей сквозной архитектуры – от необработанных неструктурированных данных в части 1 до готовых к использованию панелей управления в части 5.

Требования

• Браузер, например Chrome или Firefox.
• Проект Google Cloud с включенными платежными функциями.
• Базовые знания SQL.

2. Подготовка

Как создать проект

1. В консоли Google Cloud на странице выбора проекта выберите или создайте проект Google Cloud.
2. Убедитесь, что для вашего облачного проекта включены платежные функции. Подробнее о том, как проверить, включены ли платежные функции для проекта…

Вы сможете выполнить большую часть этой практической работы, не создавая платежный аккаунт. Платежный аккаунт требуется только для работы с разговорным агентом BigQuery (последняя часть практической работы).

3. Вы будете использовать Cloud Shell – среду командной строки, работающую в Google Cloud. В верхней части консоли Google Cloud нажмите Activate Cloud Shell (Активировать Cloud Shell).

4. После подключения к Cloud Shell проверьте, что вы уже прошли аутентификацию и что в качестве проекта указан ваш идентификатор проекта. Для этого используйте следующую команду:

gcloud auth list

5. Чтобы убедиться, что команда gcloud распознает ваш проект, выполните в Cloud Shell следующую команду:

gcloud config list project

6. Если вы хотите выполнить аутентификацию

gcloud auth login

7. Если проект не задан, используйте следующую команду:

export PROJECT_ID=<YOUR_PROJECT_ID>
gcloud config set project <YOUR_PROJECT_ID>

8. Включите необходимые API. Для этого выполните следующую команду:

gcloud services enable \
  alloydb.googleapis.com \
  bigquery.googleapis.com \
  run.googleapis.com \
  cloudbuild.googleapis.com \
  artifactregistry.googleapis.com \
  iam.googleapis.com \
  secretmanager.googleapis.com \
  compute.googleapis.com \
  servicenetworking.googleapis.com \ 
  aiplatform.googleapis.com

9. Чтобы подготовиться к этому, выполните практические работы Часть 1, Часть 2 и Часть 3.

Важно! Если вы ещё не ознакомились с частью 1, сейчас самое время это сделать. Эти данные важны для некоторых аналитических и статистических данных, которые мы извлекаем в этой лабораторной работе.*

Если вы не хотите выполнять часть 1, вы можете запустить приведенные ниже команды, чтобы получить данные, необходимые для этой лабораторной работы.

Создайте набор данных и заполните таблицы (только если вы не выполнили часть 1)

В Cloud Shell выполните следующие команды.

1. Сначала создайте набор данных BigQuery, выполнив в терминале Cloud Shell следующую команду:

bq mk --location us-central1 --dataset froyo_data

2. Затем скачайте восемь файлов данных (CSV-файлов) из репозитория GitHub в рабочий каталог, по очереди выполнив следующие команды:

wget https://raw.githubusercontent.com/AbiramiSukumaran/raw-data-to-gold/refs/heads/main/data/froyo_data.allergen.csv

3. Выполните следующие команды по одной, чтобы создать эти таблицы с данными в новом наборе данных.

bq load --autodetect --source_format=CSV --skip_leading_rows=1 --allow_quoted_newlines --quote="" froyo_data.allergen ./froyo_data.allergen.csv allergen_name:STRING

bq load --autodetect --source_format=CSV --skip_leading_rows=1 --allow_quoted_newlines --quote="" froyo_data.consistsof ./froyo_data.consistsof.csv product_id:STRING,ingredient_id:STRING

bq load --autodetect --source_format=CSV --skip_leading_rows=1 --allow_quoted_newlines --quote="" froyo_data.containsallergen ./froyo_data.containsallergen.csv ingredient_id:STRING,allergen_name:STRING

bq load --autodetect --source_format=CSV --skip_leading_rows=1 --allow_quoted_newlines --quote="" froyo_data.froyo_data_materialized ./froyo_data.froyo_data_materialized.csv allergen:STRING,containsallergen:STRING,ingredient:STRING,product:STRING,suppliedby:STRING,supplier:STRING,ref:STRING,md5_hash:STRING

bq load --autodetect --source_format=CSV --skip_leading_rows=1 --allow_quoted_newlines --quote="" froyo_data.ingredient ./froyo_data.ingredient.csv ingredient_id:STRING,ingredient_name:STRING,purity:STRING,moisture_content:STRING,ph_range:STRING,specific_gravity_range:STRING

bq load --autodetect --source_format=CSV --skip_leading_rows=1 --allow_quoted_newlines --quote="" froyo_data.product ./froyo_data.product.csv product_id:STRING,product_name:STRING,category:STRING,stability:STRING

bq load --autodetect --source_format=CSV --skip_leading_rows=1 --allow_quoted_newlines --quote="" froyo_data.suppliedby ./froyo_data.suppliedby.csv ingredient_id:STRING,supplier_id:STRING

bq load --autodetect --source_format=CSV --skip_leading_rows=1 --allow_quoted_newlines --quote="" froyo_data.supplier ./froyo_data.supplier.csv supplier_id:STRING,supplier_name:STRING,production_site_id:STRING,facility_grade:STRING

3. Расширение хранилища данных

Помните таблицы BigQuery, которые мы создали на основе неструктурированных данных?

Чтобы провести значимый анализ, нам нужны данные о транзакциях за прошлые периоды. В BigQuery в наборе данных froyo_data создадим три новые таблицы, чтобы смоделировать годы работы франшизы:

1. froyo_data.orders: заголовки заказов за прошлые периоды (даты, идентификаторы магазинов, итоговые суммы).
2. froyo_data.order_items – сведения о позициях (количество, цены).
3. froyo_data.customer_allergen_data: таблица CRM, в которой отслеживаются известные аллергии наших постоянных клиентов.

Давайте добавим эти таблицы, связанные с продажами и клиентами, в этот набор данных для подготовки к нашему аналитическому сценарию использования.

1. В консоли Google Cloud перейдите в терминал Cloud Shell.
2. Перейдите в корневую папку рабочей области или проекта froyo-data, с которым мы работали в предыдущих частях этой серии.
3. Скачайте три файла со статистикой (в формате CSV) в рабочую папку, по очереди выполнив следующие команды:

wget https://raw.githubusercontent.com/AbiramiSukumaran/froyo-data/main/customer_allergen_data.csv

wget https://raw.githubusercontent.com/AbiramiSukumaran/froyo-data/main/order_items.csv

wget https://raw.githubusercontent.com/AbiramiSukumaran/froyo-data/main/orders.csv

4. Когда вы увидите эти файлы в корневом каталоге рабочей папки, перейдите в терминал Cloud Shell.
5. В терминале Cloud Shell перейдите в каталог, в котором находятся эти три файла.
6. Убедитесь, что в BigQuery есть набор данных froyo_data из первой части этой серии. Если нет, вернитесь и создайте набор данных и таблицы.
7. Выполните следующие команды в терминале Cloud Shell:

bq load \
  --autodetect \
  --source_format=CSV \
  --skip_leading_rows=1 \
  --allow_quoted_newlines \
  --quote="" \
  froyo_data.orders \
  ./orders.csv

bq load \
  --autodetect \
  --source_format=CSV \
  --skip_leading_rows=1 \
  --allow_quoted_newlines \
  --quote="" \
  froyo_data.order_items \
  ./order_items.csv

bq load \
  --autodetect \
  --source_format=CSV \
  --skip_leading_rows=1 \
  --allow_quoted_newlines \
  --quote="" \
  froyo_data.customer_allergen_data \
  ./customer_allergen_data.csv

Это должно создать 3 дополнительных таблицы в вашем наборе данных froyo_data.

4. Опыт разработчика – представляем Data Agent Kit

Раньше, чтобы проанализировать данные или написать сложный запрос машинного обучения, разработчикам приходилось постоянно переключаться между IDE, консолями баз данных и документацией.

Не проблема! С новым расширением Google Cloud Data Agent Kit ваша IDE станет мощным инструментом для работы с данными. Расширение Google Cloud Data Agent Kit обеспечивает глубокую интеграцию с сервисами данных Google Cloud прямо в редакторе, позволяя вам взаимодействовать с BigQuery, Cloud SQL, Cloud Storage и другими сервисами, не переключая контекст.

Требования

1. Node.js (рекомендуется последняя версия)
2. Установите gcloud CLI.
3. Войдите в аккаунт Google Cloud:

gcloud auth login

4. Войдите в Application Default Credentials (ADC):

gcloud auth application-default login

Antigravity IDE

Antigravity IDE – это среда разработки нового поколения от Google, созданная специально для эпохи ИИ. В ней главную роль играют агенты. В редактор встроены огромные мультимодальные контекстные окна и автономные инструменты, позволяющие разработчикам управлять облачными ресурсами и сложными конвейерами данных, не выходя из кода.

Как настроить Antigravity IDE

1. Скачайте и установите Antigravity IDE со страницы скачивания Google Antigravity.
2. Установите и запустите Antigravity. Для этого запустите установщик и откройте Antigravity IDE.
3. Нажмите "Продолжить с аккаунтом Google", выберите аккаунт Gmail и авторизуйтесь.
4. Выполните первоначальную настройку. Примечание. Вы всегда можете изменить эти параметры в настройках.
5. Создайте на локальном компьютере новую пустую папку (например, с названием agentic-data-labs) и откройте ее в IDE, выбрав Open Folder (Открыть папку). Это будет ваша локальная рабочая область для практической работы.

Справа вы увидите панель агента, слева – проводник проекта, а в центре – пространство для разработки.

Установите расширение Data Agent Kit

Расширение Google Cloud Data Agent Kit обеспечивает глубокую интеграцию с сервисами данных Google Cloud прямо в редакторе, позволяя вам взаимодействовать с BigQuery, Cloud SQL, Cloud Storage и другими сервисами, не переключая контекст.

1. В Antigravity IDE нажмите на значок Extensions (Расширения) на панели действий в левой части экрана (он выглядит как четыре квадрата).
2. В строке поиска в верхней части панели "Расширения" введите Google Cloud Data Agent Kit.
3. Найдите расширение Google Cloud Data Agent Kit, опубликованное googlecloudtools.
4. Нажмите кнопку Установить.
5. Может появиться запрос "Доверяете ли вы издателю googlecloudtools и его расширениям?". Нажмите Trust Publishers & Install (Доверять издателям и установить).

После установки на панели действий в левой части Antigravity IDE появится значок Google Cloud Data Agent Kit.

6. Должна автоматически открыться страница "Добро пожаловать в Google Cloud Data Agent Kit". Если вы не вошли в аккаунт облачного хранилища, следуйте инструкциям на экране, чтобы разрешить доступ.
7. В разделе Configuration Summary (Сводка по конфигурации) найдите поле Project (Проект). Нажмите на раскрывающийся список и выберите проект Google Cloud. Укажите регион us-central1. Затем выберите "Настроить MCP-серверы".
8. Вставьте следующий код в новый файл GEMINI.md в проекте (не забудьте заменить <<YOUR_PROJECT_ID>> на идентификатор своего проекта):

## 1. Project Context
- **Project ID**: <<YOUR_PROJECT_ID>>
- **Domain**: This project is centralized around "Froyo", a brand of frozen yogurt offering multiple flavors.
- **Data**: All froyo, customer, order related information is processed and stored in BigQuery `froyo_data` dataset.

## 2. Execution & Data Processing Rules
- **CRITICAL RULE - Structured Specs**: The semantic and structured information extracted from the PDFs is available in a BigQuery dataset named `froyo_data`.
- **CRITICAL RULE - Customer Data**: Existing Froyo customer data resides in BigQuery in the tables `customers_allergen_data`. 
- ** CRITICAL RULE - Sales Data**: Sales data is present in tables `orders` and `order_items`.
- ** CRITICAL RULE - General: When you are referencing a dataset, ensure you are using it with the dataset ID (`froyo_data`) . For example, to query orders table in this dataset you should use `froyo_data.orders`.
- **CRITICAL RULE - Allergen & Ingredient Mapping**: Never join `consistsof` directly to `containsallergen` on `ingredient_id`. The `consistsof` table often contains ingredient names (e.g. `Midnight Base 204`) while `containsallergen` maps CAS/code IDs (e.g. `9412-78-0`). Always bridge them through `froyo_data.ingredient` (`ON c.ingredient_id = i.ingredient_name OR c.ingredient_id = i.ingredient_id`) to accurately detect allergens.

Теперь у вас есть мощный ИИ-агент, который может писать код, генерировать SQL-запросы и анализировать архитектуру прямо в вашей интегрированной среде разработки.

Теперь у нас есть интересная аналитическая задача: можем ли мы сопоставить наши исторические продажи со сложными, выведенными данными об аллергенах, которые мы извлекли из PDF-файлов в части 1?

5. Как агент IDE делает выводы

Попросим нашего агента IDE сделать всю тяжелую работу. Откройте окно чата Agent Data Kit прямо в Antigravity IDE и введите следующий запрос:

Does Midnight Swirl contain any allergen?

Приложение запросит некоторые разрешения. Предоставьте их.

После анализа вы получите ответ:

Ура! Он правильно определил, что в Midnight Swirl есть соя.

Теперь давайте зададим более сложный вопрос. Отправьте в Antigravity IDE следующий запрос:

I want to see the top 5 most popular products purchased by 
customers who have a registered 'Dairy' allergy.

Ответ.

Вы можете продолжить. Попробуйте запросы, подобные этим:

Forecast the sales volume of our top non-dairy products 
for the next 30 days based on historical data.

Вам не нужно искать синтаксис BQML, Agent Data Kit вставляет в редактор точный код CREATE MODEL и ML.FORECAST. Вы можете выполнить этот запрос непосредственно в среде BigQuery, не выходя из Antigravity IDE.

Это просто потрясающе!

6. Разговорная аналитика в BigQuery

Разработчики предпочитают IDE, а бизнес-пользователи и руководители – облачную консоль. Они не хотят видеть SQL, они просто хотят получить ответы.

Приступим!

1. Как предоставить себе необходимые роли

Перейдите на страницу IAM проекта и назначьте себе роль владельца агента данных Gemini Data Analytics:

Эта роль позволяет создавать, изменять, удалять всех агентов данных в проекте и делиться ими.

2. Как включить необходимые API

Перейдите в BigQuery в Google Cloud Console. С помощью боковой панели навигации или меню поиска в верхней части страницы перейдите в раздел BigQuery > Agents (Агенты).

Включите Data Analytics API с Gemini:

Включите Gemini в BigQuery API и Gemini для Google Cloud API:

Вы увидите страницу нового агента:

3. Как настроить информацию об агенте

Agent Name (Название агента): Froyo Agent.

Описание агента. Помогает отвечать на вопросы о замороженном йогурте, аллергенах, ингредиентах, рецептах, клиентах, заказах и продажах.

4. Перейдите в раздел "Источники знаний" и выберите все таблицы ниже из набора данных:

А. Добавьте таблицы, показанные на изображении выше, и нажмите "Добавить источник".

Б. Для каждого источника нажмите кнопку Настроить справа. Вы увидите форму, показанную ниже.

В. Нажмите "Принять" для описания таблицы.

D. Нажмите "Принять" для каждого описания поля.

Д. Нажмите "Обновить".

Это нужно сделать для всех таблиц в источнике.

5. Инструкции по настройке

Вставьте сюда те же инструкции, которые мы использовали в Antigravity IDE GEMINI.md:

1. Project Context
Project ID: <<YOUR_PROJECT_ID>>
Domain: This project is centralized around "Froyo", a brand of frozen yogurt offering multiple flavors.
Data: All froyo, customer, order related information is processed and stored in BigQuery froyo_data dataset. Use all the tables and data in the dataset for querying for user questions.
Context: Use Data Agent Kit skills wherever possible.
2. Execution & Data Processing Rules
CRITICAL RULE - Structured Specs: The semantic and structured information extracted from the PDFs is available in a BigQuery dataset named froyo_data.
CRITICAL RULE - Customer Data: Existing Froyo customer data resides in BigQuery in the tables customers_allergen_data. When you are referencing a dataset, ensure you are using it with the dataset ID (froyo_data) . For example, to query orders table in this dataset you should use froyo_data.orders.

6. Сохраните агента.

7. Чат на основе ваших данных

7. Проверьте, как это работает, в разделе предварительного просмотра справа.

Задайте вопрос:

Does midnight swirl contain any allergen?

Вот ответ:

Теперь зададим сложный вопрос:

I want to see the top 5 most popular products purchased by 
customers who have a registered 'Dairy' allergy.

Ответ.

Попробуйте запрос для глубокого анализа:

Forecast the sales volume of our top non-dairy products 
for the next 30 days based on historical data.

Вы увидите запрос, который использовался, а также таблицу и диаграмму с результатами:

Вау! Итак, с диаграммами и статистикой все прошло хорошо. Пришло время для главного вопроса о продуктах.

8. Главное испытание

Задайте вопрос:

What will be the top most selling product of 2026

Посмотрите на этот последний вывод. Агент данных BigQuery не просто выдал нам число, а явно связал прогноз продаж с нашими запасами и цепочкой поставок ингредиентов – теми самыми данными, которые мы извлекли из неструктурированных PDF-файлов в первой части.

9. Публикация агента для организации

Нажмите кнопку Опубликовать в верхней части окна предварительного просмотра.

Теперь, когда мы создали, настроили и протестировали агента Froyo, пора выпустить его для остальной части бизнеса.

В правом верхнем углу страницы конфигурации агента нажмите кнопку "Опубликовать".

После публикации ваш агент сразу станет доступен в трех мощных корпоративных каналах вам и всем, кому вы предоставите разрешение:

1. BigQuery Теперь ваши аналитики данных могут общаться с этим агентом прямо из Центра агентов или в рабочей области SQL BigQuery Studio.
2. Conversational Analytics API. Разработчики могут получить доступ к агенту через REST API, чтобы интегрировать разговорную аналитику в ваши собственные внутренние веб-приложения.
3. Студия данных. Руководители могут взаимодействовать с агентом и создавать динамические интерактивные сводки прямо в Студии данных.

Мы успешно извлекли данные из хранилищ и передали их непосредственно в руки тех, кто в них нуждается, именно там, где они уже работают!

Нажмите на стрелку вниз на кнопке "Поделиться" в верхней части опубликованного агента BigQuery и выберите в списке "Скопировать ссылку на агента в Студии данных".

Вставьте ссылку в адресную строку браузера и нажмите Enter. Подтвердите доступ к взаимодействиям агента:

Вы, руководство и другие команды, которым нужна эта информация, можете начать интерактивные беседы и визуализации с недавно опубликованным агентом из Студии данных.

10. Организовать

После завершения лабораторной работы не забудьте удалить разрешения для всех пользователей агента BigQuery, которого вы только что создали.

11. Поздравляем!

Вы создали облако данных на основе агентов.

Вы не просто создали простого чат-бота. За пять занятий вы успешно спроектировали, создали и оценили современную корпоративную ИИ-систему. Вы перешли от "темных данных" к аналитике транзакций в реальном времени и, наконец, к прогнозированию бизнеса на основе диалогов.

12. Полная картина

Давайте посмотрим, чего мы достигли в этой серии. Мы не просто создали чат-бота. Мы разработали полноценное современное облако данных с агентами:

Часть 1. Разблокировка скрытых данных путем преобразования PDF-файлов в структурированные реляционные таблицы с помощью Knowledge Catalog.

Часть 2. Мы объединили аналитическое хранилище с транзакционной базой данных AlloyDB, чтобы устранить разрозненность данных.

Часть 3. Расширение возможностей пользователей за счет создания ОС с несколькими агентами, которая легко выполняет безопасные инструменты баз данных по протоколу MCP.

Часть 4. Обеспечение безопасности за счет внедрения строгой системы оценки для выявления галлюцинаций и джейлбрейков.

Часть 5. Демократизация статистики с помощью Antigravity IDE и разговорной аналитики в BigQuery.

Это будущее корпоративного программного обеспечения. ИИ-агент – это не просто оболочка для LLM. Это полностью интегрированный, проверенный и безопасный механизм оркестрации, работающий на базе единой платформы данных.