Discuter avec vos données à l'aide des agents BigQuery et de l'IDE Antigravity

1. Présentation

Prenons un moment pour examiner l'architecture massive que nous avons construite au cours des quatre dernières parties :

Partie 1 : Nous avons utilisé BigQuery Knowledge Catalog pour transformer des PDF de recettes de yaourt glacé brutes en tables relationnelles structurées.

Partie 2 : Nous avons créé un pont transactionnel sans ETL, en fédérant notre entrepôt BigQuery directement dans AlloyDB.

Partie 3 : nous avons orchestré une application multi-agents (FroyoOS) à l'aide d'Agent Development Kit et de MCP Toolbox.

Partie 4 : nous avons prouvé que notre agent était prêt pour la production en créant un pipeline d'évaluation à deux voies.

Nos opérations se déroulent sans problème. Mais qu'en est-il des développeurs et des analystes métier qui doivent comprendre les énormes quantités de données générées par ce système ?

Aujourd'hui, nous allons explorer l'avenir d'Analytics. Nous allons commencer directement dans notre éditeur de code Antigravity IDE avec Google Cloud Data Agent Kit, puis nous passerons à la console Google Cloud pour visualiser nos données à l'aide de BigQuery Conversational Analytics.

Commençons à créer !

Points abordés

Dans ce dernier atelier de programmation de la série cloud de données agentique, vous allez rassembler tous les éléments de votre architecture pour fournir des insights exploitables. Vous pourrez découvrir :

• Analyse axée sur l'IDE : découvrez comment installer et configurer l'IDE ANTIGRAVITY et le Google Cloud Data Agent Kit pour interroger votre architecture directement depuis votre environnement de développement.
• BigQuery conversationnel : comment créer, configurer et instruire des agents de données BigQuery pour automatiser des tâches SQL complexes et des prévisions en langage naturel.
• Démocratisation des données : découvrez comment publier vos agents dans l'entreprise pour les rendre accessibles aux analystes et aux utilisateurs professionnels de l'organisation.
• Visualiser les insights : découvrez comment intégrer parfaitement les analyses conversationnelles de votre agent dans Data Studio pour créer des tableaux de bord dynamiques et prêts pour les prévisions.
• L'écosystème du cloud de données agentique : comment articuler la valeur de votre architecture de bout en bout, des données brutes non structurées de la partie 1 aux tableaux de bord prêts pour les dirigeants de la partie 5.

Conditions requises

• Un navigateur (Chrome ou Firefox, par exemple)
• Un projet Google Cloud avec facturation activée.
• Connaître les principes de base de SQL

2. Avant de commencer

Créer un projet

1. Dans la console Google Cloud, sur la page du sélecteur de projet, sélectionnez ou créez un projet Google Cloud.
2. Assurez-vous que la facturation est activée pour votre projet Cloud. Découvrez comment vérifier si la facturation est activée sur un projet.

Vous pouvez suivre la majeure partie de cet atelier de programmation sans créer de compte de facturation. Seul l'agent conversationnel BigQuery (dernière partie de l'atelier de programmation) nécessite un compte de facturation.

3. Vous allez utiliser Cloud Shell, un environnement de ligne de commande exécuté dans Google Cloud. Cliquez sur "Activer Cloud Shell" en haut de la console Google Cloud.

4. Une fois connecté à Cloud Shell, vérifiez que vous êtes déjà authentifié et que le projet est défini sur votre ID de projet à l'aide de la commande suivante :

gcloud auth list

5. Exécutez la commande suivante dans Cloud Shell pour vérifier que la commande gcloud reconnaît votre projet :

gcloud config list project

6. Si vous souhaitez vous authentifier

gcloud auth login

7. Si votre projet n'est pas défini, utilisez la commande suivante pour le définir :

export PROJECT_ID=<YOUR_PROJECT_ID>
gcloud config set project <YOUR_PROJECT_ID>

8. Activez les API requises : exécutez cette commande pour activer toutes les API requises.

gcloud services enable \
  alloydb.googleapis.com \
  bigquery.googleapis.com \
  run.googleapis.com \
  cloudbuild.googleapis.com \
  artifactregistry.googleapis.com \
  iam.googleapis.com \
  secretmanager.googleapis.com \
  compute.googleapis.com \
  servicenetworking.googleapis.com \ 
  aiplatform.googleapis.com

9. Assurez-vous d'avoir terminé les ateliers partie 1, partie 2 et partie 3 avant de commencer celui-ci :

Important : Si vous n'avez pas suivi la partie 1, c'est le moment de le faire. Ces données sont importantes pour certaines des analyses et des insights que nous extrayons dans cet atelier.*

Si vous ne souhaitez pas effectuer la partie 1, vous pouvez exécuter les commandes ci-dessous pour obtenir les données requises pour cet atelier.

Créer un ensemble de données et remplir des tables (uniquement si vous n'avez pas effectué la partie 1)

Dans Cloud Shell, exécutez les commandes suivantes.

1. Commencez par créer l'ensemble de données BigQuery en exécutant la commande ci-dessous dans le terminal Cloud Shell :

bq mk --location us-central1 --dataset froyo_data

2. Ensuite, téléchargez les huit fichiers de données (fichiers CSV) du dépôt GitHub dans votre répertoire de travail en exécutant les commandes suivantes une par une :

wget https://raw.githubusercontent.com/AbiramiSukumaran/raw-data-to-gold/refs/heads/main/data/froyo_data.allergen.csv

3. Exécutez les commandes suivantes une par une pour créer ces tables avec les données de votre ensemble de données nouvellement créé.

bq load --autodetect --source_format=CSV --skip_leading_rows=1 --allow_quoted_newlines --quote="" froyo_data.allergen ./froyo_data.allergen.csv allergen_name:STRING

bq load --autodetect --source_format=CSV --skip_leading_rows=1 --allow_quoted_newlines --quote="" froyo_data.consistsof ./froyo_data.consistsof.csv product_id:STRING,ingredient_id:STRING

bq load --autodetect --source_format=CSV --skip_leading_rows=1 --allow_quoted_newlines --quote="" froyo_data.containsallergen ./froyo_data.containsallergen.csv ingredient_id:STRING,allergen_name:STRING

bq load --autodetect --source_format=CSV --skip_leading_rows=1 --allow_quoted_newlines --quote="" froyo_data.froyo_data_materialized ./froyo_data.froyo_data_materialized.csv allergen:STRING,containsallergen:STRING,ingredient:STRING,product:STRING,suppliedby:STRING,supplier:STRING,ref:STRING,md5_hash:STRING

bq load --autodetect --source_format=CSV --skip_leading_rows=1 --allow_quoted_newlines --quote="" froyo_data.ingredient ./froyo_data.ingredient.csv ingredient_id:STRING,ingredient_name:STRING,purity:STRING,moisture_content:STRING,ph_range:STRING,specific_gravity_range:STRING

bq load --autodetect --source_format=CSV --skip_leading_rows=1 --allow_quoted_newlines --quote="" froyo_data.product ./froyo_data.product.csv product_id:STRING,product_name:STRING,category:STRING,stability:STRING

bq load --autodetect --source_format=CSV --skip_leading_rows=1 --allow_quoted_newlines --quote="" froyo_data.suppliedby ./froyo_data.suppliedby.csv ingredient_id:STRING,supplier_id:STRING

bq load --autodetect --source_format=CSV --skip_leading_rows=1 --allow_quoted_newlines --quote="" froyo_data.supplier ./froyo_data.supplier.csv supplier_id:STRING,supplier_name:STRING,production_site_id:STRING,facility_grade:STRING

3. Développer l'entrepôt de données

Vous vous souvenez des tables BigQuery que nous avons créées à partir de nos données non structurées ?

Pour effectuer des analyses pertinentes, nous avons besoin de l'historique des données de transaction. Dans BigQuery, sous notre ensemble de données froyo_data, créons trois tables pour simuler des années d'activité de la franchise :

1. froyo_data.orders : en-têtes de l'historique des commandes (dates, ID de magasin, totaux)
2. froyo_data.order_items : détails des articles (quantités, prix)
3. froyo_data.customer_allergen_data : table CRM qui suit les allergies connues de nos clients fidèles

Ajoutons ces tables liées aux ventes et aux clients à cet ensemble de données en vue de notre cas d'utilisation d'analyse.

1. Accédez au terminal Cloud Shell depuis la console Google Cloud.
2. Accédez au dossier racine de votre espace de travail ou au dossier racine du projet froyo-data (sur lequel nous avons travaillé dans les deux dernières parties de cette série).
3. Téléchargez les trois fichiers de données historiques (au format CSV) dans votre répertoire de travail en exécutant les commandes suivantes une par une :

wget https://raw.githubusercontent.com/AbiramiSukumaran/froyo-data/main/customer_allergen_data.csv

wget https://raw.githubusercontent.com/AbiramiSukumaran/froyo-data/main/order_items.csv

wget https://raw.githubusercontent.com/AbiramiSukumaran/froyo-data/main/orders.csv

4. Une fois que vous voyez ces fichiers à la racine de votre répertoire de travail, accédez à votre terminal Cloud Shell en basculant vers le terminal.
5. Dans le terminal Cloud Shell, accédez au répertoire où se trouvent ces trois fichiers.
6. Assurez-vous que votre BigQuery contient l'ensemble de données nommé "froyo_data" de la partie 1 de cette série (si ce n'est pas le cas, revenez en arrière et créez l'ensemble de données et les tables).
7. Exécutez les commandes suivantes depuis votre terminal Cloud Shell :

bq load \
  --autodetect \
  --source_format=CSV \
  --skip_leading_rows=1 \
  --allow_quoted_newlines \
  --quote="" \
  froyo_data.orders \
  ./orders.csv

bq load \
  --autodetect \
  --source_format=CSV \
  --skip_leading_rows=1 \
  --allow_quoted_newlines \
  --quote="" \
  froyo_data.order_items \
  ./order_items.csv

bq load \
  --autodetect \
  --source_format=CSV \
  --skip_leading_rows=1 \
  --allow_quoted_newlines \
  --quote="" \
  froyo_data.customer_allergen_data \
  ./customer_allergen_data.csv

Les trois tables supplémentaires devraient être créées dans votre ensemble de données froyo_data.

4. L'expérience des développeurs : découvrez le Data Agent Kit

Auparavant, si un développeur souhaitait analyser des données ou écrire des requêtes de machine learning complexes, il devait constamment changer de contexte entre son IDE, les consoles de base de données et la documentation.

Plus maintenant. Grâce à la nouvelle extension Google Cloud Data Agent Kit, votre IDE devient un puissant outil de traitement des données. L'extension Google Cloud Data Agent Kit offre une intégration étroite avec les services de données Google Cloud directement dans votre éditeur, ce qui vous permet d'interagir avec BigQuery, Cloud SQL, Cloud Storage et d'autres services sans changer de contexte.

Prérequis

1. Node.js (dernière version recommandée)
2. Installez gcloud CLI.
3. Connectez-vous avec votre compte Google Cloud :

gcloud auth login

4. Connectez-vous aux identifiants par défaut de l'application (ADC) :

gcloud auth application-default login

IDE Antigravity

L'IDE Antigravity est l'environnement de développement agentique de nouvelle génération de Google, conçu spécifiquement pour l'ère de l'IA. Il intègre de manière native des fenêtres de contexte multimodales massives et l'utilisation d'outils autonomes directement dans l'éditeur, ce qui permet aux développeurs d'orchestrer des ressources cloud et des pipelines de données complexes sans jamais quitter leur code.

Configurer l'IDE Antigravity

1. Téléchargez et installez l'IDE Antigravity depuis la page de téléchargement de Google Antigravity.
2. Installez et lancez l'IDE : exécutez le programme d'installation et ouvrez l'IDE Antigravity.
3. Cliquez sur "Continuer avec Google", sélectionnez votre compte Gmail et autorisez l'accès.
4. Exécutez les configurations initiales. Remarque : Vous pourrez toujours modifier ces paramètres plus tard.
5. Créez un dossier vide sur votre ordinateur local (par exemple, nommé agentic-data-labs), puis ouvrez-le dans l'IDE en sélectionnant "Ouvrir un dossier". Il servira d'espace de travail local pour l'atelier de programmation.

Le volet de l'agent doit s'afficher à droite, l'explorateur de projet à gauche et l'espace de développement au centre.

Installer l'extension Data Agent Kit

L'extension Google Cloud Data Agent Kit offre une intégration étroite avec les services de données Google Cloud directement dans votre éditeur, ce qui vous permet d'interagir avec BigQuery, Cloud SQL, Cloud Storage et d'autres services sans changer de contexte.

1. Dans l'IDE Antigravity, cliquez sur l'icône "Extensions" dans la barre d'activité située tout à gauche de l'écran (elle ressemble à quatre carrés).
2. Dans la barre de recherche en haut du volet "Extensions", saisissez Google Cloud Data Agent Kit.
3. Recherchez l'extension nommée Google Cloud Data Agent Kit publiée par googlecloudtools.
4. Cliquez sur le bouton Install (installer).
5. Une invite peut s'afficher pour vous demander si vous faites confiance à l'éditeur "googlecloudtools" et à ses extensions. Cliquez sur Faire confiance aux éditeurs et installer pour continuer.

Une fois l'installation terminée, une nouvelle icône Google Cloud Data Agent Kit s'affiche dans la barre d'activité, tout à gauche de l'IDE Antigravity.

6. Une page d'intégration intitulée "Welcome to Google Cloud Data Agent Kit" (Bienvenue dans le kit d'agent de données Google Cloud) devrait s'ouvrir automatiquement. Si vous n'êtes pas connecté à votre compte Cloud, suivez les instructions pour autoriser l'accès.
7. Dans la section "Configuration Summary" (Résumé de la configuration), recherchez le champ "project" (projet). Cliquez sur le menu déroulant et sélectionnez votre projet Google Cloud. Définissez votre région sur "us-central1". Sélectionnez ensuite "Configurer les serveurs MCP".
8. Collez le code suivant dans un nouveau fichier de votre projet nommé GEMINI.md (n'oubliez pas de remplacer <<YOUR_PROJECT_ID>> par votre valeur) :

## 1. Project Context
- **Project ID**: <<YOUR_PROJECT_ID>>
- **Domain**: This project is centralized around "Froyo", a brand of frozen yogurt offering multiple flavors.
- **Data**: All froyo, customer, order related information is processed and stored in BigQuery `froyo_data` dataset.

## 2. Execution & Data Processing Rules
- **CRITICAL RULE - Structured Specs**: The semantic and structured information extracted from the PDFs is available in a BigQuery dataset named `froyo_data`.
- **CRITICAL RULE - Customer Data**: Existing Froyo customer data resides in BigQuery in the tables `customers_allergen_data`. 
- ** CRITICAL RULE - Sales Data**: Sales data is present in tables `orders` and `order_items`.
- ** CRITICAL RULE - General: When you are referencing a dataset, ensure you are using it with the dataset ID (`froyo_data`) . For example, to query orders table in this dataset you should use `froyo_data.orders`.
- **CRITICAL RULE - Allergen & Ingredient Mapping**: Never join `consistsof` directly to `containsallergen` on `ingredient_id`. The `consistsof` table often contains ingredient names (e.g. `Midnight Base 204`) while `containsallergen` maps CAS/code IDs (e.g. `9412-78-0`). Always bridge them through `froyo_data.ingredient` (`ON c.ingredient_id = i.ingredient_name OR c.ingredient_id = i.ingredient_id`) to accurately detect allergens.

Vous disposez désormais d'un agent IA très performant directement dans votre IDE, prêt à écrire du code, à générer du SQL et à analyser votre architecture.

Nous sommes maintenant confrontés à un défi analytique fascinant : pouvons-nous corréler l'historique de nos ventes avec les données complexes et inférées sur les allergènes que nous avons extraites des PDF dans la première partie ?

5. Déduire l'intelligence via l'agent IDE

Demandons à notre agent IDE de faire le gros du travail. Ouvrez la fenêtre de chat d'Agent Data Kit directement dans votre IDE ANTIGRAVITY et saisissez le prompt suivant :

Does Midnight Swirl contain any allergen?

Une série d'autorisations vous sera demandée. Accordez-les, le cas échéant.

Enfin, il récupérera la réponse pour vous à la fin de son analyse :

Super ! Il a correctement identifié que l'article "Midnight Swirl" contient du soja.

Posons maintenant une question un peu plus complexe. Envoyez le prompt suivant dans l'IDE Antigravity :

I want to see the top 5 most popular products purchased by 
customers who have a registered 'Dairy' allergy.

Réponse :

Vous pouvez continuer. Quelques idées de prompts :

Forecast the sales volume of our top non-dairy products 
for the next 30 days based on historical data.

Sans que vous ayez besoin de rechercher la syntaxe BQML, l'Agent Data Kit insère le code CREATE MODEL et ML.FORECAST exact dans votre éditeur. Vous pouvez l'exécuter directement sur votre environnement BigQuery sans jamais quitter l'IDE ANTIGRAVITY.

C'est incroyable !

6. Conversational Analytics dans BigQuery

Si les développeurs adorent l'IDE, les utilisateurs professionnels et les dirigeants préfèrent la console Cloud. Ils ne veulent pas voir de code SQL, ils veulent juste des réponses.

Allons-y !

1. S'accorder les rôles requis

Accédez à la page IAM du projet et attribuez-vous le rôle de propriétaire de l'agent de données des analyses de données Gemini :

Ce rôle vous autorise à créer, modifier, partager et supprimer tous les agents de données du projet.

2. Activer les API requises

Accédez à BigQuery dans la console Google Cloud. Utilisez le menu de navigation de la barre latérale ou le menu de recherche en haut de la page pour accéder à BigQuery > Agents.

Cliquez sur Activer l'API Data Analytics avec Gemini :

Activez l'API Gemini dans BigQuery et l'API Gemini pour Google Cloud :

La page du nouvel agent doit maintenant s'afficher :

3. Configurer les informations sur l'agent

Nom de l'agent : Froyo Agent

Description de l'agent : aide à répondre aux questions concernant les produits, les allergènes, les ingrédients, les recettes, les clients, les commandes et les ventes de yaourts glacés.

4. Accédez à la section "Sources de connaissances" et sélectionnez toutes les tables ci-dessous dans votre ensemble de données :

a. Ajoutez les tables de l'image ci-dessus, puis cliquez sur "Ajouter une source".

b. Pour chaque source, cliquez sur le bouton Personnaliser à droite. Le formulaire ci-dessous s'affiche :

c. Cliquez sur "Accepter" pour la description de la table.

d. Cliquez également sur "Accepter" pour chacune des descriptions des champs.

e. Cliquez sur "Mettre à jour".

Vous devez répéter cette opération pour toutes les tables de la source.

5. Configurer les instructions

Insérez ici les mêmes instructions que celles que nous avons utilisées dans le fichier GEMINI.md de l'IDE Antigravity :

1. Project Context
Project ID: <<YOUR_PROJECT_ID>>
Domain: This project is centralized around "Froyo", a brand of frozen yogurt offering multiple flavors.
Data: All froyo, customer, order related information is processed and stored in BigQuery froyo_data dataset. Use all the tables and data in the dataset for querying for user questions.
Context: Use Data Agent Kit skills wherever possible.
2. Execution & Data Processing Rules
CRITICAL RULE - Structured Specs: The semantic and structured information extracted from the PDFs is available in a BigQuery dataset named froyo_data.
CRITICAL RULE - Customer Data: Existing Froyo customer data resides in BigQuery in the tables customers_allergen_data. When you are referencing a dataset, ensure you are using it with the dataset ID (froyo_data) . For example, to query orders table in this dataset you should use froyo_data.orders.

6. Enregistrez votre agent.

7. Discutez avec vos données !

7. Testez-le dans la section d'aperçu à droite :

Posez votre question :

Does midnight swirl contain any allergen?

Voici la réponse :

Passons maintenant à la question complexe :

I want to see the top 5 most popular products purchased by 
customers who have a registered 'Dairy' allergy.

Réponse :

Essayons maintenant un prompt d'insight approfondi :

Forecast the sales volume of our top non-dairy products 
for the next 30 days based on historical data.

Vous pouvez voir qu'il affiche la requête qu'il utilise, avec le résultat de la table et le graphique :

Impressionnant ! Les graphiques et les insights ont donc été utiles. Passons à la question ultime sur les produits.

8. Le test ultime

Posez la question suivante :

What will be the top most selling product of 2026

Regardez ce dernier insight. Le BigQuery Data Agent ne s'est pas contenté de nous donner un chiffre : il a explicitement lié les prévisions de ventes à notre inventaire et à notre chaîne d'approvisionnement en ingrédients, soit les données exactes que nous avons extraites de PDF désordonnés dans la première partie.

9. Publier votre agent dans l'entreprise

Cliquez sur le bouton Publier en haut de l'agent d'aperçu.

Maintenant que nous avons créé, configuré et testé notre agent Froyo, il est temps de le déployer dans le reste de l'entreprise.

En haut à droite de la page de configuration de l'agent, cliquez sur le bouton "Publier".

En publiant votre agent, vous le rendez instantanément disponible sur trois canaux d'entreprise puissants pour vous et pour toutes les personnes avec lesquelles vous le partagez :

1. BigQuery : vos analystes de données peuvent désormais discuter avec cet agent directement depuis le hub des agents ou dans leur espace de travail SQL BigQuery Studio.
2. API Conversational Analytics : vos développeurs peuvent accéder à cet agent via une API REST, ce qui leur permet d'intégrer ces analyses conversationnelles précises dans vos propres applications Web internes personnalisées.
3. Data Studio : vos dirigeants peuvent interagir avec cet agent et créer des tableaux de bord conversationnels dynamiques directement dans Data Studio.

Nous avons réussi à décloisonner nos données et à les mettre directement à la disposition des personnes qui en ont besoin, là où elles travaillent déjà.

Cliquez sur le menu déroulant du bouton "Partager" en haut de votre agent BigQuery publié, puis sélectionnez l'option "Copier le lien vers l'agent dans Data Studio" dans la liste :

Collez ce lien dans votre navigateur et appuyez sur Entrée. Confirmez l'alerte d'accès aux interactions avec l'agent :

Vous pouvez démarrer des conversations et des visualisations interactives avec l'agent que vous venez de publier depuis Data Studio. Vos responsables et les autres équipes qui ont besoin de ces informations peuvent en faire autant.

10. Effectuer un nettoyage

Une fois cet atelier terminé, n'oubliez pas de supprimer les autorisations de tous les utilisateurs pour l'agent BigQuery que vous venez de créer.

11. Félicitations !

Vous avez officiellement créé un cloud de données agentique.

Vous n'avez pas seulement créé un chatbot simple. Au cours de ces cinq sessions, vous avez réussi à concevoir un système d'IA d'entreprise complet, moderne et évalué, en partant de zéro. Vous êtes passé des "données sombres " à l'intelligence transactionnelle en temps réel, puis aux prévisions commerciales conversationnelles.

12. Une vue d'ensemble

Prenons un peu de recul et examinons ce que nous avons accompli dans cette série. Nous n'avons pas simplement créé un chatbot. Nous avons conçu un cloud de données agentique complet et moderne :

Partie 1 : Débloquer les données sombres en convertissant des PDF en tables relationnelles structurées à l'aide de Knowledge Catalog.

Partie 2 : Nous avons éliminé les silos de données en fédérant notre entrepôt analytique directement dans une base de données transactionnelle AlloyDB.

Partie 3 : Offrir plus de possibilités aux utilisateurs en créant un OS multi-agents qui exécute de manière fluide des outils de base de données sécurisés via le protocole MCP

Partie 4 : Assurer la sécurité en mettant en œuvre un pipeline d'évaluation rigoureux pour détecter les hallucinations et les jailbreaks.

Partie 5 : Insights démocratisés à l'aide de l'IDE ANTIGRAVITY et de Conversational Analytics dans BigQuery.

C'est l'avenir des logiciels d'entreprise. L'agent IA n'est plus simplement un wrapper autour d'un LLM. Il s'agit d'un moteur d'orchestration entièrement intégré, évalué et sécurisé, qui repose sur une plate-forme de données unifiée.