Créer une application de chat avec Conversational Analytics et Looker

1. Avant de commencer

Cet atelier de programmation vous guidera dans l'utilisation de l'API Conversational Analytics (API CA) avec Looker pour créer votre propre application de chat permettant d'interroger des données. Pour en tirer le meilleur parti, vous devez connaître BigQuery, Looker, les LLM et les agents, ainsi que Python.

Points abordés

Après avoir suivi cet atelier de programmation, vous aurez appris les points suivants :

• Utiliser Conversational Analytics avec Looker
• Configurer et utiliser l'application de démarrage rapide Python Conversational Analytics (et comprendre son fonctionnement)
• Avantages de l'utilisation de Looker pour la modélisation sémantique avec Conversational Analytics

Prérequis

Voici les conditions à réunir pour effectuer cet atelier de programmation :

• Une instance Looker avec le bloc Looker ASC Demographic Data installé
• Accès aux API et aux développeurs à votre instance Looker
• Un environnement local avec Python 3.11 ou version ultérieure, Git et gcloud installés.
• Un projet cloud avec ces rôles IAM configurés pour votre compte utilisateur :
• roles/bigquery.dataViewer Lecteur de données BigQuery
• roles/bigquery.user Utilisateur BigQuery
• roles/looker.instanceUser Utilisateur de l'instance Looker

2. Créer et tester votre application de chat avec BigQuery

Commençons par configurer et essayer l'application de démarrage rapide Conversational Analytics avec BigQuery comme source de données.

S'authentifier et activer les API Cloud

1. Authentifiez-vous localement avec votre compte utilisateur :

gcloud auth login

2. Activez les API du projet Cloud. Veuillez remplacer YOUR_PROJECT_ID par l'ID de votre projet Google Cloud :

gcloud services enable geminidataanalytics.googleapis.com bigquery.googleapis.com cloudaicompanion.googleapis.com --project=YOUR_PROJECT_ID

3. Définissez les identifiants par défaut de l'application (ADC) et la facturation :

gcloud auth application-default login
gcloud auth application-default set-quota-project YOUR_PROJECT_ID

Configurer l'application de démarrage rapide

4. Clonez le dépôt GitHub de démarrage rapide dans votre environnement local. Consultez l'exemple de commande ci-dessous :

git clone "https://github.com/looker-open-source/ca-api-quickstarts"

5. Accédez au répertoire ca-api-quickstarts que vous avez cloné :

cd ca-api-quickstarts

6. Créez un fichier secrets.toml dans le répertoire .streamlit. YOUR_LOOKER_CLIENT_ID et YOUR_LOOKER_CLIENT_SECRET doivent correspondre à votre ID client Looker et à votre code secret du client Looker à partir de votre instance Looker. Le contenu du fichier doit être le suivant :

[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"

Vous pouvez utiliser l'exemple de commande suivant pour créer le fichier. Veillez à remplacer les valeurs par l'ID de votre projet, l'ID client et le secret client :

cat > .streamlit/secrets.toml <<'EOF'
[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"
EOF

7. Installez les exigences Python de l'application de démarrage rapide :

pip install -r requirements.txt

8. Exécutez l'application de démarrage rapide :

streamlit run app.py

Vous exécutez une application Streamlit personnalisée, un framework d'application Python Open Source qui vous permet de prototyper des applications de données interactives. Pour en savoir plus, consultez la documentation Streamlit.

9. Ouvrez https://localhost:8501 dans le navigateur de votre choix.

Tester l'application de démarrage rapide

Vous êtes maintenant sur la page des agents de l'application de démarrage rapide. Aucun agent de données n'est disponible.

Qu'est-ce qu'un agent IA de données ? Les agents d'IA sont des systèmes logiciels qui utilisent l'IA pour atteindre des objectifs et effectuer des tâches au nom des utilisateurs. Ils font preuve de raisonnement, de planification et de mémoire, et disposent d'un certain niveau d'autonomie pour prendre des décisions, apprendre et s'adapter. Dans notre cas d'utilisation, nous utilisons des agents d'IA pour comprendre nos données. Le comportement d'un agent est dicté par les instructions système qui lui sont définies. Pour en savoir plus, consultez Qu'est-ce qu'un agent d'IA ?.

10. Créons maintenant un agent de données qui parle comme un pirate dans le formulaire Créer un agent :
11. Définissez le champ Nom à afficher :

Pirate BQ Agent

2. Définissez le champ Instructions système :

You are a pirate. Answer questions like a pirate

3. Sélectionnez l'option BigQuery.
4. Définissez le champ Projet :

bigquery-public-data

5. Définissez le champ Ensemble de données :

google_trends

6. Définissez le champ Table :

top_rising_terms

11. Sélectionnez Créer un agent.

Le formulaire Create Agent de l'application de démarrage rapide appelle le point de terminaison create dataAgent de l'API CA via le SDK Python de gcloud, en transmettant les instructions système et la source de données de l'agent. L'application utilise le SDK Python gcloud pour tous les appels d'API de l'autorité de certification.

12. Accédez maintenant à la page de chat via le panneau de navigation principal de gauche. Notre nouvel agent est disponible pour discuter. Commençons une discussion en ajoutant une requête/un message : "Bonjour, comment allez-vous ?"
13. Maintenant, apprenons-en un peu plus sur cet ensemble de données : "De quoi parle cet ensemble de données ?"

Que se passe-t-il lorsque vous envoyez une requête (ou un message) dans le chat ? L'application envoie votre message en tant que charge utile au point de terminaison de chat de l'API CA. En arrière-plan, l'API CA utilise les instructions système et les informations de l'agent de données provenant de la source de données comme contexte pour votre requête, puis envoie la requête et le contexte à Gemini. L'API CA renvoie ensuite la réponse de Gemini en flux continu.

14. Posez une autre question, par exemple :
15. "Quels sont les lieux [saisir l'État] présents dans l'ensemble de données ?"
16. "Peux-tu me donner les données des deux dernières semaines pour [ville, État] ?"
17. "Peux-tu créer une visualisation ?"

Vous venez d'avoir une conversation en plusieurs étapes avec votre agent de données et vos données BigQuery dans votre propre application de chat.

3. Modéliser et explorer vos données dans Looker

Nous allons maintenant modéliser et explorer les mêmes données BigQuery dans Looker.

Interroger les données de recensement BigQuery

Que se passe-t-il lorsque nous nous connectons à un ensemble de données relationnelles plus volumineux ? Nous allons d'abord créer un agent.

1. Revenez au formulaire Créer un agent de la page des agents.
2. Définissez le champ Nom à afficher :

BQ Census Agent

2. Définissez le champ Instructions système :

You are really excited about census data, you love learning about the demographics in your area because you want to come up with marketing campaigns for your company

3. Sélectionnez l'option BigQuery.
4. Définissez le champ Projet :

bigquery-public-data

5. Définissez le champ Ensemble de données :

census_bureau_acs

6. Définissez le champ Table :

blockgroup_2018_5yr

2. Sélectionnez Créer un agent.
3. Posez les deux questions suivantes à l'agent que vous venez de créer :
4. "Quelles données avez-vous ?"
5. "Peux-tu me montrer un aperçu de mes données ?"

Lorsque vous demandez à l'agent de prévisualiser les données, vous pouvez constater que la table n'est associée à aucun emplacement lisible par un humain, mais uniquement à un identifiant géographique (geo_id).

Utiliser Looker pour modéliser les données de recensement

Nous allons maintenant utiliser un modèle LookML pour définir les données de recensement BigQuery. Nous allons résoudre les problèmes que nous venons de voir.

4. Se connecter à votre instance Looker
5. Pour accéder à vos fichiers de blocs de données démographiques ACS, accédez à la navigation principale de gauche, sélectionnez Développer, puis marketplace_acs_census-v2.
6. Examinons une vue Looker. Ouvrez les répertoires imported_project, acs_census-v2 et geography.
7. Enfin, ouvrez le fichier cbsa.view.
8. La ligne 17 indique que le code LookML crée une table dérivée. En d'autres termes, ce code crée une table combinée en associant deux ensembles de données BigQuery publics : l'un contenant des données de recensement et l'autre des données sur les limites géographiques. LookML nous permet de joindre plusieurs ensembles de données en créant une table dérivée persistante à interroger.

Une table dérivée persistante (PDT) est une table créée par Looker et stockée dans votre base de données (BigQuery dans le cas présent). Il s'agit d'une vue matérialisée d'une requête complexe. Au lieu d'exécuter la même requête coûteuse chaque fois qu'un utilisateur demande un rapport, Looker peut interroger plus efficacement la table PDT précalculée pour améliorer les performances et réduire le temps de requête.

De plus, la jointure est définie dans un code versionnable (LookML) au lieu d'instructions système, ce qui rend le développement d'agents plus évolutif. Avec LookML, vous pouvez définir des hypothèses et des contraintes spécifiques autour de vos données pour aider vos utilisateurs à discuter avec vos données via un agent de données.

Explorer les données de recensement modélisées de Looker

Exécutons une requête rapide dans un Explore pour montrer que nous disposons d'une source de données centralisée à interroger.

9. Dans le menu de navigation principal de gauche, sélectionnez Explorer, puis Bloc de données de recensement,puis État et comté.
10. Sélectionnez la mesure Formation > Diplôme de premier cycle.
11. Sélectionnez les dimensions suivantes :
12. Zone géographique > Groupe de blocs
13. Géographie > Comté > Nom du comté
14. Zone géographique > État > État.
15. Exécutez la requête (en haut à droite). Vous verrez alors que ces ID géographiques (appelés "groupe de blocs") sont désormais associés à des chaînes lisibles par l'utilisateur.
16. Ouvrez l'onglet "Visualisation". Vous verrez alors ces données sur une carte.

4. Tester l'application de chat avec Looker

Créons maintenant un agent de données pour Looker.

1. Accédez au formulaire Create Agent (Créer un agent) de la page de l'agent de votre application de démarrage rapide :
2. Définissez le champ Nom à afficher :

Cartoon character data analyst

2. Définissez le champ Instructions système :

You are [fill in your favorite cartoon character, Bugs Bunny is a favorite]. Answer questions like that cartoon character

3. Sélectionnez l'option Looker.
4. Définissez le champ Url sur l'URL de votre instance Looker : "https://...".
5. Définissez le champ Modèle :

data_block_acs_bigquery

6. Définissez le champ Explorer :

cbsa

7. Sélectionnez Créer un agent.
8. Accédez à la page de chat et sélectionnez l'agent que vous venez de créer.
9. Commençons une discussion en ajoutant une requête/un message : "Bonjour, comment allez-vous ?"
10. Demandons à l'agent de décrire l'ensemble de données : "Quelles données sont disponibles ?"
11. Posons quelques questions supplémentaires :
12. "Quel comté de l'État de New York a la plus grande population ?"
13. "Qu'en est-il du nombre de diplômés du secondaire par habitant ?"
14. "Peux-tu me donner la population par genre et par État ?"
15. "J'aimerais voir un graphique à barres des 10 États les plus peuplés."

Vous voyez ce graphique à barres dans votre conversation ? L'API CA a envoyé un message à l'application avec une spécification de graphique Vega. La spécification du graphique Vega contient les données et les configurations de la visualisation, comme les couleurs, les axes, le type de graphique, etc. Grâce à la spécification, l'application Streamlit l'a affichée sous forme de graphique Vega interactif que vous pouvez consulter et avec lequel vous pouvez interagir. L'API CA vous permet non seulement d'interroger vos données avec des agents de données, mais aussi de les visualiser en générant des configurations de visualisation standards pour une visualisation facile.

5. Que peut faire d'autre l'application de démarrage rapide ?

Vous avez désormais :

• Configurer l'application de chat en local
• Création d'un agent de données BigQuery et d'un agent de données Looker
• Conversations avec vos agents de données
• Vous avez découvert les avantages de la modélisation sémantique Looker comme contexte pour vos discussions.

Essayons les autres fonctionnalités de l'application de démarrage rapide :

1. Rechargez la page Web de l'application de démarrage rapide et accédez à la page de chat.
2. Vous pouvez consulter vos conversations précédentes avec tous les messages correspondants de vos agents BigQuery et Looker. L'interface utilisateur de l'application ne stocke pas les conversations ni les messages passés, mais les récupère à partir de l'API CA.

L'API CA fournit des points de terminaison pour toutes les conversations passées et leurs messages. L'application récupère les conversations passées à partir du point de terminaison list conversations de l'API CA. L'application récupère ensuite tous les messages passés de la conversation à partir du point de terminaison list messages. Lorsque vous envoyez un message à une conversation, l'API CA peut associer les messages à une conversation pour inclure tous les messages précédents de la conversation en tant que contexte pour une conversation multitours plus utile.

3. Accédez à la page des agents et sélectionnez votre agent Looker dans la liste.
4. Vous pouvez modifier les configurations de l'agent ou le supprimer si vous le souhaitez. Aucun agent n'est stocké dans l'interface utilisateur de l'application.

L'application appelle les points de terminaison fournis par l'API CA pour lister, créer, mettre à jour et supprimer des agents. L'application utilise la capacité de l'API CA à stocker et gérer ses agents. L'API CA fournit également d'autres opérations sur les agents.

6. Défis facultatifs et exploration approfondie

Si vous le souhaitez, vous pouvez profiter de cette occasion pour vous familiariser avec Conversational Analytics et l'application de démarrage rapide. Vous pouvez également vous lancer le défi de modifier l'application de démarrage rapide. Vous pouvez essayer certaines des suggestions et des défis suivants, ou passer directement à la section finale.

Se familiariser avec l'API CA et l'application de démarrage rapide

• En savoir plus sur les instructions système détaillées pour contrôler le comportement de votre agent
• Configurez un autre agent de données pointant vers un nouvel ensemble de données BigQuery.
• Installez un bloc Looker dans votre instance Looker, créez un agent et pointez-le vers un nouvel ensemble de données Looker.

Défis de modification de l'application de démarrage rapide

• Connaissez-vous l'intégration Looker ? Si c'est le cas, essayez d'intégrer un tableau de bord Looker dans l'application de démarrage rapide. Envisagez d'utiliser le composant iframe de Streamlit.
• Trouvez un ensemble de données public contenant des URL de vidéos et mettez à jour la logique de rendu du chat de l'application pour afficher une vidéo dans le chat.

7. Conclusion et points à retenir

Vous avez terminé ! Vous avez créé une application de chat, des agents de données et discuté avec vos données à l'aide de l'API Conversational Analytics. Passons en revue quelques fonctionnalités et concepts clés.

Fonctionnalités Conversational Analytics

Nous avons abordé de nombreuses fonctionnalités d'analyse conversationnelle, comme la possibilité de :

• Créer, mettre à jour, lister, obtenir et supprimer des agents de données.
• Indiquez aux agents de données d'utiliser BigQuery ou Looker comme source de données.
• Créez, listez et obtenez des conversations et leurs messages respectifs.
• Produire des spécifications de graphiques Vega pour une visualisation immersive dans les conversations.
• Utiliser les messages précédents d'une conversation comme contexte utile pour les messages futurs.

Avantages de l'utilisation de Looker avec l'API CA

Looker fournit une modélisation sémantique centralisée, testable et contrôlable de vos données. Combiné à Conversational Analytics, Looker offre un moyen évolutif de fournir du contexte à vos agents de données.

Étape suivante

• Pour obtenir d'autres guides, fonctionnalités et cas d'utilisation, consultez la documentation sur Conversational Analytics.
• Restez informé et contribuez au dépôt de l'application de démarrage rapide.