Chat-App mit Conversational Analytics und Looker erstellen

1. Hinweis

In diesem Codelab erfahren Sie, wie Sie die Conversational Analytics API (CA API) mit Looker verwenden, um eine eigene Chatanwendung zum Abfragen von Daten zu erstellen. Um den größtmöglichen Nutzen zu erzielen, sollten Sie sich mit BigQuery, Looker, LLMs und Agents sowie Python auskennen.

Lerninhalte

Nach Abschluss dieses Codelabs haben Sie Folgendes gelernt:

• Konversationelle Analysen mit Looker verwenden
• Conversational Analytics Python-Schnellstart-App einrichten und verwenden (und Funktionsweise der App)
• Vorteile der Verwendung von Looker für die semantische Modellierung mit Conversational Analytics

Voraussetzungen

Für dieses Codelab benötigen Sie Folgendes:

• Eine Looker-Instanz, auf der der ASC Demographic Data Looker Block installiert ist
• API- und Entwicklerzugriff auf Ihre Looker-Instanz
• Eine lokale Umgebung mit Python 3.11+, Git und gcloud.
• Ein Cloud-Projekt mit diesen IAM-Rollen, die für Ihr Nutzerkonto eingerichtet sind:
• roles/bigquery.dataViewer BigQuery-Datenbetrachter
• roles/bigquery.user BigQuery-Nutzer
• roles/looker.instanceUser Looker Instance User

2. Chat-App mit BigQuery erstellen und testen

Richten wir zuerst die Conversational Analytics-Kurzanleitung ein und probieren wir sie aus. BigQuery soll dabei als Datenquelle dienen.

Cloud-APIs authentifizieren und aktivieren

1. Lokale Authentifizierung mit Ihrem Nutzerkonto:

gcloud auth login

2. Aktivieren Sie Cloud-Projekt-APIs. Ersetzen Sie YOUR_PROJECT_ID durch die ID Ihres Google Cloud-Projekts:

gcloud services enable geminidataanalytics.googleapis.com bigquery.googleapis.com cloudaicompanion.googleapis.com --project=YOUR_PROJECT_ID

3. Standardanmeldedaten für Anwendungen (Application Default Credentials, ADC) und Abrechnung festlegen:

gcloud auth application-default login
gcloud auth application-default set-quota-project YOUR_PROJECT_ID

Schnellstart-App einrichten

4. Klonen Sie das GitHub-Repository für den Schnellstart in Ihre lokale Umgebung. Hier ein Beispielbefehl:

git clone "https://github.com/looker-open-source/ca-api-quickstarts"

5. Wechseln Sie zum geklonten Verzeichnis ca-api-quickstarts:

cd ca-api-quickstarts

6. Erstellen Sie im Verzeichnis .streamlit eine Datei secrets.toml. YOUR_LOOKER_CLIENT_ID und YOUR_LOOKER_CLIENT_SECRET sollten Ihre Looker-Client-ID und Ihr Looker-Clientschlüssel aus Ihrer Looker-Instanz sein. Der Inhalt der Datei sollte so aussehen:

[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"

Mit dem folgenden Beispielbefehl können Sie die Datei erstellen. Ersetzen Sie die Werte durch Ihre Projekt-ID, Client-ID und Ihr Client-Secret:

cat > .streamlit/secrets.toml <<'EOF'
[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"
EOF

7. Installieren Sie die Python-Anforderungen der Schnellstart-App:

pip install -r requirements.txt

8. Führen Sie die Schnellstart-App aus:

streamlit run app.py

Sie führen eine benutzerdefinierte Streamlit-App aus, ein Open-Source-Python-App-Framework, mit dem Sie interaktive Daten-Apps prototypisieren können. Weitere Informationen finden Sie in der Streamlit-Dokumentation.

9. Öffnen Sie https://localhost:8501 in Ihrem bevorzugten Browser.

Kurzanleitung ausprobieren

Sie befinden sich jetzt auf der Agents-Seite der Schnellstart-App. Sie haben keine Daten-Agents verfügbar.

Was ist ein Data-KI-Agent? KI-Agenten sind Softwaresysteme, die KI nutzen, um im Namen der Nutzerinnen und Nutzer Ziele zu verfolgen und Aufgaben zu erledigen. Sie zeigen Denkvermögen, Planung und Gedächtnis und haben ein gewisses Maß an Autonomie, um Entscheidungen zu treffen, zu lernen und sich anzupassen. In unserem Anwendungsfall verwenden wir KI-Agenten, um unsere Daten zu analysieren. Das Verhalten eines Agenten wird durch die für ihn definierten Systemanweisungen bestimmt. Weitere Informationen finden Sie unter Was sind KI-Agents?.

10. Erstellen wir nun einen Datenagenten, der wie ein Pirat spricht. Verwenden Sie dazu das Formular Agent erstellen:
11. Legen Sie das Feld Anzeigename fest:

Pirate BQ Agent

2. Legen Sie das Feld Systemanweisungen fest:

You are a pirate. Answer questions like a pirate

3. Wählen Sie die Option BigQuery aus.
4. Legen Sie das Feld Projekt fest:

bigquery-public-data

5. Legen Sie das Feld Dataset fest:

google_trends

6. Legen Sie das Feld Tabelle fest:

top_rising_terms

11. Wählen Sie Agent erstellen aus.

Das Formular Create Agent der Kurzanleitungs-App ruft den create dataAgent-Endpunkt der CA API über das Python SDK von gcloud auf und übergibt die Systemanweisungen und Datenquelle des Agenten. Die App verwendet das Python SDK von gcloud für alle CA API-Aufrufe.

12. Rufen wir nun über die linke Hauptnavigation die Chatseite auf. Unser neu erstellter Kundenservicemitarbeiter ist für den Chat verfügbar. Wir beginnen einen Chat, indem wir eine Aufforderung/Nachricht hinzufügen: „Hallo, wie geht es dir?“
13. Sehen wir uns diesen Datensatz nun etwas genauer an: „Worum geht es in diesem Datensatz?“

Was passiert, wenn Sie einen Prompt (oder eine Nachricht) im Chat senden? Die App sendet Ihre Nachricht als Nutzlast an den Chat-Endpunkt der CA API. Die CA API verwendet im Hintergrund die Systemanweisungen des Daten-Agents und Informationen aus der Datenquelle als Kontext für Ihren Prompt und sendet den Prompt und den Kontext an Gemini. Anschließend streamt die CA API die Antwort von Gemini zurück.

14. Stellen Sie eine weitere Frage, z. B.:
15. „Welche Standorte für [Bundesstaat eingeben] sind im Datensatz enthalten?“
16. „Kannst du mir die Daten der letzten zwei Wochen für [Stadt, Bundesstaat?] geben?“
17. „Kannst du eine Visualisierung erstellen?“

Sie haben gerade eine Konversation mit mehreren Zügen mit Ihrem Daten-Agenten und Ihren BigQuery-Daten in Ihrer eigenen Chatanwendung geführt.

3. Daten in Looker modellieren und analysieren

Jetzt modellieren und untersuchen wir dieselben BigQuery-Daten in Looker.

BigQuery-Zensusdaten abfragen

Was passiert, wenn wir eine Verbindung zu einem größeren relationalen Datensatz herstellen? Zuerst erstellen wir einen neuen Agent.

1. Kehren Sie zur Seite mit den KI-Agenten zurück und rufen Sie das Formular KI-Agenten erstellen auf.
2. Legen Sie das Feld Anzeigename fest:

BQ Census Agent

2. Legen Sie das Feld Systemanweisungen fest:

You are really excited about census data, you love learning about the demographics in your area because you want to come up with marketing campaigns for your company

3. Wählen Sie die Option BigQuery aus.
4. Legen Sie das Feld Projekt fest:

bigquery-public-data

5. Legen Sie das Feld Dataset fest:

census_bureau_acs

6. Legen Sie das Feld Tabelle fest:

blockgroup_2018_5yr

2. Wählen Sie Agent erstellen aus.
3. Stellen Sie dem neu erstellten Agent beide Fragen:
4. „Welche Daten haben Sie?“
5. „Can you show me a preview of my data?“ (Kannst du mir eine Vorschau meiner Daten zeigen?)

Wenn Sie den Agent nach einer Vorschau der Daten fragen, sehen Sie, dass der Tabelle kein für Menschen lesbarer Standort zugeordnet ist, sondern nur eine geografische ID (geo_id).

Volkszählungsdaten mit Looker modellieren

Als Nächstes verwenden wir ein LookML-Modell, um die BigQuery-Volkszählungsdaten zu definieren. Wir werden die Probleme lösen, die wir gerade gesehen haben.

4. Bei Ihrer Looker-Instanz anmelden
5. Rufen Sie die ACS-Demografiedatenblockdateien auf, indem Sie in der linken Hauptnavigation Entwickeln und dann marketplace_acs_census-v2 auswählen.
6. Sehen wir uns eine Looker-Ansicht an. Öffnen Sie das Verzeichnis imported_project, das Verzeichnis acs_census-v2 und das Verzeichnis geography.
7. Öffnen Sie schließlich die Datei cbsa.view.
8. In Zeile 17 sehen wir, dass mit dem LookML-Code eine abgeleitete Tabelle erstellt wird. Mit diesem Code wird also eine neue, kombinierte Tabelle erstellt, indem zwei öffentliche BigQuery-Datasets zusammengeführt werden: eines mit Volkszählungsdaten und eines mit geografischen Grenzdaten. Mit LookML können wir mehrere Datasets verknüpfen, indem wir eine persistente abgeleitete Tabelle erstellen, die abgefragt werden kann.

Eine persistente abgeleitete Tabelle (Persistent Derived Table, PDT) ist eine Tabelle, die von Looker erstellt und in Ihrer Datenbank (in diesem Fall BigQuery) gespeichert wird. Es handelt sich um eine materialisierte Ansicht einer komplexen Abfrage. Anstatt dieselbe ressourcenintensive Abfrage jedes Mal auszuführen, wenn ein Nutzer einen Bericht anfordert, kann Looker die vorab berechnete PDT effizienter abfragen, um die Leistung zu steigern und die Abfragezeit zu verkürzen.

Außerdem wird der Join in versionierbarem Code (LookML) anstelle von Systemanweisungen definiert, was die Agent-Entwicklung skalierbarer macht. Mit LookML können Sie bestimmte Annahmen und Einschränkungen für Ihre Daten definieren, um Ihre Nutzer bei der Interaktion mit Ihren Daten über einen Daten-Agenten zu unterstützen.

Geschätzte Volkszählungsdaten in Looker ansehen

Wir führen eine kurze Abfrage in einem Explore aus, um zu zeigen, dass wir eine zentrale Datenquelle für Abfragen haben.

9. Wählen Sie im linken Hauptnavigationsmenü Erkunden, dann Census Data Block und dann State and County aus.
10. Wählen Sie die Maßzahl Education > Associates Degree aus.
11. Wählen Sie die folgenden Dimensionen aus:
12. Region > Blockgruppe
13. Geografie > Landkreis > Name des Landkreises
14. Region > Bundesstaat > Bundesstaat.
15. Führen Sie die Abfrage aus (rechts oben). Die geografischen IDs (als „Block Group“ bezeichnet) sind jetzt mit lesbaren Strings verknüpft.
16. Öffnen Sie den Tab „Visualisierung“. Dort werden die Daten auf einer Karte angezeigt.

4. Chat-App mit Looker ausprobieren

Erstellen wir nun einen KI-Datenagenten für Looker.

1. Rufen Sie das Formular KI-Agenten erstellen auf der Agent-Seite Ihrer Schnellstart-App auf:
2. Legen Sie das Feld Anzeigename fest:

Cartoon character data analyst

2. Legen Sie das Feld Systemanweisung fest:

You are [fill in your favorite cartoon character, Bugs Bunny is a favorite]. Answer questions like that cartoon character

3. Wählen Sie die Option Looker aus.
4. Legen Sie das Feld Url auf die URL Ihrer Looker-Instanz fest: „https://...“
5. Legen Sie das Feld Modell fest:

data_block_acs_bigquery

6. Legen Sie das Feld Untersuchen fest:

cbsa

7. Wählen Sie Agent erstellen aus.
8. Rufen Sie die Chatseite auf und wählen Sie den neu erstellten Agent aus.
9. Wir beginnen einen Chat, indem wir eine Aufforderung/Nachricht hinzufügen: „Hallo, wie geht es dir?“
10. Wir bitten den Agenten, den Datensatz zu beschreiben: „Welche Daten sind verfügbar?“
11. Stellen wir noch ein paar Fragen:
12. „Welcher Bezirk in New York hat die größte Bevölkerung?“
13. „What about the most graduates from high school per capita?“
14. „Kannst du mir die Bevölkerung nach Geschlecht und Bundesstaat nennen?“
15. „Ich möchte ein Balkendiagramm der zehn Bundesstaaten mit der höchsten Bevölkerungszahl sehen.“

Sehen Sie das Balkendiagramm in Ihrer Konversation? Die CA API hat eine Nachricht mit einer Vega-Diagrammspezifikation an die App gesendet. Die Vega-Diagrammspezifikation enthält die Daten und Konfigurationen der Visualisierung, z. B. Farben, Achsen und Diagrammtyp. Anhand der Spezifikation wird die Streamlit-App als interaktives Vega-Diagramm gerendert, das Sie sich ansehen und mit dem Sie interagieren können. Mit der CA API können Sie Ihre Daten nicht nur abfragen, sondern auch mit KI-Datenagenten visualisieren. Dazu werden Standardvisualisierungskonfigurationen erstellt, die eine einfache Visualisierung ermöglichen.

5. Was kann die Quickstart-App noch?

Sie haben jetzt:

• Chat-App lokal einrichten
• BigQuery-Daten-Agent und Looker-Daten-Agent erstellt
• Gespräche mit Ihren Datenagenten geführt
• Sie haben die Vorteile der semantischen Modellierung in Looker als Kontext für Ihre Chats kennengelernt.

Sehen wir uns die anderen Funktionen der Kurzanleitungs-App an:

1. Laden Sie die Webseite der Schnellstart-App neu und rufen Sie die Chatseite auf.
2. Sie können sich Ihre bisherigen Unterhaltungen mit allen zugehörigen Nachrichten von Ihren BigQuery- und Looker-KI-Agents ansehen. Im Frontend der App werden die bisherigen Unterhaltungen oder Nachrichten nicht gespeichert, sondern über die CA API abgerufen.

Die CA API bietet Endpunkte für alle bisherigen Unterhaltungen und deren Nachrichten. Die App ruft frühere Unterhaltungen über den list conversations endpoint der CA API ab. Die App ruft dann alle bisherigen Nachrichten der Unterhaltung über den Endpunkt für das Auflisten von Nachrichten ab. Wenn Sie eine Nachricht an eine Unterhaltung senden, kann die CA API die Nachrichten einer Unterhaltung zuordnen, um alle bisherigen Nachrichten in der Unterhaltung als Kontext für eine nützlichere Multi-Turn-Unterhaltung zu verwenden.

3. Rufen Sie nun die Seite „Agents“ auf und wählen Sie Ihren Looker-Agent aus der Liste aus.
4. Sie können die Konfigurationen des KI-Agents aktualisieren oder den Agent löschen. Im Frontend der App werden keine Kundenservicemitarbeiter gespeichert.

Die App ruft die von der CA API bereitgestellten Endpunkte auf, um Agents aufzulisten, zu erstellen, zu aktualisieren und zu löschen. Die App nutzt die Möglichkeit der CA API, ihre Agents zu speichern und zu verwalten. Die CA API bietet auch andere Vorgänge für Agents.

6. Optionale Aufgaben und weitere Analysen

Wenn Sie möchten, können Sie sich jetzt mit Conversational Analytics und der Schnellstart-App vertraut machen. Oder Sie können versuchen, die Schnellstart-App zu ändern. Sie können einige der folgenden Vorschläge und Aufgaben ausprobieren oder direkt zum letzten Abschnitt springen.

Mit der CA API und der Kurzanleitung-App vertraut machen

• Weitere Informationen zu detaillierten Systemanweisungen zum Steuern des Verhaltens Ihres Agenten
• Richten Sie einen weiteren Daten-Agent ein, der auf ein neues BigQuery-Dataset verweist.
• Installieren Sie einen neuen Looker-Block in Ihrer Looker-Instanz, erstellen Sie einen Agent und verweisen Sie ihn auf ein neues Looker-Dataset.

Herausforderungen bei der Änderung von Schnellstart-Apps

• Kennen Sie sich mit dem Einbetten von Looker aus? Wenn ja, versuchen Sie, ein Looker-Dashboard in die Schnellstart-App einzubetten. Verwenden Sie dazu die Iframe-Komponente von Streamlit.
• Suchen Sie nach einem öffentlichen Dataset mit Video-URLs und aktualisieren Sie die Chat-Rendering-Logik der App, um ein Video im Chat anzuzeigen.

7. Fazit und wichtige Punkte

Du hast es geschafft. Sie haben eine Chat-App erstellt, KI-Datenagenten erstellt und mit Ihren Daten gechattet – alles mit der Conversational Analytics API. Sehen wir uns einige wichtige Funktionen und Konzepte an.

Funktionen der konversationellen Analyse

Wir haben viele Funktionen von Conversational Analytics behandelt, z. B. die Möglichkeit,

• Daten-Agents erstellen, aktualisieren, auflisten, abrufen und löschen.
• Weisen Sie KI-Datenagenten entweder BigQuery oder Looker als Datenquelle zu.
• Unterhaltungen und die zugehörigen Nachrichten erstellen, auflisten und abrufen.
• Vega-Diagrammspezifikationen für immersive Visualisierungen in Unterhaltungen erstellen.
• Verwenden Sie frühere Nachrichten in einer Unterhaltung als nützlichen Kontext für zukünftige Nachrichten.

Vorteile der Verwendung von Looker mit der CA API

Looker bietet eine zentrale, testbare und kontrollierbare semantische Modellierung Ihrer Daten. In Kombination mit der konversationellen Analyse bietet Looker eine skalierbare Möglichkeit, Kontext für Ihre Daten-Agents bereitzustellen.

Nächste Schritte

• Weitere Anleitungen, Funktionen und Anwendungsfälle finden Sie in der Dokumentation zu Conversational Analytics.
• Bleiben Sie mit dem Repository für die Schnellstartanwendung auf dem Laufenden und tragen Sie dazu bei.