Tworzenie aplikacji do obsługi czatu za pomocą analityki konwersacyjnej i Lookera

1. Zanim zaczniesz

W tym samouczku dowiesz się, jak używać interfejsu Conversational Analytics API (CA API) z Lookerem do tworzenia własnej aplikacji do czatu, która umożliwia wysyłanie zapytań o dane. Aby w pełni wykorzystać tę funkcję, musisz znać BigQuery, Lookera, modele LLM i agenty oraz język Python.

Czego się nauczysz

Po ukończeniu tego ćwiczenia nauczysz się:

• Jak korzystać z analityki konwersacyjnej w Lookerze
• Jak skonfigurować i używać aplikacji do szybkiego startu w Pythonie do analizy konwersacyjnej (i jak ona działa)
• Korzyści z używania Lookera do modelowania semantycznego w przypadku analizy konwersacyjnej

Czego potrzebujesz

Aby ukończyć to ćwiczenie, potrzebujesz:

• Instancja Lookera z zainstalowanym blokiem Lookera ASC Demographic Data.
• Dostęp do interfejsu API i narzędzi dla deweloperów w instancji Lookera
• Środowisko lokalne z zainstalowanym Pythonem w wersji 3.11 lub nowszej, Gitem i gcloud.
• projekt w chmurze z tymi rolami IAM skonfigurowanymi na Twoim koncie użytkownika:
• roles/bigquery.dataViewer Wyświetlający dane BigQuery
• roles/bigquery.user Użytkownik BigQuery
• roles/looker.instanceUser Użytkownik instancji Lookera

2. Tworzenie i testowanie aplikacji do czatu za pomocą BigQuery

Najpierw skonfigurujemy i wypróbujemy aplikację do szybkiego rozpoczęcia pracy z analityką konwersacyjną, w której BigQuery będzie źródłem danych.

Uwierzytelnianie i włączanie interfejsów Cloud API

1. Uwierzytelnij się lokalnie za pomocą konta użytkownika:

gcloud auth login

2. Włącz interfejsy API projektu w Google Cloud. Zastąp YOUR_PROJECT_ID identyfikatorem Twojego projektu Google Cloud:

gcloud services enable geminidataanalytics.googleapis.com bigquery.googleapis.com cloudaicompanion.googleapis.com --project=YOUR_PROJECT_ID

3. Skonfiguruj domyślne dane logowania aplikacji (ADC) i płatności:

gcloud auth application-default login
gcloud auth application-default set-quota-project YOUR_PROJECT_ID

Konfigurowanie aplikacji do szybkiego startu

4. Sklonuj repozytorium GitHub z krótkim wprowadzeniem w środowisku lokalnym. Oto przykładowe polecenie:

git clone "https://github.com/looker-open-source/ca-api-quickstarts"

5. Przejdź do sklonowanego katalogu ca-api-quickstarts:

cd ca-api-quickstarts

6. Utwórz plik secrets.toml w katalogu .streamlit. YOUR_LOOKER_CLIENT_ID i YOUR_LOOKER_CLIENT_SECRET powinny być identyfikatorem klienta Lookera i tajnym kluczem klienta Lookera z Twojej instancji Lookera. Zawartość pliku powinna wyglądać tak:

[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"

Aby utworzyć plik, możesz użyć tego przykładowego polecenia. Pamiętaj, aby zastąpić wartości identyfikatorem projektu, identyfikatorem klienta i tajnym kluczem klienta:

cat > .streamlit/secrets.toml <<'EOF'
[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"
EOF

7. Zainstaluj wymagania Pythona dotyczące aplikacji z szybkim wprowadzeniem:

pip install -r requirements.txt

8. Uruchom aplikację z krótkiego wprowadzenia:

streamlit run app.py

Uruchamiasz aplikację Streamlit, czyli platformę aplikacji w Pythonie typu open source, która umożliwia tworzenie prototypów interaktywnych aplikacji do obsługi danych. Więcej informacji znajdziesz w dokumentacji Streamlit.

9. Otwórz stronę https://localhost:8501 w wybranej przeglądarce.

Wypróbuj aplikację z krótkiego wprowadzenia

Wyświetli się strona agentów aplikacji szybkiego startu. Nie masz dostępnych agentów danych.

Czym jest agent AI do danych? Agenty AI to systemy oprogramowania, które wykorzystują sztuczną inteligencję do realizacji celów i wykonywania zadań w imieniu użytkowników. Wykazują się one zdolnością rozumowania, planowania i zapamiętywania. Mają także pewną autonomię w zakresie podejmowania decyzji, uczenia się i adaptacji. W naszym przypadku używamy agentów AI do analizowania danych. Zachowanie agenta jest podyktowane instrukcjami systemowymi zdefiniowanymi dla niego. Więcej informacji znajdziesz w artykule Czym są agenci AI?.

10. Teraz w formularzu Utwórz agenta utwórz agenta danych, który mówi jak pirat:
11. Ustaw pole Wyświetlana nazwa:

Pirate BQ Agent

2. Ustaw wartość w polu Instrukcje systemowe:

You are a pirate. Answer questions like a pirate

3. Wybierz opcję BigQuery.
4. Ustaw pole Project (Projekt):

bigquery-public-data

5. Ustaw pole Zbiór danych:

google_trends

6. Ustaw pole Tabela:

top_rising_terms

11. Kliknij Utwórz agenta.

Formularz Create Agent (Utwórz agenta) w aplikacji szybkiego startu wywołuje punkt końcowy create dataAgent interfejsu CA API za pomocą pakietu SDK Pythona gcloud, przekazując instrukcje systemowe agenta i źródło danych. Aplikacja używa pakietu Python SDK gcloud do wszystkich wywołań interfejsu CA API.

12. Teraz przejdźmy do strony czatu za pomocą głównego menu nawigacyjnego po lewej stronie. Nasz nowo utworzony agent jest dostępny na czacie. Zacznijmy czat od dodania promptu/wiadomości: „Cześć, co słychać?”.
13. Dowiedzmy się teraz czegoś więcej o tym zbiorze danych: „Czego dotyczy ten zbiór danych?”

Co się dzieje, gdy wysyłasz prompta (lub wiadomość) na czacie? Aplikacja wysyła wiadomość jako ładunek do punktu końcowego czatu interfejsów API CA. Interfejs CA API w tle używa instrukcji systemowych agenta danych i informacji ze źródła danych jako kontekstu prompta i wysyła prompt i kontekst do Gemini. Następnie interfejs CA API przesyła strumieniowo odpowiedź Gemini.

14. Zadaj kolejne pytanie, np. takie:
15. „Jakie lokalizacje w [wpisz stan] znajdują się w zbiorze danych?”
16. „Czy możesz podać dane z ostatnich 2 tygodni dla [miasto, stan]?”.
17. „Czy możesz utworzyć wizualizację?”

Właśnie przeprowadzono wieloetapową rozmowę z agentem danych i danymi BigQuery we własnej aplikacji do czatowania.

3. Modelowanie i przeglądanie danych w Lookerze

Teraz modelujemy i eksplorujemy te same dane BigQuery w Lookerze.

Wykonywanie zapytań dotyczących danych spisu powszechnego w BigQuery

Co się stanie, gdy połączymy się z większym, relacyjnym zbiorem danych? Najpierw utworzymy nowego agenta.

1. Wróć do formularza Utwórz agenta na stronie agentów.
2. Ustaw pole Wyświetlana nazwa:

BQ Census Agent

2. Ustaw wartość w polu Instrukcje systemowe:

You are really excited about census data, you love learning about the demographics in your area because you want to come up with marketing campaigns for your company

3. Wybierz opcję BigQuery.
4. Ustaw pole Project (Projekt):

bigquery-public-data

5. Ustaw pole Zbiór danych:

census_bureau_acs

6. Ustaw pole Tabela:

blockgroup_2018_5yr

2. Kliknij Utwórz agenta.
3. Zadaj nowo utworzonemu agentowi oba te pytania:
4. „Jakie dane posiadasz?”
5. „Czy możesz mi pokazać podgląd moich danych?”

Gdy poprosisz agenta o podgląd danych, zobaczysz, że tabela nie zawiera lokalizacji w formacie czytelnym dla człowieka, tylko identyfikator geograficzny (geo_id).

Modelowanie danych spisu ludności za pomocą Lookera

Teraz użyjemy modelu LookML, aby zdefiniować dane spisu powszechnego BigQuery. Rozwiążemy problemy, które widzieliśmy wcześniej.

4. Logowanie się w instancji Lookera
5. Aby przejść do plików bloków danych demograficznych ACS, w głównym menu po lewej stronie kliknij kolejno Develop (Programowanie) i marketplace_acs_census-v2.
6. Przyjrzyjmy się widokowi Looker. Otwórz katalog imported_project, katalog acs_census-v2 i katalog geography.
7. Na koniec otwórz plik cbsa.view.
8. W wierszu 17 widzimy, że LookML tworzy tabelę derywowaną. Innymi słowy, ten kod tworzy nową, połączoną tabelę, łącząc 2 publiczne zbiory danych BigQuery: jeden z danymi spisu ludności, a drugi z danymi granic geograficznych. LookML umożliwia łączenie wielu zbiorów danych przez utworzenie trwałej tabeli derywowanej, do której można przesyłać zapytania.

Trwała tabela pochodna (PDT) to tabela utworzona przez Lookera i przechowywana w bazie danych (w tym przypadku w BigQuery). Jest to widok zmaterializowany złożonego zapytania. Zamiast uruchamiać to samo kosztowne zapytanie za każdym razem, gdy użytkownik zażąda raportu, Looker może wydajniej wysyłać zapytania do wstępnie obliczonej tabeli PDT, aby zwiększyć wydajność i skrócić czas zapytania.

Poza tym złączenie jest zdefiniowane w kodzie z możliwością tworzenia wersji (LookML), a nie w instrukcjach systemowych, co zwiększa skalowalność tworzenia agentów. Za pomocą LookML możesz zdefiniować konkretne założenia i ograniczenia dotyczące danych, aby wspierać użytkowników podczas rozmów z danymi za pomocą agenta danych.

Przeglądanie modelowanych danych spisu ludności w Lookerze

Aby pokazać, że mamy jedno scentralizowane źródło danych, do którego możemy wysyłać zapytania, wykonajmy szybkie zapytanie w ramach eksploracji.

9. W menu nawigacyjnym po lewej stronie kliknij kolejno Eksploruj, Blok danych spisu ludności i Stan i hrabstwo.
10. Wybierz miarę Wykształcenie > Associate Degree.
11. Wybierz te wymiary:
12. Położenie geograficzne > Grupa bloków
13. Obszar geograficzny > Hrabstwo > Nazwa hrabstwa
14. Położenie geograficzne > Stan > Stan.
15. Uruchom zapytanie (w prawym górnym rogu). Zobaczysz, że identyfikatory geograficzne (nazywane „Block Group”) są teraz powiązane z czytelnymi ciągami znaków.
16. Otwórz kartę wizualizacji, aby zobaczyć te dane na mapie.

4. Wypróbuj aplikację do obsługi czatu z Lookerem

Teraz utwórzmy agenta danych dla Lookera.

1. Otwórz formularz Utwórz agenta na stronie agenta aplikacji szybkiego startu:
2. Ustaw pole Wyświetlana nazwa:

Cartoon character data analyst

2. Ustaw pole Instrukcje systemowe:

You are [fill in your favorite cartoon character, Bugs Bunny is a favorite]. Answer questions like that cartoon character

3. Wybierz opcję Looker.
4. Ustaw w polu Url adres URL instancji Lookera: „https://...”.
5. Ustaw pole Model:

data_block_acs_bigquery

6. Ustaw pole Eksploruj:

cbsa

7. Kliknij Utwórz agenta.
8. Otwórz stronę czatu i wybierz nowo utworzonego agenta.
9. Zacznijmy czat od dodania promptu/wiadomości: „Cześć, co słychać?”.
10. Poprośmy agenta o opisanie zbioru danych: „Jakie dane są dostępne?”.
11. Zadajmy jeszcze kilka pytań:
12. „Which county in NY has the biggest population?” (W którym hrabstwie w stanie Nowy Jork mieszka najwięcej osób?);
13. „A co z największą liczbą absolwentów szkół średnich w przeliczeniu na mieszkańca?”
14. „Podaj mi liczbę ludności według płci i stanu”.
15. „Chcę zobaczyć wykres słupkowy 10 stanów o największej populacji”.

Czy widzisz w rozmowie wizualizację w postaci wykresu słupkowego? Interfejs CA API wysłał do aplikacji wiadomość ze specyfikacją wykresu Vega. Specyfikacja wykresu Vega zawiera dane wizualizacji i konfiguracje, takie jak kolory, osie, typ wykresu itp. Na podstawie tej specyfikacji aplikacja Streamlit renderuje interaktywny wykres Vega, który możesz wyświetlać i z którym możesz wchodzić w interakcje. Interfejs API CA umożliwia nie tylko wysyłanie zapytań, ale też wizualizowanie danych za pomocą agentów danych przez tworzenie standardowych konfiguracji wizualizacji, które ułatwiają wyświetlanie danych.

5. Co jeszcze może robić aplikacja z szybkim startem?

Teraz:

• Konfigurowanie aplikacji do czatu lokalnie
• utworzono agenta danych BigQuery i agenta danych Looker,
• prowadzić rozmowy z agentami danych,
• Poznanie korzyści z modelowania semantycznego w Lookerze jako kontekstu czatów

Wypróbujmy inne funkcje aplikacji z krótkiego wprowadzenia:

1. Załaduj ponownie stronę internetową aplikacji szybkiego startu i przejdź do strony czatu.
2. Możesz wyświetlać wcześniejsze rozmowy ze wszystkimi powiązanymi z nimi wiadomościami od agentów BigQuery i Lookera. Interfejs aplikacji nie przechowuje poprzednich rozmów ani wiadomości, ale pobiera je z interfejsu CA API.

Interfejs CA API udostępnia punkty końcowe dla wszystkich poprzednich rozmów i ich wiadomości. Aplikacja pobiera poprzednie rozmowy z punktu końcowego listy rozmów interfejsu CA API. Aplikacja pobiera wszystkie poprzednie wiadomości z wątku z punktu końcowego list messages. Gdy wyślesz wiadomość do rozmowy, interfejs CA API może powiązać ją z rozmową, aby uwzględnić wszystkie wcześniejsze wiadomości w rozmowie jako kontekst, co pozwoli prowadzić bardziej przydatne rozmowy wieloetapowe.

3. Teraz przejdź na stronę agentów i wybierz z listy agenta Lookera.
4. Możesz zaktualizować konfiguracje agenta lub go usunąć. Żadne agenty nie są przechowywane w interfejsie aplikacji.

Aplikacja wywołuje punkty końcowe udostępniane przez interfejs CA API, aby wyświetlać, tworzyć, aktualizować i usuwać agentów. Aplikacja korzysta z możliwości interfejsu CA API do przechowywania agentów i zarządzania nimi. Interfejs API urzędu certyfikacji udostępnia też inne operacje na agentach.

6. Opcjonalne wyzwania i dalsze odkrywanie

Możesz przy okazji zapoznać się z analityką konwersacyjną i aplikacją szybkiego startu. Możesz też spróbować zmodyfikować aplikację szybkiego startu. Wypróbuj niektóre z tych sugestii i zadań lub przejdź do ostatniej sekcji.

Zapoznaj się z interfejsem CA API i aplikacją do szybkiego rozpoczęcia pracy

• Dowiedz się więcej o szczegółowych instrukcjach systemowych dotyczących kontrolowania zachowania agenta.
• Skonfiguruj kolejnego agenta danych, który będzie wskazywać nowy zbiór danych BigQuery.
• Zainstaluj nowy blok Lookera w instancji Lookera, utwórz agenta i skieruj go do nowego zbioru danych Lookera.

Problemy z modyfikowaniem aplikacji w ramach krótkiego wprowadzenia

• Czy znasz funkcję osadzania Lookera? Jeśli tak, spróbuj osadzić panel Looker w aplikacji z szybkim wprowadzeniem. Możesz użyć komponentu iframe Streamlit.
• Znajdź publiczny zbiór danych zawierający adresy URL filmów i zaktualizuj logikę renderowania czatu w aplikacji, aby wyświetlać filmy na czacie.

7. Podsumowanie i najważniejsze informacje

Gratulujemy dotarcia do końca! Za pomocą interfejsu Conversational Analytics API możesz tworzyć aplikacje do czatowania, agentów danych i prowadzić czaty oparte na danych. Omówmy kilka kluczowych funkcji i pojęć.

Funkcje analityki konwersacyjnej

Omówiliśmy wiele funkcji analityki konwersacyjnej, takich jak:

• Tworzenie, aktualizowanie, wyświetlanie, pobieranie i usuwanie agentów danych.
• Wskaż agentom danych BigQuery lub Lookera jako źródło danych.
• Tworzenie, wyświetlanie i pobieranie rozmów oraz powiązanych z nimi wiadomości.
• Tworzenie specyfikacji wykresu Vega na potrzeby wciągającej wizualizacji w rozmowach.
• wykorzystywać wcześniejsze wiadomości w rozmowie jako przydatny kontekst dla przyszłych wiadomości;

Korzyści z używania Lookera z interfejsem CA API

Looker zapewnia scentralizowane, podlegające testowaniu i zarządzaniu semantyczne modelowanie danych. W połączeniu z Analityką konwersacyjną Looker zapewnia skalowalny sposób przekazywania kontekstu agentom danych.

Co dalej

• Więcej przewodników, funkcji i przypadków użycia znajdziesz w dokumentacji analityki konwersacyjnej.
• Bądź na bieżąco z repozytorium aplikacji na początek i współtwórz je.