Membangun aplikasi chat dengan Analisis Percakapan dan Looker

1. Sebelum memulai

Codelab ini akan memandu Anda menggunakan Conversational Analytics API (CA API) dengan Looker untuk membuat aplikasi chat Anda sendiri guna membuat kueri data. Untuk mendapatkan nilai maksimal, Anda harus memahami BigQuery, Looker, LLM dan agen, serta Python.

Yang akan Anda pelajari

Setelah mengikuti codelab ini, Anda akan mempelajari:

• Cara menggunakan Analisis Percakapan dengan Looker
• Cara menyiapkan dan menggunakan aplikasi panduan memulai Python Conversational Analytics (dan cara kerja aplikasi)
• Manfaat menggunakan Looker untuk pemodelan semantik dengan Analisis Percakapan

Yang Anda butuhkan

Untuk menyelesaikan codelab ini, Anda memerlukan:

• Instance Looker dengan ASC Demographic Data Looker Block terinstal
• Akses API dan developer ke instance Looker Anda
• Lingkungan lokal dengan Python v3.11+, Git, dan gcloud terinstal.
• Project cloud dengan peran IAM ini disiapkan untuk akun pengguna Anda:
• roles/bigquery.dataViewer BigQuery Data Viewer
• roles/bigquery.user Pengguna BigQuery
• roles/looker.instanceUser Pengguna Instance Looker

2. Membangun dan mencoba aplikasi chat Anda dengan BigQuery

Pertama-tama, mari kita siapkan dan coba aplikasi panduan memulai Analisis Konversasional dengan BigQuery sebagai sumber data.

Mengautentikasi dan mengaktifkan Cloud API

1. Lakukan autentikasi secara lokal dengan akun pengguna Anda:

gcloud auth login

2. Aktifkan Cloud Project API. Ganti YOUR_PROJECT_ID dengan ID project Google Cloud Anda:

gcloud services enable geminidataanalytics.googleapis.com bigquery.googleapis.com cloudaicompanion.googleapis.com --project=YOUR_PROJECT_ID

3. Menetapkan kredensial default aplikasi (ADC) dan penagihan:

gcloud auth application-default login
gcloud auth application-default set-quota-project YOUR_PROJECT_ID

Menyiapkan aplikasi panduan memulai

4. Clone repositori github quickstart ke lingkungan lokal Anda. Lihat contoh perintah berikut di bawah:

git clone "https://github.com/looker-open-source/ca-api-quickstarts"

5. Buka direktori ca-api-quickstarts yang telah Anda clone:

cd ca-api-quickstarts

6. Buat file secrets.toml di direktori .streamlit. YOUR_LOOKER_CLIENT_ID dan YOUR_LOOKER_CLIENT_SECRET harus berupa ID klien Looker dan rahasia klien Looker dari instance Looker Anda. Isi file harus sebagai berikut:

[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"

Anda dapat menggunakan contoh perintah berikut untuk membuat file. Pastikan untuk mengganti nilai dengan project ID, client ID, dan rahasia klien Anda:

cat > .streamlit/secrets.toml <<'EOF'
[cloud]
project_id = "YOUR_PROJECT_ID"

[looker]
client_id = "YOUR_LOOKER_CLIENT_ID"
client_secret = "YOUR_LOOKER_CLIENT_SECRET"
EOF

7. Instal persyaratan Python aplikasi panduan memulai:

pip install -r requirements.txt

8. Jalankan aplikasi panduan memulai:

streamlit run app.py

Anda menjalankan aplikasi Streamlit yang dibuat khusus, framework aplikasi Python open source yang memungkinkan Anda membuat prototipe aplikasi data interaktif. Lihat dokumentasi Streamlit untuk mempelajari lebih lanjut.

9. Buka https://localhost:8501 di browser pilihan Anda.

Mencoba aplikasi panduan memulai

Sekarang Anda berada di halaman agen aplikasi panduan memulai cepat. Anda tidak memiliki agen data yang tersedia.

Apa yang dimaksud dengan agen AI data? Agen AI adalah sistem software yang menggunakan AI untuk mencapai sasaran dan menyelesaikan tugas atas nama pengguna. Agen AI memiliki kemampuan penalaran, perencanaan, dan memori serta memiliki tingkat otonomi untuk mengambil keputusan, belajar, dan beradaptasi. Dalam kasus penggunaan ini, kita menggunakan agen AI untuk memahami data kita. Perilaku agen ditentukan oleh petunjuk sistem yang ditentukan untuknya. Lihat Apa yang dimaksud dengan agen AI? untuk mengetahui info selengkapnya.

10. Sekarang, mari kita buat agen data yang berbicara seperti bajak laut dalam formulir Create Agent:
11. Tetapkan kolom Nama tampilan:

Pirate BQ Agent

2. Tetapkan kolom System Instructions:

You are a pirate. Answer questions like a pirate

3. Pilih opsi BigQuery.
4. Tetapkan kolom Project:

bigquery-public-data

5. Tetapkan kolom Set data:

google_trends

6. Tetapkan kolom Table:

top_rising_terms

11. Pilih Buat agen.

Formulir Create Agent aplikasi panduan memulai memanggil endpoint create dataAgent CA API melalui Python SDK gcloud, dengan meneruskan instruksi sistem dan sumber data agen. Aplikasi ini menggunakan Python SDK gcloud untuk semua panggilan CA API.

12. Sekarang, mari kita buka halaman chat melalui navigasi utama kiri. Agen baru kami siap untuk melakukan chat. Mari mulai percakapan dengan menambahkan perintah/pesan: "Halo, apa kabar?"
13. Sekarang, mari kita pelajari sedikit tentang set data ini: "Apa isi set data ini?"

Apa yang terjadi saat Anda mengirim perintah (atau pesan) dalam chat? Aplikasi mengirimkan pesan Anda sebagai payload ke endpoint chat CA API. Di balik layar, CA API menggunakan petunjuk sistem agen data dan info dari sumber data sebagai konteks untuk perintah Anda, lalu mengirimkan perintah dan konteks ke Gemini. Kemudian, CA API akan mengalirkan kembali respons Gemini.

14. Ajukan pertanyaan lain - seperti ini:
15. "Lokasi [Masukkan Negara Bagian] mana yang ada dalam set data?"
16. "Dapatkah Anda memberi saya data selama 2 minggu terakhir untuk [Kota, Negara Bagian]?"
17. "Dapatkah Anda membuat visualisasi?"

Anda baru saja melakukan percakapan multi-turn dengan agen data dan data BigQuery Anda di aplikasi chat Anda sendiri.

3. Membuat model dan menjelajahi data Anda di Looker

Sekarang, mari kita buat model dan jelajahi data BigQuery yang sama di Looker.

Mengkueri data sensus BigQuery

Apa yang terjadi saat kita terhubung ke set data relasional yang lebih besar? Pertama, kita akan membuat agen baru.

1. Kembali ke formulir Buat Agen di halaman agen.
2. Tetapkan kolom Nama tampilan:

BQ Census Agent

2. Tetapkan kolom System Instructions:

You are really excited about census data, you love learning about the demographics in your area because you want to come up with marketing campaigns for your company

3. Pilih opsi BigQuery.
4. Tetapkan kolom Project:

bigquery-public-data

5. Tetapkan kolom Set data:

census_bureau_acs

6. Tetapkan kolom Table:

blockgroup_2018_5yr

2. Pilih Buat agen.
3. Ajukan kedua pertanyaan ini kepada agen yang baru dibuat:
4. "Data apa yang Anda miliki?"
5. "Can you show me a preview of my data" (Dapatkah Anda menunjukkan pratinjau data saya)?

Saat Anda meminta pratinjau data kepada agen, Anda dapat melihat bahwa tabel tidak memiliki lokasi yang mudah dibaca manusia yang terkait dengannya, hanya ID geografis (geo_id).

Menggunakan Looker untuk membuat model data sensus

Sekarang kita akan menggunakan model LookML untuk menentukan data sensus BigQuery. Kita akan menyelesaikan masalah yang baru saja kita lihat sebelumnya.

4. Login ke instance Looker Anda
5. Buka file blok data demografi ACS Anda dengan membuka navigasi utama sebelah kiri, memilih Develop, lalu memilih marketplace_acs_census-v2.
6. Mari kita lihat tampilan Looker. Buka direktori imported_project, direktori acs_census-v2, dan direktori geography.
7. Terakhir, buka file cbsa.view.
8. Di baris 17, kita dapat melihat bahwa LookML sedang membuat tabel turunan. Dengan kata lain, kode ini membuat tabel gabungan baru dengan menggabungkan dua set data BigQuery publik, satu dengan data sensus dan yang lainnya dengan data batas geografis. LookML memungkinkan kita menggabungkan beberapa set data dengan membuat tabel turunan persisten untuk dikueri.

Tabel turunan persisten, atau PDT, adalah tabel yang dibuat oleh Looker dan disimpan di database Anda (dalam hal ini, BigQuery). Tampilan ini adalah tampilan terwujud dari kueri yang kompleks. Daripada menjalankan kueri mahal yang sama setiap kali pengguna meminta laporan, Looker dapat mengkueri PDT yang telah dihitung sebelumnya secara lebih efisien untuk meningkatkan performa dan mengurangi waktu kueri.

Selain itu, gabungan ditentukan dalam kode yang dapat di-versi (LookML), bukan petunjuk sistem, sehingga pengembangan agen lebih skalabel. Dengan LookML, Anda dapat menentukan asumsi dan batasan tertentu seputar data untuk mendukung pengguna saat mereka melakukan percakapan dengan data melalui agen data.

Menjelajahi data sensus yang dimodelkan Looker

Mari kita jalankan kueri cepat di Eksplorasi untuk menunjukkan bahwa kita memiliki satu sumber data terpusat untuk membuat kueri.

9. Di menu navigasi utama sebelah kiri, pilih Jelajahi, lalu Blok Data Sensus,lalu Negara Bagian dan Kabupaten.
10. Pilih ukuran Pendidikan > Gelar Associate.
11. Pilih dimensi berikut:
12. Geografi > Grup Blok
13. Geografi > Kabupaten > Nama Kabupaten
14. Geografi > Negara bagian > Negara bagian.
15. Jalankan kueri (kanan atas) dan Anda akan melihat bahwa ID Geografi tersebut (disebut "Block Group") kini dikaitkan dengan string yang dapat dibaca manusia.
16. Buka tab visualisasi dan Anda akan melihat data ini di peta.

4. Mencoba aplikasi chat dengan Looker

Sekarang, mari kita buat agen data untuk Looker.

1. Buka formulir Create Agent di halaman agen aplikasi panduan memulai Anda:
2. Tetapkan kolom Nama tampilan:

Cartoon character data analyst

2. Tetapkan kolom System Instructions:

You are [fill in your favorite cartoon character, Bugs Bunny is a favorite]. Answer questions like that cartoon character

3. Pilih opsi Looker.
4. Tetapkan kolom Url ke URL instance Looker Anda: "https://..."
5. Tetapkan kolom Model:

data_block_acs_bigquery

6. Tetapkan kolom Explore:

cbsa

7. Pilih Buat agen.
8. Buka halaman chat dan pilih agen yang baru dibuat.
9. Mari mulai percakapan dengan menambahkan perintah/pesan: "Halo, apa kabar?"
10. Minta agen untuk mendeskripsikan set data: "Data apa yang tersedia?"
11. Mari kita ajukan beberapa pertanyaan lagi:
12. "Kabupaten mana di NY yang memiliki populasi terbesar?"
13. "Bagaimana dengan jumlah lulusan SMA terbanyak per kapita?"
14. "Dapatkah Anda memberi saya data populasi menurut gender dan negara bagian?"
15. "Saya ingin melihat diagram batang 10 negara bagian teratas dengan populasi terbanyak."

Melihat visualisasi diagram batang tersebut dalam percakapan Anda? CA API mengirim pesan ke aplikasi dengan spesifikasi diagram vega. Spesifikasi diagram vega berisi data dan konfigurasi visualisasi seperti warna, sumbu, jenis diagram, dll. Dengan spesifikasi tersebut, aplikasi Streamlit merendernya sebagai diagram vega interaktif untuk Anda lihat dan berinteraksi. CA API memungkinkan Anda tidak hanya membuat kueri, tetapi juga memvisualisasikan data dengan agen data, dengan menghasilkan konfigurasi visualisasi standar untuk memudahkan visualisasi.

5. Apa lagi yang dapat dilakukan aplikasi panduan memulai?

Sekarang Anda:

• Menyiapkan aplikasi chat secara lokal
• Membuat agen data BigQuery dan agen data Looker
• Mengadakan percakapan dengan agen data Anda
• Mempelajari manfaat pemodelan semantik Looker sebagai konteks untuk percakapan Anda

Mari kita coba kemampuan lain dari aplikasi panduan memulai:

1. Muat ulang halaman web aplikasi panduan memulai cepat dan buka halaman chat.
2. Anda dapat melihat percakapan sebelumnya dengan semua pesan masing-masing dari agen BigQuery dan Looker. Frontend aplikasi tidak menyimpan percakapan atau pesan sebelumnya, tetapi mengambilnya dari CA API.

CA API menyediakan endpoint untuk semua percakapan sebelumnya dan pesannya. Aplikasi mengambil percakapan sebelumnya dari endpoint list conversations CA API. Kemudian, aplikasi mengambil semua pesan percakapan sebelumnya dari endpoint list messages. Saat Anda mengirim pesan ke percakapan, CA API dapat mengaitkan pesan dengan percakapan untuk menyertakan semua pesan sebelumnya dalam percakapan sebagai konteks untuk percakapan multi-giliran yang lebih berguna.

3. Sekarang, buka halaman agen dan pilih agen Looker Anda dari daftar.
4. Anda dapat memperbarui konfigurasi agen atau menghapus agen jika Anda mau. Tidak ada agen yang disimpan di frontend aplikasi.

Aplikasi memanggil endpoint yang disediakan CA API untuk mencantumkan, membuat, mengupdate, dan menghapus agen. Aplikasi ini memanfaatkan kemampuan CA API untuk menyimpan dan mengelola agennya. CA API juga menyediakan operasi lain pada agen.

6. Tantangan opsional dan eksplorasi lebih lanjut

Jika mau, Anda dapat menggunakan kesempatan ini untuk mempelajari Analisis Percakapan dan aplikasi mulai cepat. Atau, tantang diri Anda untuk mengubah aplikasi mulai cepat. Anda dapat mencoba beberapa saran dan tantangan berikut atau langsung menuju bagian akhir.

Pahami lebih lanjut CA API dan aplikasi mulai cepat

• Pelajari lebih lanjut petunjuk sistem mendalam untuk mengontrol perilaku agen Anda.
• Siapkan agen data lain yang mengarah ke set data BigQuery baru.
• Instal blok Looker baru di instance Looker Anda, buat agen, dan arahkan ke set data Looker baru.

Tantangan modifikasi aplikasi cepat

• Apakah Anda familier dengan penyematan Looker? Jika ya, coba sematkan dasbor Looker di dalam aplikasi panduan memulai. Pertimbangkan untuk menggunakan komponen iframe Streamlit.
• Temukan set data publik yang berisi URL video, dan perbarui logika rendering chat aplikasi untuk menampilkan video dalam chat.

7. Kesimpulan dan poin penting

Anda berhasil menyelesaikan kuis ini! Anda telah membuat aplikasi chat, membuat agen data, dan berinteraksi dengan data Anda menggunakan Conversational Analytics API. Mari kita tinjau beberapa kemampuan dan konsep utama.

Kemampuan Analisis Percakapan

Kita telah membahas banyak kemampuan Analisis Percakapan seperti kemampuan untuk:

• Membuat, memperbarui, mencantumkan, mendapatkan, dan menghapus agen data.
• Mengarahkan agen data ke BigQuery atau Looker sebagai sumber data.
• Membuat, mencantumkan, dan mendapatkan percakapan serta pesan masing-masing.
• Menghasilkan spesifikasi diagram Vega untuk visualisasi imersif dalam percakapan.
• Menggunakan pesan sebelumnya dalam percakapan sebagai konteks yang berguna untuk pesan mendatang.

Manfaat menggunakan Looker dengan CA API

Looker menyediakan pemodelan semantik yang terpusat, dapat diuji, dan dapat dikelola untuk data Anda. Jika digabungkan dengan Analisis Percakapan, Looker memberikan cara yang dapat diskalakan untuk memberikan konteks bagi agen data Anda.

Langkah berikutnya

• Lihat dokumentasi Conversational Analytics untuk mengetahui panduan, fitur, dan kasus penggunaan lainnya.
• Selalu dapatkan info terbaru dan berkontribusi ke repositori aplikasi panduan memulai.