Pengantar Analisis Percakapan di BigQuery

1. Pengantar

Mendapatkan insight dari data sering kali memerlukan waktu, upaya, dan keahlian SQL yang mendalam. Dalam codelab ini, Anda akan menjelajahi Katalog Agen BigQuery, platform baru yang memberikan insight instan yang didukung AI melalui agen data percakapan.

Anda akan melampaui konversi text-to-SQL sederhana dengan membuat agen data yang dikurasi. Anda akan mempelajari cara memperkaya agen dengan konteks bisnis, petunjuk sistem, dan kueri terverifikasi untuk memastikan hasil yang sangat akurat. Terakhir, Anda akan memublikasikan agen ini agar dapat digunakan oleh orang lain di organisasi Anda.

Prasyarat

• Pemahaman dasar tentang Google Cloud

Yang akan Anda pelajari

• Cara menjelajahi Katalog Agen BigQuery
• Cara membuat Agen Kustom dan menentukan sumber pengetahuan
• Cara menggunakan Gemini untuk membuat metadata semantik
• Cara menambahkan Petunjuk Sistem dan Kueri Terverifikasi untuk memandu agen
• Cara memublikasikan dan membagikan agen

Yang Anda butuhkan

• Akun Google Cloud dan project Google Cloud
• Pengetahuan dasar tentang BigQuery dan SQL
• Browser web seperti Chrome

2. Penyiapan dan persyaratan

Pilih project

1. Login ke Google Cloud Console dan buat project baru atau gunakan kembali project yang sudah ada. Jika belum memiliki akun Gmail atau Google Workspace, Anda harus membuatnya.

• Project name adalah nama tampilan untuk peserta project ini. String ini adalah string karakter yang tidak digunakan oleh Google API. Anda dapat memperbaruinya kapan saja.
• Project ID bersifat unik di semua project Google Cloud dan tidak dapat diubah (tidak dapat diubah setelah ditetapkan). Cloud Console otomatis membuat string unik; biasanya Anda tidak mementingkan kata-katanya. Di sebagian besar codelab, Anda harus merujuk Project ID-nya (umumnya diidentifikasi sebagai PROJECT_ID). Jika tidak suka dengan ID yang dibuat, Anda dapat membuat ID acak lainnya. Atau, Anda dapat mencobanya sendiri, dan lihat apakah ID tersebut tersedia. ID tidak dapat diubah setelah langkah ini dan tersedia selama durasi project.
• Sebagai informasi, ada nilai ketiga, Project Number, yang digunakan oleh beberapa API. Pelajari lebih lanjut ketiga nilai ini di dokumentasi.

Perhatian: Project ID bersifat unik secara global dan tidak dapat digunakan orang lain setelah Anda memilihnya. Anda adalah satu-satunya pengguna ID tersebut. Meskipun project sudah dihapus, ID tersebut tidak dapat digunakan lagi

Catatan: Jika menggunakan akun Gmail, Anda dapat menyetel lokasi default ke No organization. Jika Anda menggunakan akun Google Workspace, pilih lokasi yang sesuai untuk organisasi Anda.

2. Selanjutnya, Anda harus mengaktifkan penagihan di Konsol Cloud untuk menggunakan resource/API Cloud. Menjalankan operasi dalam codelab ini tidak akan memakan banyak biaya, bahkan mungkin tidak sama sekali. Guna mematikan resource agar tidak menimbulkan penagihan di luar tutorial ini, Anda dapat menghapus resource yang dibuat atau menghapus project-nya. Pengguna baru Google Cloud memenuhi syarat untuk mengikuti program Uji Coba Gratis senilai $300 USD.

3. Sebelum memulai

Memberi diri Anda peran yang diperlukan

Buka halaman IAM project dan berikan peran Pemilik Agen Data Analisis Data Gemini kepada diri Anda:

Peran ini memberi Anda izin untuk membuat, mengedit, membagikan, dan menghapus semua agen data dalam project.

Mengaktifkan API yang diperlukan

Gunakan menu navigasi sidebar atau menu penelusuran di bagian atas halaman untuk membuka BigQuery > Agen.

Klik Aktifkan Data Analytics API dengan Gemini:

Aktifkan Gemini in BigQuery API dan Gemini for Google Cloud API:

Anda akan melihat halaman agen baru:

4. Buat agen

Mari buat agen data pertama Anda menggunakan set data publik Internasional Google Trends. Set data ini berguna untuk mengajukan pertanyaan tentang istilah penelusuran yang sedang tren secara internasional, dan bagaimana minat tersebut dibandingkan secara historis.

Mari kita mulai dengan memberi nama dan deskripsi singkat untuk agen Anda. Deskripsi ini murni digunakan agar pengguna lain memahami tujuan agen.

Nama Agen

Google Trends Agent

Deskripsi Agen

Data agent for the Google Trends International Top Terms public dataset

Sumber Pengetahuan

Sekarang tambahkan sumber pengetahuan. Sumber pengetahuan adalah tabel, tampilan, atau UDF BigQuery yang dapat digunakan agen untuk menjawab pertanyaan.

Untuk demo ini, tambahkan hanya satu tabel agar lebih mudah. Namun, perlu diingat bahwa Anda dapat menambahkan hingga 50 sumber pengetahuan per agen untuk menangani skenario data yang lebih kompleks.

Masukkan tabel berikut di kotak penelusuran, centang kotaknya, lalu klik Tambahkan:

bigquery-public-data.google_trends.international_top_terms

Konteks Terstruktur

Untuk meningkatkan akurasi agen data, tambahkan konteks terstruktur ke tabel dan kolom. Klik Customise:

Catatan: Hal ini memungkinkan penambahan deskripsi di tingkat tabel dan kolom. Karena sumbernya adalah set data publik yang tidak dapat diubah secara langsung, penggantian ini membantu agen memahami data tanpa mengubah tabel asli.

Gemini otomatis membuat saran untuk deskripsi. Klik Setuju di samping Deskripsi tabel:

Untuk menerapkan deskripsi ke semua kolom, centang Pilih semua baris, lalu klik Terima saran:

Opsional: Edit kolom tertentu secara manual dengan mengklik ikon edit di samping nama kolom.

Klik Perbarui di bagian bawah halaman untuk menyimpan perubahan dan kembali ke Editor Agen.

Petunjuk

Dialog petunjuk agen adalah tempat Anda dapat memberikan panduan tambahan kepada agen untuk menafsirkan dan membuat kueri sumber data. Hal ini mencakup:

• Sinonim: Istilah alternatif untuk kolom utama.
• Kolom utama: Kolom terpenting untuk analisis.
• Kolom yang dikecualikan: Kolom yang harus dihindari oleh agen data.
• Memfilter dan mengelompokkan: Kolom yang harus digunakan agen untuk memfilter dan mengelompokkan data.
• Hubungan gabungan: Cara menggabungkan dua tabel atau lebih berdasarkan kolom yang sama.

Untuk mempelajari lebih lanjut perbedaan antara petunjuk agen (panduan tambahan bentuk bebas) dan konteks terstruktur, lihat panduan konteks yang dibuat untuk Conversational Analytics API.

Untuk mengetahui praktik terbaik terkait petunjuk agen, lihat Panduan pembuatan agen data.

Salin dan tempel petunjuk berikut:

### System Instruction

* You are an expert data analyst for the Google Trends International public dataset.
* Always filter on yesterday's refresh_date = DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY).
* If yesterday returns no data, filter on 2 days ago's refresh_date = DATE_SUB(CURRENT_DATE(), INTERVAL 2 DAY).
* Default to country-level results (one row per term).
* "Top" queries must deduplicate snapshot rows.
* Only include week or score when the user explicitly asks for trends over time.
* This is an international dataset and does not include any data for the United States.

### Additional Descriptions

#### 1. Core model:

* refresh_date selects the daily Top-25 term set.
* week + score are historical weekly values attached to those terms.
* Filtering week does not change which terms appear.

#### 2. Deduplication rule (critical):

* Snapshot rows repeat across weeks and regions.
* For "top" queries, always GROUP BY term (country-level) and compute rank as MIN(rank).

#### 3. Defaults:

* Country-level results only.
* Use region_code only if the user explicitly asks for regions.
* Limit results unless the user asks otherwise.

#### 4. Time series usage:

* Only include week or score when the user asks for trends over time, historical context, or week-over-week score changes.

#### 5. Field guidance:

* Prefer country_code or region_code for filters.
* country_name / region_name are for display only.
* score is normalized; compare trends within a term, not across terms.

Kueri Terverifikasi

Kueri terverifikasi, yang sebelumnya dikenal sebagai kueri emas, digunakan sebagai referensi bagi agen untuk meningkatkan akurasi respons. Mereka membentuk struktur respons agen dan membantu mengajari agen logika bisnis yang digunakan organisasi Anda.

Mari tambahkan dua contoh untuk agen Anda. Klik Tambahkan kueri, lalu salin / tempel pertanyaan dan kueri berikut:

Pertanyaan 1:

What are the top search terms in the UK right now?

Kueri 1:

SELECT term, MIN(rank) AS rank
FROM `bigquery-public-data.google_trends.international_top_terms`
WHERE refresh_date = DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY)
  AND country_code = 'GB'
GROUP BY term
ORDER BY rank
LIMIT 25;

Sebelum menyimpan kueri ini, mari jalankan kueri untuk memastikan bahwa kueri tersebut valid.

Kelihatannya bagus. Klik Tambahkan untuk menyimpan kueri terverifikasi.

Mari tambahkan satu contoh lagi untuk kasus penggunaan yang lebih kompleks. Klik Kelola kueri dan tambahkan:

Pertanyaan 2:

Show the last 12 weeks of interest for the current top 5 terms in Auckland.

Jawaban 2:

WITH top5 AS (
  SELECT term, MIN(rank) AS rank
  FROM `bigquery-public-data.google_trends.international_top_terms`
  WHERE refresh_date = DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY)
    AND country_code = 'NZ'
    AND region_code = 'NZ-AUK'
  GROUP BY 1
  ORDER BY 2
  LIMIT 5
),
series AS (
  SELECT term, week, score,
    ROW_NUMBER() OVER (PARTITION BY term ORDER BY week DESC) AS rn
  FROM `bigquery-public-data.google_trends.international_top_terms`
  WHERE refresh_date = DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY)
    AND country_code = 'NZ'
    AND region_code = 'NZ-AUK'
    AND term IN (SELECT term FROM top5)
)
SELECT week, term, score
FROM series
WHERE rn <= 12
ORDER BY 1 DESC, 3

Sebelum melanjutkan ke bagian berikutnya, mari kita lihat saran yang dibuat Gemini:

Di sini Anda dapat melihat beberapa kueri terverifikasi yang disarankan. Saat membuat agen baru di masa mendatang, ini adalah titik awal yang bagus. Pastikan untuk memvalidasi kueri apa pun yang Anda tambahkan.

Glosarium

Mari tambahkan istilah ke glosarium. Jika bisnis Anda menggunakan Dataplex, istilah ini diimpor langsung dari glosarium bisnis di Dataplex Universal Catalog.

Klik Tambahkan istilah, lalu salin / tempel contoh berikut:

Masa berlaku:

refresh_date

Definisi:

Snapshot date that selects the daily Top 25 term set. All rows for that date belong to the same "what's trending now" snapshot. Attach Historical week and score values after this selection.

Sinonim:

today, latest, current, now, recent

Kemudian, klik Tambahkan, lalu Simpan.

Setelan agen

Di bagian Setelan, Anda dapat mengonfigurasi Label dan Byte Maksimum yang Ditagih.

Label

Label adalah pasangan nilai kunci yang digunakan untuk mengatur resource Google Cloud ke dalam grup logis. Untuk menjaga fokus lab ini, biarkan label kosong.

Byte Maksimum yang Ditagih

Untuk memastikan Anda tidak secara tidak sengaja membuat kueri yang mahal, mari tetapkan batas untuk byte maksimum yang ditagih per kueri. Jika kueri agen memproses byte di atas batas ini, kueri akan gagal tanpa menimbulkan biaya. Masukkan nilai berikut:

10000000000

10.000.000.000 byte kira-kira 9,3 GB. Jika Anda tidak menentukan nilai, byte maksimum yang ditagih secara default adalah kuota penggunaan kueri per hari project.

5. Menyimpan dan membagikan agen Anda

Pratinjau

Kita sudah siap. Mari kita uji agen Anda sebelum melanjutkan. Di sisi kanan layar, Anda dapat menguji agen secara dinamis sambil mengedit konfigurasi. Pratinjau otomatis menggunakan metadata baru yang Anda berikan tanpa menyimpan atau memublikasikan perubahan.

Mari kita tanyakan data apa yang dapat diakses oleh agen. Jangan ragu untuk mengajukan beberapa pertanyaan dengan kata-kata Anda sendiri:

Simpan

Setelah menguji beberapa perintah, Simpan, lalu Publikasikan agen:

Dengan memublikasikan agen, agen tersebut akan tersedia di BigQuery Studio, Conversational Analytics API, dan Looker Studio Pro (tunduk pada pemberian lisensi):

Dukungan untuk integrasi dan platform tambahan direncanakan untuk rilis mendatang.

Bagikan

Anda akan melihat pesan konfirmasi bahwa agen telah dipublikasikan. Anda kini dapat membagikan agen ini kepada pengguna lain.

Saat membagikan agen kepada pengguna lain, Anda mengontrol tingkat akses mereka dengan menetapkan peran tertentu. Peran ini menentukan apakah kolaborator hanya dapat melihat agen Anda, atau apakah mereka memiliki kemampuan untuk mengedit dan mengelola konfigurasinya.

Perlu diperhatikan bahwa peran ini dapat diterapkan di dua tingkat yang berbeda:

• Level Project: Memberikan peran di level project akan memberi pengguna izin tersebut untuk semua agen dalam project Google Cloud tersebut.
• Tingkat Agen: Untuk kontrol yang lebih terperinci, Anda dapat memberikan peran untuk agen tertentu. Hal ini berguna jika Anda ingin pengguna memiliki akses ke satu agen data tertentu tanpa melihat agen data lain dalam project.

Untuk mengetahui perincian mendetail tentang cara mengelola akses, lihat dokumentasi Conversational Analytics API tentang cakupan IAM umum dan izin tertentu yang disertakan dalam setiap peran bawaan.

Peran bawaan untuk Analisis Percakapan adalah sebagai berikut:

1. Pemilik Agen Data Gemini Data Analytics (roles/geminidataanalytics.dataAgentOwner) - Membuat, Mengedit, Membagikan, dan Menghapus semua agen data
2. Pembuat Agen Data Analisis Data Gemini (roles/geminidataanalytics.dataAgentCreator) - Membuat, Mengedit, Membagikan, dan Menghapus agen data Anda sendiri
3. Editor Agen Data Analisis Data Gemini (roles/geminidataanalytics.dataAgentEditor) - Akses Chat dan Edit ke agen data
4. Pengguna Agen Data Analisis Data (roles/geminidataanalytics.dataAgentUser) - Akses Chat dan Lihat ke agen data
5. Gemini Data Analytics Data Agent Viewer (roles/geminidataanalytics.dataAgentViewer) - Akses lihat (hanya baca) ke agen data

6. Buat percakapan dengan agen

Mari kita keluar dari tab Bagikan dan membuat percakapan baru:

Saat Anda mengklik Buat percakapan, percakapan baru tanpa judul akan dibuat.

Mari kita tanyakan istilah apa yang sedang trending di Inggris (Anda dapat menggantinya dengan lokasi pilihan Anda):

Based on the top 10 terms in England, how did they trend for the past 3 months?

Membuka aliran respons

Agen data biasanya mengikuti aliran respons yang sama saat menjawab pertanyaan:

1. Penalaran: Agen pertama-tama "memikirkan" perintah. Luaskan tombol Tampilkan alasan untuk melihat insight langkah demi langkah tentang proses pengambilan keputusan agen.
2. Ringkasan: Agen membuat ringkasan umum kueri, laporan yang dihasilkan, dan visualisasi.
3. SQL yang Dibuat: Perluas bagian Berikut kuerinya... untuk memeriksa SQL. Klik Open in Editor untuk menyesuaikan kueri secara manual di BigQuery Studio.
4. Hasil Data: Agen menyajikan hasil kueri dalam format tabel yang jelas.
5. Visualisasi: Diagram muncul bersama deskripsi singkat. Agen secara otomatis menyimpulkan jenis visualisasi terbaik (misalnya, diagram garis multiseri) untuk data Anda.
6. Insight Data: Agen merangkum tren dan hal-hal penting utama yang ditemukan dalam hasil.
7. Pertanyaan Lanjutan: Terakhir, agen menyarankan pertanyaan lanjutan yang relevan untuk membantu Anda melanjutkan analisis.

Dukungan BigQuery ML

Mari kita tindak lanjuti dan tanyakan apakah agen data dapat menjalankan beberapa perkiraan berdasarkan hasil ini. Hal ini memanfaatkan fungsi BigQuery ML untuk memprediksi poin di masa mendatang.

Catatan: Untuk mengetahui detail selengkapnya tentang fungsi ML yang didukung, lihat dokumentasi.

Masukkan perintah berikut (pastikan untuk mengganti "papan monopoli" dengan istilah yang relevan untuk kueri Anda!):

Can you predict and visualize how monopoly board will trend in the next 4 weeks?

Anda dapat melihat bahwa AI_FORECAST digunakan untuk memperkirakan deret waktu. Tidak ada kejutan, meskipun menarik bahwa Anda dapat melihat lonjakan besar pada Agustus 2021, yang bertepatan dengan pembukaan besar daya tarik Monopoly Lifesized di London.

7. Menjelajahi Katalog Agen

Mari kita jelajahi Katalog Agen sebelum mengakhiri. Klik Agent Catalog di bagian atas jendela:

Halaman ini berfungsi sebagai hub pusat Anda untuk pengelolaan agen data, yang disusun ke dalam bagian berikut:

• Agen saya: Agen Anda yang saat ini dipublikasikan.
• Agen draf saya: Konfigurasi yang telah Anda simpan, tetapi belum dipublikasikan.
• Dibagikan oleh orang lain dalam organisasi Anda: Agen yang dibuat oleh rekan kerja yang izin aksesnya Anda miliki.
• Contoh agen dari Google: Contoh yang telah dikonfigurasi sebelumnya untuk membantu Anda memulai.

Untuk setiap agen yang Anda kelola, Anda dapat mengedit konfigurasi, menduplikasi agen, dan mengelola izin berbagi.

Catatan: Conversational Analytics di BigQuery didukung oleh Conversational Analytics API. Fungsi yang tersedia di konsol juga dapat diakses secara terprogram melalui API, sehingga Anda memiliki fleksibilitas penuh untuk merender pesan dan berintegrasi dengan agen dan sumber data tambahan.

8. Kesimpulan

Selamat, Anda telah berhasil membuat agen data Analisis Percakapan. Lihat materi referensi untuk mempelajari lebih lanjut.

Materi referensi

• Ringkasan Analisis Percakapan di BigQuery
• Ringkasan Conversational Analytics API