Analytics dengan Data Agent Kit dan Antigravity IDE

1. Pengantar

Hari ini Senin pagi dan CFO baru saja mengirim pesan kepada Anda. Nilai pesanan rata-rata turun 7% bulan ini, tetapi total pendapatan tetap sama. Ada sesuatu yang tidak beres, dan dewan direksi menginginkan jawaban paling lambat hari Jumat.

Perusahaan Anda, Cymbal Pets, adalah salah satu retailer perlengkapan hewan peliharaan online terbesar di Amerika Serikat. Data yang Anda butuhkan tersebar di tiga layanan Google Cloud: histori penjualan dan pesanan di BigQuery, catatan pelanggan dan produk di Cloud SQL, dan file pemasaran di Cloud Storage. Biasanya, menyatukan penyelidikan lintas layanan seperti ini berarti beralih antar-konsol, menulis boilerplate koneksi, dan menggabungkan hasil secara manual.

Dalam codelab ini, Anda akan menggunakan Google Cloud Data Agent Kit (DAK) di Antigravity IDE untuk menyelidiki anomali menggunakan bahasa alami. Anda menjelaskan apa yang Anda cari, dan agen AI akan menangani koneksi, SQL, dan gabungan lintas layanan di BigQuery, Cloud SQL, dan Cloud Storage. Setelah memecahkan kasus, Anda akan meminta agen untuk membuat pipeline dbt guna mengoperasionalkan temuan Anda, men-debug bug pemodelan data yang sebenarnya, dan memberikan rekomendasi yang didukung perkiraan kepada CFO.

Baru mengenal Antigravity? Jika ini pertama kalinya Anda menggunakan IDE, lihat Memulai Google Antigravity terlebih dahulu.

Yang akan Anda lakukan

• Temukan aset data di BigQuery, Cloud SQL, dan Cloud Storage menggunakan Knowledge Catalog
• Menyelidiki anomali dengan mengkueri beberapa layanan dalam satu percakapan menggunakan Alat MCP
• Bangun pipeline dbt untuk mengatur dan menggabungkan data lintas layanan dengan model penyiapan dan pengujian otomatis
• Men-debug masalah pemodelan data saat agen mendiagnosis sendiri dan memfaktorkan ulang bug fan-out
• Memperkirakan tren mendatang dan memberikan rekomendasi berbasis data menggunakan AI.FORECAST BigQuery

Yang Anda butuhkan

• Browser web seperti Chrome
• Antigravity IDE
• Project Google Cloud dengan penagihan diaktifkan dan akses ke Konsol Google Cloud (sebaiknya gunakan project baru khusus untuk lab praktik)
• Pemahaman dasar tentang SQL dan Konsol Google Cloud

Codelab ini ditujukan untuk praktisi data tingkat menengah (engineer analisis, analis data, ilmuwan data).

Resource yang dibuat dalam codelab ini seharusnya berbiaya kurang dari $5. Pastikan untuk mengikuti petunjuk Pembersihan di akhir lab untuk menghapus resource yang disediakan.

Pilih Alat Anda: Lab ini menggunakan Antigravity IDE. Kami akan segera merilis versi alternatif dari penyelidikan yang sama persis ini yang disesuaikan untuk Antigravity 2.0, Antigravity CLI, dan Claude Code.

2. Sebelum memulai

Di bagian ini, Anda akan menjalankan skrip penyiapan yang menyediakan seluruh lingkungan lab: set data BigQuery dengan data pesanan, instance Cloud SQL Postgres dengan data pelanggan dan produk, serta bucket Cloud Storage dengan catatan kampanye promosi. Penyelesaian skrip ini memerlukan waktu sekitar 8-10 menit, dengan penyediaan Cloud SQL sebagai hambatan.

Pilih atau buat project

Pilih project yang sudah ada atau buat project baru di Konsol Google Cloud.

Verifikasi penagihan

Pastikan penagihan diaktifkan untuk project Google Cloud Anda. Anda dapat mempelajari lebih lanjut cara melakukannya dengan mengikuti panduan ini.

Mulai Cloud Shell

Anda akan menggunakan Google Cloud Shell untuk menjalankan skrip penyiapan.

1. Buka Konsol Google Cloud, lalu klik Activate Cloud Shell di bagian atas jendela.

2. Setelah terhubung, tetapkan project ID Anda dan konfirmasi lingkungan Anda:

gcloud config set project <<YOUR_PROJECT_ID>>
export PROJECT_ID=$(gcloud config get-value project)

Anda akan melihat pesan yang mirip dengan:

Your active configuration is: [cloudshell-####]
Updated property [core/project]

Melakukan cloning repositori

Clone repositori codelab ke lingkungan Cloud Shell Anda:

cd ~/
git clone --filter=blob:none --no-checkout https://github.com/GoogleCloudPlatform/devrel-demos.git
cd ~/devrel-demos
git sparse-checkout init --cone
git sparse-checkout set codelabs/agentic-data-labs
git checkout main
cd codelabs/agentic-data-labs/

Jalankan skrip penyiapan

Skrip penyiapan menyiapkan seluruh lingkungan lab Anda secara otomatis sehingga Anda dapat langsung melakukan penyelidikan:

cd ~/devrel-demos/codelabs/agentic-data-labs/scripts
chmod +x setup.sh setup_sql.sh
./setup.sh

Fungsi setup.sh:

1. Mengaktifkan API: mengaktifkan BigQuery, Cloud SQL, Cloud Storage, Knowledge Catalog (Dataplex), dan API infrastruktur pendukung.
2. Membuat aset BigQuery: memuat histori pesanan sampel ke dalam set data cymbal_pets.
3. Membuat bucket Cloud Storage: mengupload catatan kampanye promosi ke bucket GCS mentah.
4. Menyediakan Cloud SQL: memunculkan pekerja latar belakang untuk membangun instance PostgreSQL (cymbal-pets-ops).
5. Menghasilkan .env: menyimpan konfigurasi lingkungan dan database untuk skrip penyiapan dan penonaktifan.

Aset yang dibuat oleh skrip penyiapan akan dihapus pada langkah Pembersihan akhir dengan ./teardown.sh.

Setelah selesai, Anda akan melihat ringkasan lingkungan latar depan Anda:

╔══════════════════════════════════════════════════════╗
║   Base Setup complete!                               ║
╚══════════════════════════════════════════════════════╝

Your core BigQuery and GCS assets are ready.
Cloud SQL is currently provisioning in the background and will be fully ready by Step 4.

  BigQuery:   YOUR_PROJECT_ID.cymbal_pets
              ├── orders
              └── order_items

  GCS:        gs://YOUR_PROJECT_ID-cymbal-pets-raw
              └── promo_events.json

Saat Anda melanjutkan langkah-langkah berikutnya dalam lab, database akan disediakan dan diisi di latar belakang. Anda dapat memantau progresnya kapan saja di panel terminal terpisah menggunakan:

tail -f /tmp/cloudsql_setup.log

Perhatikan arsitektur data: catatan penjualan historis (pesanan dan item pesanan) berada di BigQuery, sedangkan data aplikasi operasional (pelanggan, profil hewan peliharaan, dan produk) berada di Cloud SQL. Pemisahan ini mencerminkan organisasi di dunia nyata yang memiliki warehouse analitik dan database operasional yang menyimpan bagian teka-teki yang berbeda.

Set data dasar di sini adalah set data e-commerce Cymbal Pets resmi (~1,9 juta pesanan dari 92 ribu pelanggan), yang dilengkapi dengan data business-to-business yang menyertakan misteri yang akan Anda selidiki.

Ringkasan Bagian: Anda menjalankan skrip penyiapan untuk mem-bootstrap lingkungan lab dan memulai penyediaan database latar belakang.

3. Menyiapkan IDE dan Data Agent Kit

Membuka Antigravity IDE

Anda tidak perlu menunggu Cloud SQL selesai. Buka Antigravity IDE dan hubungkan ke project Google Cloud Anda.

1. Jika Anda belum melakukannya, download dan instal Antigravity IDE dari halaman download Google Antigravity.
2. Luncurkan aplikasi desktop Antigravity IDE.
3. Buat folder baru yang kosong di komputer lokal Anda (misalnya, bernama agentic-data-labs), lalu buka di IDE dengan memilih Open Folder. Direktori ini akan berfungsi sebagai ruang kerja lokal Anda untuk codelab.

Menginstal ekstensi Data Agent Kit

Ekstensi Google Cloud Data Agent Kit menambahkan browser katalog data, kemampuan agen, dan server MCP untuk BigQuery, Cloud SQL, dan Cloud Storage, sehingga Anda dapat membuat kueri dan memeriksa layanan tersebut dari editor.

1. Di Antigravity IDE, klik ikon Extensions di Panel Aktivitas di sisi paling kiri layar (terlihat seperti empat persegi).
2. Di kotak penelusuran di bagian atas panel Ekstensi, ketik Google Cloud Data Agent Kit.
3. Temukan hasil pertama yang bernama Google Cloud Data Agent Kit (dipublikasikan oleh googlecloudtools).
4. Klik tombol Install.
5. Sebuah pesan mungkin muncul menanyakan, "Apakah Anda mempercayai penerbit 'googlecloudtools' dan ekstensi mereka?" Klik Percayai Penayang & Instal untuk melanjutkan.

Setelah diinstal, Anda akan melihat ikon Google Cloud Data Agent Kit baru muncul di Activity Bar di paling kiri Antigravity IDE.

Mengautentikasi dan mengonfigurasi ekstensi

Setelah penginstalan, hubungkan ekstensi ke project Google Cloud Anda.

1. Halaman aktivasi berjudul "Selamat datang di Google Cloud Data Agent Kit" akan terbuka secara otomatis. Jika Anda belum login ke akun Cloud Anda, ikuti perintah apa pun untuk mengizinkan akses.
2. Di bagian Ringkasan Konfigurasi, temukan kolom project. Klik dropdown, lalu pilih project Google Cloud Anda. Tetapkan region Anda sebagai us-central1. Kemudian, pilih Configure MCP Servers.

3. Di panel Konfigurasi MCP, klik untuk mengaktifkan BigQuery dan Cloud SQL. Kemudian, klik Mulai.

Sudah menginstal atau halaman selamat datang tidak terbuka? Anda dapat membuka setelan ekstensi secara manual kapan saja. Klik ikon Google Cloud Data Agent Kit di Activity Bar di paling kiri, lalu pilih Settings, untuk mengganti konfigurasi Anda.

Catatan tentang keterampilan/MCP aktif: Jika Anda memiliki keterampilan kustom atau server MCP lain yang aktif di IDE, keterampilan atau server tersebut dapat mengganggu alur yang diharapkan dari lab ini. Jika agen berperilaku tidak terduga, pertimbangkan untuk menonaktifkannya untuk lab ini.

Mempelajari opsi konfigurasi

Setelah penyiapan selesai, Anda akan membuka halaman "Mulai menggunakan Google Cloud Data Agent Kit".

1. Di bagian "Penyiapan & Konfigurasi", klik Mulai.
2. Tindakan ini akan membuka panel Konfigurasi Data Agent Kit. Jelajahi tab:
   • Project dan Region: Verifikasi Project ID yang Anda pilih dan periksa apakah API yang diperlukan (Cloud Storage API, BigQuery API, Catalog API, dan Cloud SQL Admin API) diaktifkan.
   • BigQuery: Konfigurasi lokasi default untuk kueri BigQuery Anda. Gunakan region us-central1.
   • Mengonfigurasi Server MCP: Lihat server MCP yang diaktifkan (BigQuery, Notebook, Cloud SQL, dll.) yang memungkinkan agen AI berinteraksi dengan data Anda secara aman.
   • Keahlian: Jelajahi keahlian bawaan yang memberikan kemampuan khusus kepada agen untuk tugas data yang kompleks.

Ringkasan Bagian: Anda telah membuka Antigravity IDE, menghubungkannya ke project Google Cloud, dan mengonfigurasi server MCP jarak jauh Data Agent Kit.

4. Menemukan data Anda

Saatnya menyiapkan latar. Berikut situasinya: CFO mengatakan nilai pesanan rata-rata turun 7% bulan lalu, tetapi total pendapatan tidak berubah. Sebelum meminta agen menyelidiki, Anda harus memahami terlebih dahulu data yang sedang Anda kerjakan.

Di bagian ini, Anda akan menjelajahi panel Data Agent Kit secara manual untuk memahami tata letaknya. Memahami data Anda sebelum Anda mulai membuat kueri adalah langkah pertama yang penting dalam penyelidikan apa pun.

Menjelajahi tabel BigQuery

1. Di panel Data Agent Kit, di bagian CATALOG, luaskan project Anda → BigQuery → cymbal_pets.
2. Klik padaorders meja. Tab baru akan terbuka dan menampilkan detail tabel.
3. Jelajahi tab di sepanjang sisi kiri penampil tabel:
   • Data: Pratinjau baris sebenarnya. Scroll set data dan periksa kolom.
   • Skema: Tinjau nama dan jenis kolom. Perhatikan kolom seperti order_type dan promo_code yang akan menjadi penting nanti.
   • Tab lainnya (Detail, Insight, Profil Data, dll.): Akses metadata, silsilah data, dan detail kualitas yang biasanya Anda temukan di Konsol Google Cloud, semuanya tanpa meninggalkan editor.

4. Sekarang, klik tabel order_items dan tinjau skemanya. Perhatikan kolom quantity dan price.

Melihat petunjuk sejak awal. Saat menjelajahi data, Anda mungkin sudah melihat beberapa hal yang tampak tidak biasa: jenis pesanan B2B-Wholesale dan kolom promo_code. Jangan khawatir tentang menghubungkan titik-titik terlebih dahulu. Agen akan membantu Anda.

Menjelajahi tabel Cloud SQL

Skrip penyiapan juga menempatkan data pelanggan, hewan peliharaan, dan produk dalam database PostgreSQL di Cloud SQL.

5. Di panel Data Agent Kit, klik Universal Search di bagian CATALOG.
6. Di kotak penelusuran, ketik pet_profiles, lalu tekan Enter.
7. Di hasil penelusuran, klik hasil Tabel PostgreSQL untuk pet_profiles (di instance Cloud SQL project Anda). Perhatikan bahwa akordeon sidebar otomatis meluas, menunjukkan dengan tepat lokasi tabel dalam hierarki database. Sekarang klik tabel customers yang berada tepat di atasnya di hierarki untuk membuka detailnya, lalu jelajahi tab Schema dan Details.

Menjelajahi file Cloud Storage

Terakhir, catatan kampanye pemasaran dan promosi disimpan sebagai file JSON mentah di Cloud Storage.

8. Di panel Data Agent Kit di sebelah kiri, luaskan bagian CLOUD STORAGE. Temukan bucket mentah project Anda (YOUR_PROJECT_ID-cymbal-pets-raw).
9. Klik file promo_events.json di dalam bucket. Tab editor baru akan terbuka, sehingga Anda dapat melihat konten JSON mentah kampanye pemasaran langsung di dalam IDE.

Mengevaluasi

Berikut hal-hal yang sekarang Anda ketahui tentang data:

Layanan	Tabel	Apa yang ada di sana
BigQuery	orders, order_items	~1,9 juta pesanan, ~4,3 juta item baris, rentang tanggal 2023-2025
Cloud SQL	customers, pet_profiles, products	~92 ribu pelanggan, ~7.600 profil hewan peliharaan, 206 produk
Cloud Storage	promo_events.json	Catatan kampanye promosi

Mengapa data dibagi di seluruh layanan? Hal ini mencerminkan arsitektur dunia nyata. Cloud SQL adalah database OLTP (transaksional). Cloud SQL dioptimalkan untuk operasi tingkat baris yang cepat, seperti memperbarui alamat pelanggan atau memproses satu pesanan. BigQuery adalah warehouse OLAP (analisis). Cara ini lebih baik untuk memindai jutaan baris guna menjawab pertanyaan seperti "berapa nilai pesanan rata-rata kita bulan ini?" Di sebagian besar organisasi, Anda akan menemukan data yang berada di keduanya, itulah sebabnya alat investigasi lintas layanan seperti Data Agent Kit sangat penting.

Data tersebar di tiga layanan. Dalam alur kerja tradisional, Anda harus menyiapkan koneksi, menulis kode integrasi, dan menggabungkan hasil secara manual. Pada langkah berikutnya, Anda akan membiarkan agen AI menangani semuanya melalui satu percakapan.

Ringkasan Bagian: Anda menggunakan panel Data Agent Kit untuk menjelajahi arsitektur data secara manual di BigQuery, Cloud SQL, dan Cloud Storage. Sekarang Anda sudah tahu lokasi data dan kolom yang tersedia, jadi Anda siap memulai penyelidikan.

5. Ikuti angka-angka

Sekarang penyelidikan dimulai. Anda akan menggunakan panel Chat untuk meminta agen AI menarik data Nilai Pesanan Rata-Rata (AOV) dari BigQuery. AOV adalah metrik bisnis yang menunjukkan jumlah rata-rata dalam dolar yang dibelanjakan per pesanan. Agen akan membuat kueri atas nama Anda menggunakan Alat MCP, dan Anda akan dapat melihat setiap kueri SQL yang dijalankannya.

Menarik tren nilai pesanan rata-rata

1. Di Chat pane di sisi kanan IDE, ketik perintah berikut, lalu tekan Enter:

   Calculate our monthly average order value from August 2024 through January 2025
   using the orders and order_items tables in BigQuery.
   

2. Menyetujui izin akses data. Anda perlu berhati-hati terhadap agen AI yang menjalankan kueri di database Anda. Kit Agen Data memberi Anda kontrol dengan menjeda untuk meminta izin eksplisit sebelum mengakses data. Jika diminta, Anda dapat memilih:
   • Izinkan kali ini: Menyetujui penggunaan tunggal (ideal untuk mengaudit kueri berisiko tinggi).
   • Selalu izinkan: Menyetujui penggunaan berkelanjutan alat tertentu ini untuk sesi tersebut.
   • Tidak: Memblokir tindakan sepenuhnya.

Untuk pengalaman lab yang paling lancar, pilih Ya, dan selalu izinkan. Catatan: Izin diberikan per alat. Anda mungkin akan melihat beberapa perintah lagi dalam waktu singkat saat agen menggunakan alat baru (seperti list_table_ids atau execute_sql_readonly). Anda juga dapat memilih "selalu izinkan" perintah ini.

3. Lihat cara kerja agen. Panel Chat juga berfungsi sebagai log transparansi untuk semua yang dilakukan agen. Alih-alih kotak hitam, agen akan menunjukkan alasan dan tindakannya secara real time.
4. Setelah agen selesai, klik dropdown Worked for Xm di bawah perintah Anda untuk meluaskan log kerja lengkap. Di sini Anda dapat memeriksa secara tepat bagaimana model mendapatkan jawaban Anda:
   • Dieksplorasi: Perluas item ini untuk melihat agen membaca file, menjelajahi folder, atau memanggil alat MCP (seperti datacloud_bigquery_remote / list_table_ids dan execute_sql_readonly). Anda dapat melihat argumen JSON persis yang diteruskan ke alat dan SQL yang dijalankan.
   • Dijalankan: Perluas item ini untuk melihat perintah terminal yang dijalankan agen, seperti gcloud config list.

5. Tinjau hasilnya. Agen harus menampilkan tabel nilai AOV bulanan. Lihat sendiri angkanya: bulan-bulan sebelumnya berkisar di angka ~$110, lalu pada bulan Januari turun menjadi sekitar ~$103. Itulah anomali yang ditandai oleh CFO.

Apa itu Alat MCP dan Keahlian Agen? Alat MCP adalah koneksi aman yang memungkinkan agen berinteraksi dengan layanan eksternal seperti BigQuery dan Cloud SQL. Keahlian Agen adalah set petunjuk bawaan (seperti discovering-gcp-data-assets) yang mengajari agen cara menangani tugas tertentu. Bersama-sama, ketiganya membentuk lapisan auditabilitas. Klik langkah mana pun untuk melihat dengan tepat apa yang dilakukan agen dan alasannya.

Melihat perincian menurut saluran

AOV secara keseluruhan menurun, tetapi dari mana penurunan ini berasal? Let's find out.

1. Di panel Chat, ketik:

   January looks lower than the prior months. 
   Break down January's AOV by order_type to see what's going on?
   

2. Agen menjalankan kueri BigQuery lain, kali ini dikelompokkan menurut order_type. Tinjau hasilnya dengan cermat. Anda akan melihat sesuatu yang mencolok: AOV Online dan Offline tetap stabil di sekitar$110. Namun, ada saluran baru, B2B-Grosir, dengan AOV yang jauh lebih rendah (sekitar ~$75). Channel baru ini menurunkan rata-rata gabungan.
3. Agen dapat secara proaktif menyarankan untuk menyelidiki pelanggan B2B. Jika tidak, tidak apa-apa. Anda akan melakukannya di langkah berikutnya.

Agen menghubungkan berbagai informasi. Perhatikan bahwa agen menafsirkan hasil dan dapat menawarkan insight seperti "Channel B2B-Wholesale tampaknya merupakan jenis pesanan baru yang tidak ada pada bulan-bulan sebelumnya". Analisis proaktif semacam ini adalah fitur utama agen.

Ringkasan Bagian: Anda sendiri yang melihat penurunan AOV bulan Januari dari penarikan data netral, lalu melihat perincian menurut order_type untuk mengidentifikasi B2B-Wholesale sebagai saluran baru yang menurunkan rata-rata gabungan. Sekarang Anda perlu mengetahui siapa pelanggan B2B ini.

6. Melintasi batas layanan

Anda telah mengidentifikasi B2B-Wholesale sebagai saluran anomali di BigQuery, tetapi data pelanggan berada di Cloud SQL. Dengan Data Agent Kit, Anda dapat melanjutkan percakapan yang sama dan menangani batas layanan.

Menyelidiki pelanggan B2B

1. Di panel Chat, ketik:

   Who are these B2B customers? Their profiles should be in our Cloud SQL database. 
   Check for:
   - Who they are
   - When they signed up
   - Whether they're new or existing customers
   

2. Perhatikan panel Chat dengan cermat. Kali ini, Anda akan melihat Alat MCP yang berbeda. Sekarang agen membuat kueri Cloud SQL, bukan BigQuery. Agen terhubung ke instance Cloud SQL Postgres cymbal-pets-ops dan menjalankan kueri terhadap tabel customers. Klik Tampilkan Detail untuk melihat SQL.
3. Tinjau hasilnya. Agen harus menampilkan beberapa temuan utama:
   • Semua pelanggan B2B memiliki customer_type = 'Business'
   • Semua pengguna mendaftar dalam 30 hari terakhir (Januari 2025)
   • Nilai last_name adalah nama bisnis seperti "Pet Supply Co", "Animal Care LLC", dan "Happy Paws Inc"
   • Ada sekitar 100 orang, sebuah kelompok yang tidak ada sebelum bulan ini

Melintasi batas layanan. Agen membuat kueri di dua layanan Google Cloud yang berbeda (BigQuery dan Cloud SQL) dalam percakapan yang sama. Perhatikan nama Alat MCP yang berbeda di panel Chat. Tidak ada penyiapan koneksi, tidak ada konfigurasi kredensial. Agen menanganinya secara otomatis.

Hubungkan kode promo

4. Agen mungkin menyadari sendiri bahwa banyak pesanan B2B di BigQuery memiliki nilai promo_code BIGORDER25. Jika model menawarkan pengamatan ini, bagus. Penyelidikan berjalan secara alami.Jika agen tidak menyebutkan kode promo, ingatkan dia:

   I noticed a promo_code field on the orders table in BigQuery. 
   Check what promo codes appear on the B2B-Wholesale orders?
   

5. Agen tersebut mengkueri BigQuery lagi dan menemukan bahwa sekitar 92% pesanan B2B-Grosir memiliki promo_code = 'BIGORDER25'. Hampir semua aktivitas B2B terkait dengan satu kampanye promosi.Selanjutnya, agen dapat mencari data promosi di tempat lain dalam lingkungan. (File tersebut ada di Cloud Storage.)

Ringkasan Bagian: Agen mengkueri Cloud SQL untuk mengungkapkan bahwa pelanggan B2B adalah semua bisnis baru yang mendaftar pada Januari 2025. Jika digabungkan dengan temuan BigQuery bahwa ~92% pesanan mereka membawa promo_code = 'BIGORDER25', jejak tersebut kini mengarah ke kampanye promosi. Saatnya menemukan sumbernya.

7. Temukan potongan yang hilang

Dua layanan sudah selesai, satu lagi dalam proses. Anda tahu apa yang terjadi (pesanan B2B menurunkan AOV) dan siapa yang melakukannya (pelanggan Bisnis baru dari 30 hari terakhir). Sekarang Anda perlu mencari tahu mengapa, dan jawabannya ada di Cloud Storage.

Periksa bucket GCS

1. Di panel Chat, ketik:

   Good catch on the promo code. 
   We might have promotional campaign data in our GCS bucket. 
   Can you check what's there?
   

2. Agen tidak memiliki alat MCP yang telah dikonfigurasi sebelumnya untuk Cloud Storage, sehingga agen otomatis beralih menggunakan alat terminalnya untuk menjalankan perintah gcloud storage. Aplikasi akan meminta izin untuk menjalankan perintah seperti gcloud storage ls. Izinkan perintah ini, lalu luaskan log Ran di panel Chat untuk melihat perintah CLI persisnya yang digunakan untuk membaca dan mengurai file promo_events.json.
3. Agen harus mengidentifikasi tiga kampanye promosi dalam file:

   Kampanye	Kode promo	Diskon	Target	Tanggal
   Promo Perawatan Hewan Peliharaan Musim Panas	PETSUMMER15	Diskon 15%	Semua	Jun 2024
   Dorongan Grosir B2B	BIGORDER25	Diskon 25%	B2B	Januari 2025
   Bonus Liburan untuk Anggota Loyalitas	LOYAL10	Diskon 10%	Anggota Loyalitas	Dec 2024

   Itulah penyebabnya. Kode promo BIGORDER25 dipetakan ke kampanye yang disebut B2B Wholesale Push: Diskon 25% untuk pelanggan B2B dengan jumlah pesanan minimum 50 unit.

Tiga layanan, satu percakapan. Dalam tiga bagian terakhir, agen telah membuat kueri BigQuery (histori penjualan dan pesanan), Cloud SQL (data pelanggan dan produk), dan Cloud Storage (catatan promosi), semuanya dari rangkaian percakapan yang sama, tanpa konfigurasi atau pengalihan konteks apa pun dari pihak Anda. Inilah nilai inti Data Agent Kit: satu agen AI yang beroperasi di seluruh aset data Anda.

Menyatukan semuanya

4. Minta agen untuk menyintesis semua yang telah ditemukannya:

   Put it all together. 
   What happened to our average order value?
   

5. Agen memberikan sintesis yang jelas dan terstruktur yang menghubungkan ketiga sumber data. Penjelasannya akan seperti:
   1. Penurunan AOV memang terjadi, tetapi bukan penurunan dalam bisnis yang sudah ada. AOV Online dan Offline tetap stabil di sekitar$110.
   2. Saluran B2B-Grosir baru muncul pada Januari 2025, dengan ~25.000 pesanan pada AOV yang jauh lebih rendah (~$75-100).
   3. Pelanggan B2B adalah 100 akun bisnis baru yang semuanya mendaftar dalam 30 hari terakhir (Cloud SQL).
   4. Aktivitas ini didorong oleh kampanye promosi ("B2B Wholesale Push") yang menawarkan diskon 25% untuk pesanan dalam jumlah besar dengan minimum 50 unit (Cloud Storage).
   5. Pendapatan tetap karena volume pesanan B2B yang tinggi mengimbangi harga yang lebih rendah. Namun, margin unit sangat tertekan (terkikis sekitar 65%) dengan diskon grosir 25%, sehingga sangat mengancam profitabilitas secara keseluruhan jika biaya pengiriman dan operasional diperhitungkan.
   Ini adalah saat penyelidikan dimulai. Pertanyaan CFO memiliki jawaban yang jelas: AOV turun karena program B2B yang didorong pemasaran membanjiri bulan Januari dengan pesanan bervolume tinggi dan harga rendah. Bisnis yang ada dalam kondisi baik.

Ringkasan Bagian: Anda menemukan penyebabnya di Cloud Storage: kampanye promosi B2B yang menawarkan diskon 25% untuk pesanan dalam jumlah besar. Agen menyintesis temuan di ketiga layanan menjadi narasi yang jelas. Fase investigasi telah selesai. Selanjutnya, Anda akan mengoperasionalkan temuan ini.

8. Membangun pipeline

Anda telah memecahkan kasus ini. Sekarang CFO ingin analisis ini diperbarui secara otomatis. Di bagian ini, Anda akan meminta agen untuk membuat project dbt yang mengatur data BigQuery dan menghasilkan tabel fakta untuk analisis AOV berkelanjutan.

Di sinilah agen beralih dari penyelidik menjadi engineer. Anda akan melihatnya membuat struktur seluruh project dbt dan menjalankan seluruh pipeline, semuanya dari satu perintah.

Apa itu dbt? dbt (alat build data) adalah framework yang memungkinkan praktisi data mengubah data di warehouse mereka menggunakan SQL. Cara ini memperlakukan SQL seperti kode, dengan menambahkan kontrol versi, pengujian otomatis, dan pengelolaan dependensi.

Buat kerangka project dbt

1. Di panel Chat, ketik perintah berikut. Bagian ini sengaja berorientasi pada sasaran, bukan langkah demi langkah. Anda memberi tahu agen apa yang Anda inginkan, bukan cara membuatnya:

   I want to productionize our AOV analysis so it updates automatically. Build a dbt project that:
   1. Creates staging models for the BigQuery tables (orders and order_items) and a mart called fct_order_analysis that calculates AOV by channel and month
   2. Add a uniqueness test on order_id and run dbt build
   

2. Mengamati Koreksi Mandiri: Jika Anda meluaskan log "Berhasil untuk Ns", Anda dapat melihat agen memeriksa dbt dan, setelah mendapati bahwa tidak ada, agen akan otomatis menjalankan perintah untuk membuat lingkungan virtual Python (.venv). Agen menangani penyiapan lingkungan untuk Anda.

3. Meninjau Rencana Penerapan: Agen akan membuat rencana penerapan formal. Anda dapat meninjau file dan arsitektur yang diusulkan, menambahkan komentar jika diperlukan, dan mengklik Lanjutkan agar agen dapat menjalankan rencana.

4. Perhatikan panel Chat saat agen menjalankan rencananya, menulis file .sql dan konfigurasi YAML yang diperlukan. Setelah selesai dan berhasil mengompilasi project, ringkasan perubahan akan ditampilkan. Klik Setuju semua untuk menambahkan file ini ke ruang kerja Anda.

5. Jelajahi project dbt yang baru dibuat di Explorer di sebelah kiri. Anda akan melihat struktur yang mirip dengan:

   dbt/
   ├── models/
   │   ├── marts/
   │   │   └── fct_order_analysis.sql
   │   └── staging/
   │       ├── schema.yml
   │       ├── sources.yml
   │       ├── stg_order_items.sql
   │       └── stg_orders.sql
   ├── dbt_project.yml
   └── profiles.yml
   

6. Klik file model .sql untuk meninjau SQL yang dihasilkan agen. Perhatikan cara penanganannya:
   • Model penyiapan: Kolom yang bersih dan diganti namanya dengan referensi sumber
   • Model mart: Logika gabungan dan penghitungan AOV menurut saluran
   • Menangani checkout tamu: Anda mungkin melihat batasan null COALESCE(customer_type, 'Guest') atau yang lebih longgar. Model ini memodelkan pembelian tamu retail yang dilakukan tanpa akun dan mempertahankan pendapatan pesanan yang valid, bukan menghapus data yang tidak lengkap.

Meninjau Kode Mart: Buka models/marts/fct_order_analysis.sql. Perhatikan cara menggabungkan item baris terlebih dahulu untuk mempertahankan tabel fakta pada perincian pesanan. Tips: Hanya edit file sumber di dalam direktori models/, bukan file yang dihasilkan otomatis di /target/.

7. Periksa panel Chat (atau klik artefak Panduan yang dihasilkan) untuk melihat konfirmasi agen bahwa semua model telah diwujudkan dan semua pengujian lulus. Hasil AOV dari mart harus mengonfirmasi apa yang Anda temukan selama penyelidikan:

   - Online: ~$110
   - Offline: ~$110
   - B2B-Wholesale: ~$75 to $77
   

Ringkasan Bagian: Agen membuat project dbt dari satu perintah berorientasi sasaran: model penyiapan dan mart yang di-scaffold, menjalankan dbt build yang berhasil, dan mengonfirmasi anomali AOV. Selanjutnya, Anda akan memberikan pertanyaan sulit untuk melihat cara agen menangani kompleksitas.

9. Jika pengujian gagal, agen akan men-debug

Pipeline berfungsi, tetapi hanya menggunakan data BigQuery. Tim produk ingin memperkaya analisis dengan data profil pelanggan dan hewan peliharaan dari Cloud SQL sehingga mereka dapat merekomendasikan produk berdasarkan kebutuhan diet. Artinya, agen perlu menjembatani batas Cloud SQL dan menangani bug pemodelan data yang tidak terlalu terlihat, yaitu gabungan "fan-out" pemodelan dimensi klasik.

Apa yang dimaksud dengan "fan-out"? Jika satu pesanan termasuk dalam pelanggan yang memiliki 3 hewan peliharaan, SQL standar JOIN akan membuat 3 baris yang identik untuk satu pesanan tersebut (satu untuk setiap hewan peliharaan). Hal ini akan "memperluas" data dan merusak metrik seperti Nilai Pesanan Rata-Rata karena menghitung pendapatan pesanan yang sama sebanyak 3 kali. Untuk memperbaikinya, Anda harus menggabungkan hewan peliharaan ke dalam daftar (array) sebelum bergabung.

Bergantung pada model yang Anda gunakan dan kapabilitas penalaran model tersebut, agen akan menangani permintaan ini dengan salah satu dari dua cara: Secara proaktif menghindari bug (Opsi A) atau Memperbaiki diri sendiri setelah kegagalan uji (Opsi B). Mari kita lihat jalur mana yang akan dilalui agen Anda.

Memicu permintaan

1. Di panel Chat, ketik:

   Enrich fct_order_analysis with customer data and pet profile data from our Cloud SQL database. 
   Include customer type and each customer's pets and dietary needs so we can recommend products. 
   Keep the uniqueness test on order_id and run dbt build.
   

2. Lihat cara kerja agen. Fitur ini akan menemukan tabel Cloud SQL, mencari tahu cara menjembatani data ke BigQuery (melalui kueri gabungan atau salinan yang diwujudkan), membuat model penyiapan baru, dan mengubah fct_order_analysis.sql.

Catatan Arsitektur: MCP vs. Kueri Gabungan
Sebelumnya dalam Codelab, agen mengkueri Cloud SQL secara langsung menggunakan alat MCP Cloud SQL untuk penyelidikan interaktif ad-hoc. Sekarang, di dalam pipeline dbt, dbt-bigquery menjalankan transformasi dalam BigQuery. Untuk membuat kueri data Cloud SQL dari BigQuery, agen menggunakan Kueri Gabungan (EXTERNAL_QUERY(...)) BigQuery melalui resource Koneksi BigQuery cymbal-pets-cloudsql.

Opsi A: Agen proaktif (penghindaran bug)

Jika Anda menggunakan model penalaran lanjutan, agen dapat mendeteksi perubahan perincian sebelum menulis kode apa pun. Karena pelanggan dapat memiliki beberapa hewan peliharaan, gabungan langsung menduplikasi pesanan dan gagal dalam uji keunikan yang Anda minta di order_id.

1. Mengamati Agregasi Proaktif: Dalam penjelasan panel Chat atau artefak Panduan, agen dapat mencatat bahwa agen telah melakukan pra-agregasi data hewan peliharaan sebelum menggabungkannya untuk mencegah "fan-out klasik". Biasanya, hal ini dilakukan dengan menggabungkan beberapa hewan peliharaan per pelanggan menggunakan fungsi agregasi (misalnya, ARRAY_AGG() atau STRING_AGG()).
2. Periksa Hasilnya: dbt build berjalan dan berhasil pada percobaan pertama karena agen secara proaktif menjaga perincian tabel fakta. Anda dapat memverifikasinya dengan memeriksa artefak Panduan yang dihasilkan, yang sering kali menampilkan output pengujian yang berhasil bersama dengan hasil kueri.

Agen menghindari bug. Tinjau SQL yang dihasilkan di fct_order_analysis.sql untuk melihat cara menyusun agregasi, lalu lanjutkan ke bagian berikutnya, Memberikan jawaban.

Opsi B: Agen pemulihan mandiri (pen-debug & diagnostik)

Jika model menulis naive direct left join terlebih dahulu, kueri SQL itu sendiri akan berhasil dijalankan, tetapi rangkaian pengujian otomatis dbt test akan mendeteksi perubahan perincian.

1. Amati kegagalan uji: Anda akan melihat kegagalan yang dilaporkan dalam log progres eksekusi panel Chat:

   Completed with 1 error
   
   Failure in test unique_fct_order_analysis_order_id
   Got 287 results, configured to fail if != 0
   

   Uji keunikan pada order_id menemukan entri duplikat karena pelanggan dengan beberapa hewan peliharaan menyebarkan pesanan.
2. Biarkan agen mendiagnosis & memperbaiki sendiri: Karena pengujian gagal, minta agen untuk men-debugnya. Di panel Chat, ketik:

   The uniqueness test failed. Can you figure out why and fix it?
   

3. Tonton diagnosisnya: Agen akan membuat kueri data, menemukan hubungan satu ke banyak di pet_profiles, menjelaskan bahwa penggabungan secara langsung mengubah perincian dari satu baris per pesanan menjadi satu baris per pesanan per hewan peliharaan, dan menulis ulang model untuk melakukan pra-agregasi profil hewan peliharaan:

   -- Pre-aggregating pets per customer to resolve fan-out
   LEFT JOIN (
     SELECT
       customer_id,
       COUNT(*) AS num_pets,
       STRING_AGG(DISTINCT pet_type, ', ') AS pet_types,
       STRING_AGG(DISTINCT dietary_needs, ', ') AS dietary_needs
     FROM pet_profiles
     GROUP BY customer_id
   ) pet_agg ON c.customer_id = pet_agg.customer_id
   

4. Verifikasi perbaikan: Agen menjalankan dbt build lagi, dan kali ini semua model terwujud dan semua pengujian berhasil!

Ringkasan Bagian: Baik agen Anda secara proaktif menghindari bug atau berhasil memperbaiki diri sendiri setelah kegagalan uji, Anda telah melihatnya menjembatani batasan Cloud SQL, mengintegrasikan data profil pelanggan dan hewan peliharaan, dan menyimpan satu baris per pesanan dalam tabel fakta. Pipeline sudah selesai dan diuji.

10. Memberikan jawaban

Hari ini Kamis. Anda memulai minggu ini dengan CFO yang khawatir dan data yang tersebar di tiga layanan cloud. Sekarang Anda memiliki akar masalah dan pipeline produksi. Waktunya untuk memberikan jawaban, beserta rekomendasi yang berorientasi ke depan dan didukung oleh perkiraan kuantitatif.

Tulis ringkasan eksekutif

1. Di panel Chat, ketik:

   Write an executive summary covering:
   - Main findings and the quantitative margin impact
   - Project AOV for the subsequent quarter if the B2B program continues at its current trajectory
   - A data-driven recommendation
   

2. Lihat cara kerja agen.

   Catatan tentang Format & Variasi Output: Model bahasa besar bersifat non-deterministik. Bergantung pada model yang aktif, agen dapat menampilkan ringkasan eksekutif langsung di panel Chat, atau membuat file Markdown khusus (seperti executive_summary_cfo.md atau output.txt) dan menautkannya dalam chat.

   Angka pasti, total yang dihitung (seperti potensi kerugian margin atau penurunan AOV rata-rata), dan tata letak pemformatan akan berfluktuasi dari satu eksekusi ke eksekusi lainnya. Yang penting adalah logika struktural inti dari temuan tersebut.

3. Tinjau ringkasan eksekutif agen. Respons yang umum dan terstruktur dengan baik harus membahas:
   • Temuan Utama: AOV bulan Januari turun semata-mata karena saluran B2B-Wholesale baru. Online & Offline tetap stabil di sekitar$110.
   • Akar Penyebab: "Dorongan Grosir B2B" (diskon 25% untuk pesanan massal) menarik 100 akun baru, menghasilkan sekitar 25.000 pesanan.
   • Dampak Margin: Pesanan grosir menekan laba per unit rata-rata sebesar ~65% (dari ~$7,50 menjadi ~$2,60).
   • Pendapatan: Pendapatan keseluruhan datar karena volume B2B yang tinggi mengimbangi harga yang lebih rendah.

Memperkirakan AOV dengan AI.FORECAST

4. Agen juga harus membuat proyeksi ke depan. Cari panggilan Alat MCP tempat agen menjalankan kueri AI.FORECAST terhadap BigQuery. Ini menggunakan fitur bawaan.Model dasar TimesFM Untuk memproyeksikan AOV (Average Order Value) ke depan selama 90 hari berdasarkan tren historis. Kueri tersebut harus memproyeksikan AOV 90 hari ke depan dalam dua skenario: kelanjutan kampanye (AOV yang tertekan secara struktural) vs. penghentian kampanye (pemulihan ke sekitar$110).

Saran (jika agen tidak menggunakan AI.FORECAST): Jika agen memberikan proyeksi kualitatif alih-alih kuantitatif, coba:

Use BigQuery's AI.FORECAST function to generate a 90-day forecast with confidence intervals.

5. Tinjau rekomendasi strategis agen. Rekomendasi harus mencakup:
   • Menata ulang diskon: Terapkan batas minimum margin atau batasi diskon massal untuk melindungi margin tingkat unit.
   • Menerapkan MOQ yang lebih ketat: Mencegah pembeli retail menyalahgunakan harga grosir.
   • Pelaporan terpisah: Lacak divisi retail dan B2B secara terpisah untuk menghindari penyembunyian performa retail.

Kisah selengkapnya

Apa yang dimulai pada hari Senin sebagai latihan menghadapi penurunan Nilai Pesanan Rata-Rata sebesar 7% telah memiliki solusi yang jelas bagi CFO:

• Retail Health: Saluran retail inti tetap sehat dan stabil di tingkat dasar.
• Lonjakan Grosir: Penurunan AOV sepenuhnya disebabkan oleh saluran Grosir B2B baru dan kampanye BIGORDER25.
• Dampak Margin: Diskon massal 25% sangat mengurangi margin unit, sehingga mengancam profitabilitas meskipun pendapatan datar.
• Prakiraan Strategis: Proyeksi AI.FORECAST menunjukkan bahwa merestrukturisasi tingkat grosir akan memulihkan AOV gabungan.

Anda memberikan rekomendasi berbasis data untuk menetapkan batas bawah margin grosir dan pelaporan ritel/B2B terpisah.

Ringkasan Bagian: Anda meminta agen untuk menulis ringkasan eksekutif dengan analisis margin, membuat proyeksi AI.FORECAST, dan memberikan rekomendasi berbasis data. Investigasi telah selesai.

11. Pembersihan

Agar tidak menimbulkan biaya berkelanjutan pada akun Google Cloud Anda, hapus resource yang dibuat dalam codelab ini dengan menjalankan skrip penonaktifan.

Jangan lupakan langkah ini. Instance Cloud SQL dikenai biaya meskipun tidak digunakan. Jika Anda melewati penonaktifan, Anda dapat menjalankannya nanti atau menghapus seluruh project Google Cloud yang Anda gunakan untuk codelab ini.

1. Kembali ke Google Cloud Shell (tempat Anda menjalankan skrip penyiapan) dan jalankan skrip penonaktifan:

cd ~/devrel-demos/codelabs/agentic-data-labs/scripts
chmod +x teardown.sh
./teardown.sh

2. Skrip akan menampilkan semua resource yang akan dihapus dan meminta konfirmasi sebelum melanjutkan:
   • Instance Cloud SQL (cymbal-pets-ops): Semua tabel
   • Set data BigQuery (cymbal_pets, dbt_marts): Semua tabel dan model
   • Bucket Cloud Storage (gs://YOUR_PROJECT_ID-cymbal-pets-raw)
   • Koneksi BigQuery (cymbal-pets-cloudsql)
3. Ketik y untuk mengonfirmasi. Pembongkaran memerlukan waktu sekitar 2-3 menit.

[INFO]  Deleting BigQuery dataset cymbal_pets...
[ OK ]  BigQuery dataset cymbal_pets deleted.
[INFO]  Deleting BigQuery dataset dbt_marts...
[ OK ]  BigQuery dataset dbt_marts deleted.
[INFO]  Deleting GCS bucket gs://YOUR_PROJECT_ID-cymbal-pets-raw...
[ OK ]  GCS bucket deleted.
[INFO]  Deleting BigQuery connection cymbal-pets-cloudsql...
[ OK ]  BQ connection deleted.
[INFO]  Deleting Cloud SQL instance cymbal-pets-ops...
[ OK ]  Cloud SQL instance deleted.

12. Selamat!

Anda telah berhasil menyelesaikan Investigasi Hewan Peliharaan Cymbal. Anda beralih dari pertanyaan CFO yang tidak jelas menjadi rekomendasi yang sepenuhnya dioperasionalkan dan didukung perkiraan, menggunakan agen AI yang berfungsi di seluruh aset data Google Cloud Anda.

Yang Anda capai

1. 🔍 Dieksplorasi di seluruh layanan: Aset yang ditemukan dan dilihat pratinjaunya di BigQuery, Cloud SQL, dan Cloud Storage menggunakan Knowledge Catalog Data Agent Kit.
2. 🕵️‍♂️ Diselidiki dengan AI: Mengirim kueri ke beberapa layanan dalam satu percakapan panel chat menggunakan Alat MCP untuk melacak anomali AOV ke kampanye promosi B2B massal.
3. 🔧 Membangun pipeline produksi: Membuat project dbt lengkap untuk membersihkan, menggabungkan, dan menguji data pesanan dan pelanggan.
4. 🐛 Men-debug bug fan-out: Mengamati agen secara otomatis mendiagnosis masalah perincian dan memfaktorkan ulang model SQL dbt untuk melakukan pra-agregasi profil hewan peliharaan pelanggan.
5. 📈 Diperkirakan dan direkomendasikan: Menggunakan AI.FORECAST bawaan BigQuery untuk memodelkan tren AOV dan memberikan rekomendasi berbasis data kepada CFO.

Konsep utama

Konsep	Yang telah Anda pelajari
Alat MCP	Koneksi yang aman dan dapat diaudit yang memungkinkan agen AI mengkueri layanan seperti BigQuery, Cloud SQL, Spanner, dan database lainnya atas nama Anda, dengan setiap panggilan terlihat di panel Chat
Keahlian Agen	Set instruksi bawaan (seperti dbt-bigquery atau discovering-gcp-data-assets) yang mengajarkan praktik terbaik khusus domain kepada agen tanpa Anda harus memintanya
Investigasi lintas layanan	Agen mengkueri beberapa layanan Google Cloud dalam satu percakapan, tanpa penyiapan koneksi dan tanpa peralihan konteks antar-konsol
Perintah berorientasi pada sasaran	Memberi tahu agen apa yang Anda inginkan ("buat project dbt yang menghitung AOV menurut saluran") daripada bagaimana, dan membiarkannya memilih pendekatan penerapan
Data Agent Kit	Ekstensi yang mengikat semuanya, mulai dari Alat MCP dan Keterampilan Agen hingga penemuan data, sehingga memberi Anda akses ke seluruh aset data Google Cloud dari dalam IDE pilihan Anda

Langkah berikutnya

• Baca dokumentasi Data Agent Kit untuk mempelajari lebih lanjut kemampuannya
• Pelajari fungsi AI dan BigQuery ML, termasuk AI.FORECAST, AI.GENERATE, dan AI.EMBED
• Coba bangun penyelidikan lintas layanan Anda sendiri dengan Antigravity IDE berdasarkan data Anda sendiri