Codelab Eksplorasi Data dan Navigasi UI BigQuery

1. Pengantar

BigQuery adalah data warehouse yang serverless, sangat skalabel, dan hemat biaya. Cukup pindahkan data Anda ke BigQuery dan biarkan kami yang menangani kerja keras Anda sehingga Anda dapat fokus pada apa yang benar-benar penting, yaitu menjalankan bisnis Anda. Anda dapat mengontrol akses baik ke project maupun data Anda berdasarkan kebutuhan bisnis, seperti mengizinkan orang lain melihat atau mengkueri data Anda.

Di lab ini, Anda akan menemukan kemungkinan analisis dari BigQuery. Anda akan mempelajari cara mengimpor set data dari bucket Google Cloud Storage dan memahami UI BigQuery dengan menggunakan set data perbankan Retail. Selain itu, lab ini akan mengajari Anda cara menemukan fitur-fitur utama di BigQuery yang mempermudah analisis sehari-hari, seperti mengekspor hasil kueri di spreadsheet, melihat dan menjalankan kueri dari histori kueri Anda, melihat performa kueri, serta membuat tampilan tabel yang dapat digunakan oleh tim dan departemen lain.

Yang akan Anda pelajari

Di lab ini, Anda akan mempelajari cara melakukan tugas berikut:

  • Memuat data baru ke BigQuery
  • Memahami UI BigQuery
  • Kueri yang Berjalan di BigQuery
  • Lihat Performa Kueri
  • Membuat View di BigQuery
  • Berbagi {i>dataset<i} dengan orang lain secara aman

2. Pengantar: Memahami UI BigQuery

Di bagian ini, Anda akan belajar cara menavigasi UI BigQuery, melihat {i>dataset<i} yang tersedia, dan menjalankan kueri sederhana.

Memuat UI BQ

  1. Ketikkan "BigQuery" yang terdapat di bagian atas Google Cloud Platform Console.
  2. Pilih BigQuery dari daftar opsi. Pastikan untuk memilih opsi yang memiliki logo BigQuery, yaitu kaca pembesar.

Melihat Set Data dan Kueri yang Berjalan

ee95ce13969ee1ad.png

  1. Pada panel kiri di bagian Resource, klik project BigQuery Anda.
  2. Klik bq_demo untuk melihat tabel dalam set data tersebut
  3. Pada kotak jenis penelusuran, ketik "card" untuk melihat daftar tabel dan set data yang berisi "kartu" dalam namanya.
  4. Pilih "card_transactions" dari daftar hasil penelusuran,

beb6ff6ca2930125.png

  1. Klik tab Detail pada panel card_transactions guna melihat metadata untuk tabel ini.
  2. Klik tab Preview untuk melihat pratinjau tabel

[Poin Pembicaraan Kompetitif]: Integrasi dengan Katalog Data Google berarti metadata BigQuery dapat dikelola bersama sumber data lain, seperti data lake atau sumber data operasional. Ini adalah salah satu contoh yang menunjukkan bahwa Google Cloud bukan sekadar data warehouse relasional, tetapi merupakan platform Data Analitik secara keseluruhan.

  1. Klik ikon kaca pembesar untuk membuat kueri "card_transactions" tabel sementara. Teks yang dibuat secara otomatis akan mengisi editor kueri BigQuery.
  2. Masukkan kode di bawah ini untuk menunjukkan kepada kita penjual yang berbeda dari tabel Card_Transactions
SELECT distinct (merchant) FROM bq_demo.card_transactions LIMIT 1000
  1. Klik tombol Run untuk menjalankan kueri.

35113542e7ec6fa6.pngS

3. Membuat {i>dataset<i} dan berbagi tampilan

Berbagi data dan tata kelola sangatlah penting, hal ini dapat dilakukan secara intuitif di UI BQ. Di bagian ini Anda akan belajar cara membuat {i>dataset<i} baru, mengisinya dengan tampilan, dan membagikan {i>dataset<i} tersebut.

Melihat Histori Kueri

  1. Klik "Query History" di panel kiri GCP Console
  2. Klik muat ulang di panel Query History
  3. Klik gambar/panah download di ujung kanan kueri untuk melihat hasil kueri.

6e3232ed96f647b8.pngS

Membuat set data baru

  1. Pilih [nama project Anda] di panel resource pada UI BigQuery.
  2. Pilih "Buat Set Data baru" dari panel informasi project
  3. Untuk ID Set Data:

bq_demo_shared

  1. Biarkan semua kolom lain sebagai default
  2. Klik "Create Dataset"

b433eba38f55124f.png dd774aca416e7fbc.png

Membuat Tampilan

[Poin Pembicaraan Kompetitif]: BigQuery sepenuhnya mematuhi ANSI SQL dan mendukung penggabungan multi-tabel yang sederhana dan kompleks serta fungsi analisis yang lengkap. Kami terus merilis dukungan yang ditingkatkan untuk fungsi dan jenis data SQL umum yang digunakan dalam data warehouse tradisional untuk memudahkan proses migrasi.

  1. Pilih "Compose New Query" di bagian atas panel {i>Query Editor<i}.
  2. Masukkan kode berikut di editor kueri
WITH revenue_by_month AS (
SELECT
    card.type AS card_type,
    FORMAT_DATE('%Y-%m', trans_date) as revenue_date,
    SUM(amount) as revenue
FROM bq_demo.card_transactions
JOIN bq_demo.card ON card_transactions.cc_number = card.card_number
WHERE trans_date  DATE_ADD(CURRENT_DATE, INTERVAL -1 YEAR)
GROUP BY card_type, revenue_date
)
SELECT
    card_type,
    revenue_date,
    revenue as monthly_rev,
    revenue -  LAG(revenue) OVER (ORDER BY card_type, revenue_date ASC) as rev_change
FROM revenue_by_month
ORDER BY card_type, revenue_date ASC;
  1. Klik "Simpan Tampilan"
  2. Pilih project Anda saat ini untuk Nama Project
  3. Pilih Set Data yang baru dibuat:

bq_demo_shared

  1. Untuk Nama Tabel:

rev_change_by_card_type

  1. Klik Simpan.

4b111056b544c27d.pngS

Membagikan Tampilan dan Set Data

  1. Pilih "bq_demo_shared" dari panel resource sebelah kiri di UI BigQuery.
  2. Klik "Bagikan Set Data" dari Panel informasi set data
  3. Masukkan alamat email
  4. Pilih "BigQuery Data Viewer" dari menu drop-down Peran
  5. Klik "Tambahkan"
  6. Klik Selesai

1c04b6b5ebc191dc.pngS

Jelajahi Data di Spreadsheet

[Poin Pembicaraan Kompetitif]: Manfaat lain BigQuery dibandingkan pesaingnya adalah BI Engine. BI Engine dapat digunakan untuk membuat kueri ringkasan jenis BI ditampilkan dalam waktu kurang dari satu detik melalui mesin caching dalam memori. Fungsi ini saat ini didukung oleh Google Data Studio, tetapi akan segera tersedia untuk mempercepat semua kueri di BigQuery.

Contoh:

Snowflake mengandalkan alat BI pihak ketiga untuk dasbor dan visualisasi data, sementara GCP menawarkan berbagai alat BI terintegrasi, termasuk Sheet yang Terhubung, Data Studio, dan Looker.

  1. Pilih "rev_change_by_card_type" dari panel resource sebelah kiri di UI BigQuery.
  2. Klik kaca pembesar untuk mengkueri tampilan 255be22b0eaf339.pngS
  3. Jenis:

{i>SELECT<i} *

{i>FROM bq_demo_shared.rev_change_by_card_type<i}

  1. Klik Run
  2. Klik "Ekspor" Ikon dari Panel Hasil
  3. Pilih "Jelajahi Data dengan Spreadsheet"

9617b522025fd337.pngS

  1. Klik "Mulai Menganalisis"
  2. Pilih “Pivot Table”
  3. Pilih "New Sheet"
  4. Klik "Buat"
  5. Tambahkan "revenue_date" di bawah bagian Baris pada Editor Tabel Pivot yang terletak di sebelah kanan jendela {i>Sheets<i}
  6. Tambahkan "card_type" di bagian Column pada Pivot Table Editor
  7. Tambahkan "monthly_rev" di bagian Column pada Pivot Table Editor
  8. Klik Terapkan

48e67c2e04965796.pngS

  1. Arahkan ke robbin atas UI Spreadsheet dan pilih Insert Chart

4. Penyiapan: Integrasi Data

Di bagian ini, Anda akan belajar cara membuat tabel baru dan JOIN pada salah satu dari sekian banyak {i>dataset<i} publik yang tersedia di Google Cloud.

[Poin Pembicaraan Kompetitif]:

BigQuery telah mendukung set data bersama selama bertahun-tahun. Pelanggan dalam project apa pun dapat mengkueri set data publik dan set data dalam project lain yang telah dibagikan kepada mereka.

BigQuery dapat mendukung data lake di GCS melalui penggunaan tabel eksternal. Selain pemuatan massal, BigQuery mendukung kemampuan untuk melakukan streaming data ke dalam database dengan kecepatan hingga ratusan MB per detik. Snowflake tidak memiliki dukungan untuk data streaming.

Mengimpor Data ke tabel baru

  1. Di panel resource, pilih set data bq_demo
  2. Di panel informasi set data, pilih "Create Table"
  3. Pilih Google Cloud Storage untuk Sumber
  4. Di kotak teks jalur file:

gs://retail-banking-looker/district

  1. Pilih CSV untuk Format File
  2. Masukkan "distrik" untuk Nama Tabel
  3. Pilih kotak centang untuk Skema Deteksi Otomatis
  4. Klik Create Table

Membuat Kueri Set Data Publik

  1. Di editor kueri, masukkan kueri berikut:
SELECT
    CAST(geo_id as STRING) AS zip_code,
    total_pop,
    median_age,
    households,
    income_per_capita,
    housing_units,
    vacant_housing_units_for_sale,
    ROUND(SAFE_DIVIDE(employed_pop, pop_16_over),4) AS rate_employment,
    ROUND(SAFE_DIVIDE(bachelors_degree_or_higher_25_64, pop_25_64),4) AS rate_bachelors_degree_or_higher_25_64
  FROM
    `bigquery-public-data.census_bureau_acs.zip_codes_2017_5yr`;
  1. Klik Run
  2. Lihat Hasil

dff40709db70d75.png

  1. Sekarang kita akan menggabungkan data publik ini dengan kueri lain. Masukkan Kode SQL berikut dalam Query Editor:
WITH customer_counts AS (
    select regexp_extract(address, "[0-9][0-9][0-9][0-9][0-9]") as zip_code, 
    count(*) as num_clients
    FROM bq_demo.client
    GROUP BY zip_code
    )
SELECT 
    CAST(geo_id as STRING) AS zip_code,
    total_pop,
    median_age,
    households,
    income_per_capita,
    ROUND(SAFE_DIVIDE(employed_pop, pop_16_over),4) AS rate_employment,
    num_clients
FROM
    `bigquery-public-data.census_bureau_acs.zip_codes_2017_5yr`
JOIN customer_counts on zip_code = geo_id
ORDER BY num_clients DESC
  1. Klik Run
  2. Lihat Hasil

b853ad571e7a3038.png

5. Pengelolaan Kapasitas

Menggunakan slot dan reservasi

BQ menawarkan berbagai model harga untuk memenuhi kebutuhan Anda. Sebagian besar pelanggan besar umumnya memanfaatkan tarif tetap untuk harga yang dapat diprediksi dengan kapasitas yang dipesan. Untuk bursting di luar kapasitas dasar, BQ menawarkan slot fleksibel yang memungkinkan Anda berkembang menjadi kapasitas tambahan dengan cepat, lalu secara otomatis mengecil kembali tanpa memengaruhi kueri yang berjalan. BQ juga memiliki model pemindaian byte yang memungkinkan Anda hanya membayar kueri yang Anda jalankan.

[Poin Pembicaraan Kompetitif: Beberapa pesaing bekerja secara eksklusif pada model kapasitas tetap di mana pelanggan harus mengalokasikan warehouse virtual untuk setiap workload dalam organisasi mereka. Selain model per kueri berbiaya rendah yang memudahkan Anda untuk memulai BigQuery, kami mendukung model penetapan harga kapasitas tarif tetap di mana kapasitas nonaktif dapat dibagi ke dalam serangkaian workload.]

  1. Buka tab reservasi.

964f4ab78d35d067.pngS

  1. Klik "Beli Slot"

c8cb5ee61bbea814.png

  1. Pilih "Flex" sebagai durasi.
  2. Pilih 500 slot.
  3. Konfirmasi pembelian.

d615f5908dffc1ee.png

  1. Klik Lihat Komitmen Slot.
  2. Klik "Buat Reservasi"
  3. "Demo" pengguna sebagai nama reservasi
  4. Pilih Amerika Serikat sebagai lokasi
  5. Ketik 500 untuk slot (semua tersedia)
  6. Klik Penetapan
  7. Pilih project saat ini untuk project organisasi
  8. Pilih "demo" untuk ID reservasi
  9. Klik Create."