Menggunakan BigQuery dengan C#

1. Ringkasan

BigQuery adalah data warehouse analisis berbiaya rendah yang terkelola sepenuhnya dan berskala petabyte dari Google. BigQuery adalah NoOps—tidak ada infrastruktur yang perlu dikelola dan Anda tidak memerlukan administrator database—sehingga Anda dapat berfokus pada analisis data untuk menemukan insight yang bermakna, menggunakan SQL yang sudah dikenal, dan memanfaatkan model bayar sesuai penggunaan kami.

Dalam codelab ini, Anda akan menggunakan Google Cloud Client Libraries for .NET untuk mengkueri set data publik BigQuery dengan C#.

Yang akan Anda pelajari

• Cara menggunakan Cloud Shell
• Cara mengaktifkan BigQuery API
• Cara Mengautentikasi permintaan API
• Cara menginstal library klien Google Cloud untuk C#
• Cara membuat kueri karya Shakespeare
• Cara membuat kueri set data GitHub
• Cara menyesuaikan statistik penayangan dan penayangan dalam cache

Yang Anda butuhkan

• Project Google Cloud Platform
• Browser, seperti Chrome atau Firefox
• Pemahaman dalam menggunakan C#

Survei

Bagaimana Anda akan menggunakan tutorial ini?

Hanya membacanya Membacanya dan menyelesaikan latihan

Bagaimana penilaian Anda terhadap pengalaman Anda dengan C#?

Pemula Menengah Mahir

Bagaimana penilaian Anda terhadap pengalaman menggunakan layanan Google Cloud Platform?

Pemula Menengah Mahir

2. Penyiapan dan Persyaratan

Penyiapan lingkungan mandiri

1. Login ke Google Cloud Console dan buat project baru atau gunakan kembali project yang sudah ada. Jika belum memiliki akun Gmail atau Google Workspace, Anda harus membuatnya.

• Project name adalah nama tampilan untuk peserta project ini. String ini adalah string karakter yang tidak digunakan oleh Google API. Anda dapat memperbaruinya kapan saja.
• Project ID bersifat unik di semua project Google Cloud dan tidak dapat diubah (tidak dapat diubah setelah ditetapkan). Cloud Console otomatis membuat string unik; biasanya Anda tidak mementingkan kata-katanya. Di sebagian besar codelab, Anda harus merujuk Project ID-nya (umumnya diidentifikasi sebagai PROJECT_ID). Jika tidak suka dengan ID yang dibuat, Anda dapat membuat ID acak lainnya. Atau, Anda dapat mencobanya sendiri, dan lihat apakah ID tersebut tersedia. ID tidak dapat diubah setelah langkah ini dan tersedia selama durasi project.
• Sebagai informasi, ada nilai ketiga, Project Number, yang digunakan oleh beberapa API. Pelajari lebih lanjut ketiga nilai ini di dokumentasi.

Perhatian: Project ID bersifat unik secara global dan tidak dapat digunakan orang lain setelah Anda memilihnya. Anda adalah satu-satunya pengguna ID tersebut. Meskipun project sudah dihapus, ID tersebut tidak dapat digunakan lagi

Catatan: Jika menggunakan akun Gmail, Anda dapat menyetel lokasi default ke No organization. Jika Anda menggunakan akun Google Workspace, pilih lokasi yang sesuai untuk organisasi Anda.

2. Selanjutnya, Anda harus mengaktifkan penagihan di Konsol Cloud untuk menggunakan resource/API Cloud. Menjalankan operasi dalam codelab ini tidak akan memakan banyak biaya, bahkan mungkin tidak sama sekali. Guna mematikan resource agar tidak menimbulkan penagihan di luar tutorial ini, Anda dapat menghapus resource yang dibuat atau menghapus project-nya. Pengguna baru Google Cloud memenuhi syarat untuk mengikuti program Uji Coba Gratis senilai $300 USD.

Mulai Cloud Shell

Meskipun Google Cloud dapat dioperasikan dari jarak jauh menggunakan laptop Anda, dalam codelab ini, Anda akan menggunakan Google Cloud Shell, lingkungan command line yang berjalan di Cloud.

Mengaktifkan Cloud Shell

1. Dari Cloud Console, klik Aktifkan Cloud Shell .

Jika ini adalah pertama kalinya Anda memulai Cloud Shell, Anda akan melihat layar perantara yang menjelaskan apa itu Cloud Shell. Jika Anda melihat layar perantara, klik Continue.

Perlu waktu beberapa saat untuk menyediakan dan terhubung ke Cloud Shell.

Virtual machine ini dilengkapi dengan semua alat pengembangan yang diperlukan. VM ini menawarkan direktori beranda tetap sebesar 5 GB dan beroperasi di Google Cloud, sehingga sangat meningkatkan performa dan autentikasi jaringan. Sebagian besar pekerjaan Anda dalam codelab ini dapat dilakukan dengan browser.

Setelah terhubung ke Cloud Shell, Anda akan melihat bahwa Anda telah diautentikasi dan project telah ditetapkan ke project ID Anda.

2. Jalankan perintah berikut di Cloud Shell untuk mengonfirmasi bahwa Anda telah diautentikasi:

gcloud auth list

Output perintah

 Credentialed Accounts
ACTIVE  ACCOUNT
*       <my_account>@<my_domain.com>

To set the active account, run:
    $ gcloud config set account `ACCOUNT`

Catatan: Alat command-line gcloud adalah alat command-line yang canggih dan terpadu di Google Cloud. Alat ini sudah diinstal lebih dulu di Cloud Shell. Anda akan melihat dukungannya untuk penyelesaian tab. Anda mungkin diminta untuk melakukan autentikasi saat pertama kali menjalankan perintah. Untuk informasi selengkapnya, lihat ringkasan alat command-line gcloud.

3. Jalankan perintah berikut di Cloud Shell untuk mengonfirmasi bahwa perintah gcloud mengetahui project Anda:

gcloud config list project

Output perintah

[core]
project = <PROJECT_ID>

Jika tidak, Anda dapat menyetelnya dengan perintah ini:

gcloud config set project <PROJECT_ID>

Output perintah

Updated property [core/project].

Catatan: Jika Anda menyelesaikan tutorial ini di luar Cloud Shell, ikuti Menyiapkan Kredensial Default Aplikasi.

3. Aktifkan BigQuery API

BigQuery API harus diaktifkan secara default di semua project Google Cloud. Anda dapat memeriksa apakah hal ini benar dengan perintah berikut di Cloud Shell: Anda harus terdaftar di BigQuery:

gcloud services list

Anda akan melihat BigQuery tercantum:

NAME                              TITLE
bigquery-json.googleapis.com      BigQuery API
...

Jika BigQuery API tidak diaktifkan, Anda dapat menggunakan perintah berikut di Cloud Shell untuk mengaktifkannya:

gcloud services enable bigquery-json.googleapis.com

Catatan: Jika perintah ini ERROR, periksa apakah Project ID saat ini cocok dengan Project ID codelab Anda.

Gunakan perintah berikut untuk menemukan Project ID saat ini yang digunakan oleh Cloud Shell:

gcloud info | grep "project"

Jika Project ID tidak benar, gunakan perintah berikut untuk menggunakan Project ID yang benar:

gcloud config set project <PROJECT_ID>

Ganti <PROJECT_ID> dengan Project ID yang benar.

4. Instal library klien BigQuery untuk C#:

Pertama, buat aplikasi konsol C# sederhana yang akan Anda gunakan untuk menjalankan contoh BigQuery API.

dotnet new console -n BigQueryDemo

Anda akan melihat aplikasi yang dibuat dan dependensi yang diselesaikan:

The template "Console Application" was created successfully.
Processing post-creation actions...
...
Restore succeeded.

Selanjutnya, buka folder BigQueryDemo:

cd BigQueryDemo

Lalu tambahkan paket NuGet Google.Cloud.BigQuery.V2 ke project:

dotnet add package Google.Cloud.BigQuery.V2

info : Adding PackageReference for package 'Google.Cloud.BigQuery.V2' into project '/home/atameldev/BigQueryDemo/BigQueryDemo.csproj'.
log  : Restoring packages for /home/atameldev/BigQueryDemo/BigQueryDemo.csproj...
...
info : PackageReference for package 'Google.Cloud.BigQuery.V2' version '1.2.0' added to file '/home/atameldev/BigQueryDemo/BigQueryDemo.csproj'.

Sekarang, Anda siap menggunakan BigQuery API.

5. Membuat kueri karya Shakespeare

Set data publik adalah set data apa pun yang disimpan di BigQuery dan disediakan untuk publik. Ada banyak set data publik lainnya yang tersedia untuk Anda buat kuerinya, beberapa di antaranya juga dihosting oleh Google, tetapi lebih banyak lagi yang dihosting oleh pihak ketiga. Anda dapat membaca selengkapnya di halaman Set Data Publik.

Selain set data publik, BigQuery menyediakan sejumlah tabel contoh yang dapat Anda kueri. Tabel ini terdapat dalam bigquery-public-data:samples dataset. Salah satu tabel tersebut disebut shakespeare.. Tabel ini berisi indeks kata dari karya Shakespeare, yang menunjukkan frekuensi munculnya setiap kata di setiap korpus.

Pada langkah ini, Anda akan membuat kueri tabel Shakespeare.

Catatan: Anda dapat melihat detail tabel Shakespeare di konsol BigQuery di sini.

Pertama, buka editor kode dari sisi kanan atas Cloud Shell:

Buka file Program.cs di dalam folder BigQueryDemo dan ganti kode dengan kode berikut. Pastikan Anda mengganti projectId dengan project ID Anda yang sebenarnya:

using System;
using Google.Cloud.BigQuery.V2;

namespace BigQueryDemo
{
    class Program
    {
        static void Main(string[] args)
        {
            var client = BigQueryClient.Create("projectId");
            var table = client.GetTable("bigquery-public-data", "samples", "shakespeare");
            var sql = $"SELECT corpus AS title, COUNT(word) AS unique_words FROM {table} GROUP BY title ORDER BY unique_words DESC LIMIT 10";

            var results = client.ExecuteQuery(sql, parameters: null);

            foreach (var row in results)
            {
                Console.WriteLine($"{row["title"]}: {row["unique_words"]}");
            }
        }
    }
}

Luangkan waktu satu atau dua menit untuk mempelajari kode dan melihat cara kueri tabel dilakukan.

Kembali di Cloud Shell, jalankan aplikasi:

dotnet run

Anda akan melihat daftar kata dan kemunculannya:

hamlet: 5318
kinghenryv: 5104
cymbeline: 4875
troilusandcressida: 4795
kinglear: 4784
kingrichardiii: 4713
2kinghenryvi: 4683
...

Catatan: Jika kode C# ini tidak berfungsi untuk Anda, verifikasi petunjuk yang Anda lakukan selama langkah Mengautentikasi permintaan API.

Menggunakan perintah berikut untuk memverifikasi nilai variabel lingkungan GOOGLE_APPLICATION_CREDENTIALS:

echo GOOGLE_APPLICATION_CREDENTIALS

Outputnya harus berupa nilai "~/key.json".

Jika ya, periksa apakah akun layanan telah dibuat dan berada di "~/key.json" dengan menggunakan:

cat "~/key.json"

Anda akan melihat sesuatu yang mirip dengan:

{

"type": "service_account",

"project_id": "PROJECT_ID",

"private_key_id": "ff31939192529e07f42e4535fb20bb029def1276",

"Private_key":...

Jika tidak, buka kembali langkah Mengautentikasi permintaan API.

6. Mengkueri set data GitHub

Untuk lebih memahami BigQuery, Anda akan membuat kueri terhadap set data publik GitHub. Anda akan menemukan pesan commit yang paling umum di GitHub. Anda juga akan menggunakan Konsol web BigQuery untuk melihat pratinjau dan menjalankan kueri ad-hoc.

Untuk melihat tampilan data, buka set data GitHub di UI web BigQuery:

https://console.cloud.google.com/bigquery?p=bigquery-public-data&d=github_repos&t=commits&page=table

Dapatkan pratinjau cepat tentang tampilan data, gunakan tombol Pratinjau:

Buka file Program.cs di dalam folder BigQueryDemo dan ganti kode dengan kode berikut. Pastikan Anda mengganti projectId dengan project ID Anda yang sebenarnya:

using System;
using Google.Cloud.BigQuery.V2;

namespace BigQueryDemo
{
    class Program
    {
        static void Main(string[] args)
        {
            var client = BigQueryClient.Create("projectId");
            var table = client.GetTable("bigquery-public-data", "github_repos", "commits");
            
            var sql = $"SELECT subject AS subject, COUNT(*) AS num_duplicates FROM {table} GROUP BY subject ORDER BY num_duplicates DESC LIMIT 10";

            var results = client.ExecuteQuery(sql, parameters: null);

            foreach (var row in results)
            {
                Console.WriteLine($"{row["subject"]}: {row["num_duplicates"]}");
            }
        }
    }
}

Luangkan waktu satu atau dua menit untuk mempelajari kode dan melihat cara kueri tabel untuk pesan commit yang paling umum.

Kembali di Cloud Shell, jalankan aplikasi:

dotnet run

Anda akan melihat daftar pesan commit dan kemunculannya:

Update README.md: 2509242
: 1971725
Initial commit: 1942149
Mirroring from Micro.blog.: 838586
update: 575188
Update data.json: 548651
Update data.js: 548339
Add files via upload: 379941
*** empty log message ***: 358528
Can't you see I'm updating the time?: 286863

7. Caching dan statistik

Setelah kueri awal, BigQuery akan menyimpan hasil dalam cache. Akibatnya, kueri berikutnya memerlukan waktu yang jauh lebih singkat. Anda dapat menonaktifkan penyiapan cache dengan opsi kueri. BigQuery juga melacak beberapa statistik tentang kueri seperti waktu pembuatan, waktu berakhir, total byte yang diproses.

Pada langkah ini, Anda akan menonaktifkan caching dan juga menampilkan beberapa statistik tentang kueri.

Buka file Program.cs di dalam folder BigQueryDemo dan ganti kode dengan kode berikut. Pastikan Anda mengganti projectId dengan project ID Anda yang sebenarnya:

using System;
using Google.Cloud.BigQuery.V2;

namespace BigQueryDemo
{
    class Program
    {
        static void Main(string[] args)
        {
            var client = BigQueryClient.Create("projectId");
            var table = client.GetTable("bigquery-public-data", "github_repos", "commits");
            
            var sql = $"SELECT subject AS subject, COUNT(*) AS num_duplicates FROM {table} GROUP BY subject ORDER BY num_duplicates DESC LIMIT 10";
            var queryOptions = new QueryOptions {
                UseQueryCache = false
            };

            var results = client.ExecuteQuery(sql, parameters: null, queryOptions: queryOptions);

            foreach (var row in results)
            {
                Console.WriteLine($"{row["subject"]}: {row["num_duplicates"]}");
            }

            var job = client.GetJob(results.JobReference);
            var stats = job.Statistics;
            Console.WriteLine("----------");
            Console.WriteLine($"Creation time: {stats.CreationTime}");
            Console.WriteLine($"End time: {stats.EndTime}");
            Console.WriteLine($"Total bytes processed: {stats.TotalBytesProcessed}");
        }
    }
}

Beberapa hal yang perlu diperhatikan tentang kode ini. Pertama, penayangan cache dinonaktifkan dengan memperkenalkan opsi kueri dan menyetel UseQueryCache ke salah (false). Kedua, Anda mengakses statistik tentang kueri dari objek tugas.

Kembali di Cloud Shell, jalankan aplikasi:

dotnet run

Seperti sebelumnya, Anda akan melihat daftar pesan commit dan kemunculannya. Selain itu, Anda juga akan melihat beberapa statistik tentang kueri di bagian akhir

Update README.md: 2509242
: 1971725
Initial commit: 1942149
Mirroring from Micro.blog.: 838586
update: 575188
Update data.json: 548651
Update data.js: 548339
Add files via upload: 379941
*** empty log message ***: 358528
Can't you see I'm updating the time?: 286863
----------
Creation time: 1533052057398
End time: 1533052066961
Total bytes processed: 9944197093

8. Memuat data ke BigQuery

Jika ingin membuat kueri data Anda sendiri, Anda harus memuat data Anda ke BigQuery terlebih dahulu. BigQuery mendukung pemuatan data dari berbagai sumber seperti Google Cloud Storage, layanan Google lainnya, sumber yang dapat dibaca. Anda bahkan dapat melakukan streaming data menggunakan penyisipan streaming. Anda dapat membaca informasi selengkapnya di halaman Memuat Data ke BigQuery.

Pada langkah ini, Anda akan memuat file JSON yang disimpan di Google Cloud Storage ke dalam tabel BigQuery. File JSON terletak di gs://cloud-samples-data/bigquery/us-states/us-states.json

Jika Anda ingin tahu isi file JSON, Anda dapat menggunakan alat command line gsutil untuk mendownloadnya di Cloud Shell:

gsutil cp gs://cloud-samples-data/bigquery/us-states/us-states.json .

Copying gs://cloud-samples-data/bigquery/us-states/us-states.json...
/ [1 files][  2.0 KiB/  2.0 KiB]                                                
Operation completed over 1 objects/2.0 KiB.

Anda dapat melihat bahwa file tersebut berisi daftar negara bagian AS dan setiap negara bagian adalah dokumen JSON pada baris terpisah:

less us-states.json

{"name": "Alabama", "post_abbr": "AL"}
{"name": "Alaska", "post_abbr":  "AK"}
...

Untuk memuat file JSON ini ke BigQuery, buka file Program.cs di dalam folder BigQueryDemo, lalu ganti kode dengan kode berikut. Pastikan Anda mengganti projectId dengan project ID Anda yang sebenarnya:

using System;
using Google.Cloud.BigQuery.V2;

namespace BigQueryDemo
{
    class Program
    {
        static void Main(string[] args)
        {
            var gcsUri = "gs://cloud-samples-data/bigquery/us-states/us-states.json";
            var client = BigQueryClient.Create("projectId");
            var dataset = client.GetOrCreateDataset("us_states_dataset");

            var schema = new TableSchemaBuilder 
            {
                { "name", BigQueryDbType.String },
                { "post_abbr", BigQueryDbType.String }
            }.Build();

            var jobOptions = new CreateLoadJobOptions
            {
                SourceFormat = FileFormat.NewlineDelimitedJson
            };

            var table = dataset.GetTableReference("us_states_table");
            var loadJob = client.CreateLoadJob(gcsUri, table, schema, jobOptions);

            loadJob.PollUntilCompleted();
            loadJob.ThrowOnAnyError();
            Console.WriteLine("Json file loaded to BigQuery");
        }
    }
}

Luangkan waktu sebentar untuk mempelajari cara kode memuat file JSON dan membuat tabel dengan skema dalam set data.

Kembali di Cloud Shell, jalankan aplikasi:

dotnet run

Set data dan tabel dibuat di BigQuery

Json file loaded to BigQuery

Untuk memverifikasi bahwa set data benar-benar dibuat, Anda dapat membuka konsol BigQuery. Anda akan melihat set data baru dan tabel yang dibuat. Jika beralih ke tab pratinjau tabel, Anda dapat melihat data sebenarnya:

9. Selamat!

Anda telah mempelajari cara menggunakan BigQuery menggunakan C#.

Pembersihan

Agar tidak menimbulkan biaya pada akun Google Cloud Platform Anda untuk resource yang digunakan di panduan memulai ini:

• Buka Cloud Platform Console.
• Pilih project yang ingin Anda nonaktifkan, lalu klik 'Hapus' di bagian atas: tindakan ini akan menjadwalkan penghapusan project.

Pelajari Lebih Lanjut

• Google BigQuery: https://cloud.google.com/bigquery/docs/
• C#/.NET di Google Cloud Platform: https://cloud.google.com/dotnet/
• Klien .NET Google Cloud: https://googlecloudplatform.github.io/google-cloud-dotnet/

Lisensi

Karya ini dilisensikan berdasarkan Lisensi Umum Creative Commons Attribution 2.0.