Sử dụng BigQuery với C#

Sử dụng BigQuery với C#

Thông tin về lớp học lập trình này

subjectLần cập nhật gần đây nhất: thg 6 26, 2023
account_circleTác giả: Mete Atamel

1. Tổng quan

BigQuery là kho dữ liệu phân tích cỡ petabyte và chi phí thấp do Google quản lý hoàn toàn. BigQuery là NoOps – không có cơ sở hạ tầng để quản lý và bạn không cần quản trị viên cơ sở dữ liệu – vì vậy, bạn có thể tập trung vào việc phân tích dữ liệu để tìm thông tin chi tiết có ý nghĩa, sử dụng SQL quen thuộc và tận dụng mô hình trả tiền theo mức dùng của chúng tôi.

Trong lớp học lập trình này, bạn sẽ sử dụng Thư viện ứng dụng Google Cloud dành cho .NET để truy vấn tập dữ liệu công khai BigQuery bằng C#.

Kiến thức bạn sẽ học được

  • Cách sử dụng Cloud Shell
  • Cách bật BigQuery API
  • Cách xác thực yêu cầu API
  • Cách cài đặt thư viện ứng dụng Google Cloud cho C#
  • Cách truy vấn các tác phẩm của Shakespeare
  • Cách truy vấn tập dữ liệu GitHub
  • Cách điều chỉnh việc lưu vào bộ nhớ đệm và thống kê hiển thị

Bạn cần có

  • Một dự án trên Google Cloud Platform
  • Một trình duyệt, chẳng hạn như Chrome hoặc Firefox
  • Quen thuộc với C#

Khảo sát

Bạn sẽ sử dụng hướng dẫn này như thế nào?

Bạn đánh giá trải nghiệm sử dụng C# như thế nào?

Bạn đánh giá trải nghiệm sử dụng các dịch vụ của Google Cloud Platform như thế nào?

2. Thiết lập và yêu cầu

Thiết lập môi trường theo tiến độ riêng

  1. Đăng nhập vào Google Cloud Console rồi tạo dự án mới hoặc sử dụng lại dự án hiện có. Nếu chưa có tài khoản Gmail hoặc Google Workspace, bạn phải tạo một tài khoản.

295004821bab6a87.pngS

37d264871000675d.png.

96d86d3d5655cdbe.png.

  • Tên dự án là tên hiển thị của những người tham gia dự án này. Đây là một chuỗi ký tự không được API của Google sử dụng. Bạn luôn có thể cập nhật ứng dụng.
  • Mã dự án là duy nhất trong tất cả các dự án Google Cloud và không thể thay đổi (không thể thay đổi sau khi đã đặt). Cloud Console sẽ tự động tạo một chuỗi duy nhất; thường bạn không quan tâm đến sản phẩm đó là gì. Trong hầu hết các lớp học lập trình, bạn sẽ cần tham khảo Mã dự án của mình (thường được xác định là PROJECT_ID). Nếu không thích mã đã tạo, bạn có thể tạo một mã nhận dạng ngẫu nhiên khác. Ngoài ra, bạn có thể thử cách riêng của mình để xem có thể sử dụng hay không. Bạn không thể thay đổi mã này sau bước này và mã vẫn giữ nguyên trong thời gian dự án.
  • Đối với thông tin của bạn, có giá trị thứ ba, Project Number (Số dự án), mà một số API sử dụng. Tìm hiểu thêm về cả ba giá trị này trong tài liệu này.
  1. Tiếp theo, bạn sẽ phải bật tính năng thanh toán trong Cloud Console để sử dụng API/tài nguyên trên đám mây. Việc chạy qua lớp học lập trình này sẽ không tốn nhiều chi phí. Để tắt các tài nguyên nhằm tránh phát sinh việc thanh toán ngoài hướng dẫn này, bạn có thể xoá các tài nguyên bạn đã tạo hoặc xoá dự án. Người dùng mới của Google Cloud đủ điều kiện tham gia chương trình Dùng thử miễn phí 300 USD.

Khởi động Cloud Shell

Mặc dù bạn có thể vận hành Google Cloud từ xa trên máy tính xách tay, nhưng trong lớp học lập trình này, bạn sẽ sử dụng Google Cloud Shell, một môi trường dòng lệnh chạy trong Đám mây.

Kích hoạt Cloud Shell

  1. Trong Cloud Console, hãy nhấp vào Kích hoạt Cloud Shell d1264ca30785e435.png.

cb81e7c8e34bc8d.png

Nếu đây là lần đầu tiên khởi động Cloud Shell, bạn sẽ thấy một màn hình trung gian mô tả về Cloud Shell. Nếu bạn nhìn thấy màn hình trung gian, hãy nhấp vào Tiếp tục.

d95252b003979716.png

Quá trình cấp phép và kết nối với Cloud Shell chỉ mất vài phút.

7833d5e1c5d18f54.pngS

Máy ảo này được tải tất cả các công cụ phát triển cần thiết. Dịch vụ này cung cấp thư mục gốc có dung lượng ổn định 5 GB và chạy trên Google Cloud, giúp nâng cao đáng kể hiệu suất và khả năng xác thực của mạng. Nhiều (nếu không nói là) tất cả công việc của bạn trong lớp học lập trình này đều có thể thực hiện bằng trình duyệt.

Sau khi kết nối với Cloud Shell, bạn sẽ thấy mình đã được xác thực và dự án được đặt thành mã dự án.

  1. Chạy lệnh sau trong Cloud Shell để xác nhận rằng bạn đã được xác thực:
gcloud auth list

Kết quả lệnh

 Credentialed Accounts
ACTIVE  ACCOUNT
*       <my_account>@<my_domain.com>

To set the active account, run:
    $ gcloud config set account `ACCOUNT`
  1. Chạy lệnh sau trong Cloud Shell để xác nhận rằng lệnh gcloud biết về dự án của bạn:
gcloud config list project

Kết quả lệnh

[core]
project = <PROJECT_ID>

Nếu chưa, bạn có thể thiết lập chế độ này bằng lệnh sau:

gcloud config set project <PROJECT_ID>

Kết quả lệnh

Updated property [core/project].

3. Bật BigQuery API

BigQuery API phải được bật theo mặc định trong tất cả dự án trên Google Cloud. Bạn có thể kiểm tra xem điều này có đúng hay không bằng lệnh sau trong Cloud Shell: Bạn phải là BigQuery được liệt kê:

gcloud services list

Bạn sẽ thấy BigQuery được liệt kê:

NAME                              TITLE
bigquery
-json.googleapis.com      BigQuery API
...

Trong trường hợp chưa bật BigQuery API, bạn có thể sử dụng lệnh sau trong Cloud Shell để bật:

gcloud services enable bigquery-json.googleapis.com

4. Cài đặt thư viện ứng dụng BigQuery cho C#

Trước tiên, hãy tạo một ứng dụng bảng điều khiển C# đơn giản mà bạn sẽ dùng để chạy mẫu BigQuery API.

dotnet new console -n BigQueryDemo

Bạn sẽ thấy ứng dụng được tạo và các phần phụ thuộc được giải quyết:

The template "Console Application" was created successfully.
Processing post-creation actions...
...
Restore succeeded.

Tiếp theo, hãy chuyển đến thư mục BigQueryDemo:

cd BigQueryDemo

Và thêm gói Google.Cloud.BigQuery.V2 NuGet vào dự án:

dotnet add package Google.Cloud.BigQuery.V2
info : Adding PackageReference for package 'Google.Cloud.BigQuery.V2' into project '/home/atameldev/BigQueryDemo/BigQueryDemo.csproj'.
log  
: Restoring packages for /home/atameldev/BigQueryDemo/BigQueryDemo.csproj...
...
info
: PackageReference for package 'Google.Cloud.BigQuery.V2' version '1.2.0' added to file '/home/atameldev/BigQueryDemo/BigQueryDemo.csproj'.

Bây giờ, bạn đã sẵn sàng sử dụng BigQuery API!

5. Truy vấn các tác phẩm của Shakespeare

Tập dữ liệu công khai là bất kỳ tập dữ liệu nào được lưu trữ trong BigQuery và được cung cấp cho công chúng. Có nhiều tập dữ liệu công khai khác có sẵn để bạn truy vấn, một số tập dữ liệu này cũng được Google lưu trữ, nhưng nhiều tập dữ liệu khác được các bên thứ ba lưu trữ. Bạn có thể đọc thêm trên trang Tập dữ liệu công khai.

Ngoài các tập dữ liệu công khai, BigQuery còn cung cấp một số lượng bảng mẫu hạn chế để bạn có thể truy vấn. Các bảng này có trong bigquery-public-data:samples dataset. Một trong những bảng đó có tên là shakespeare.. Bảng này chứa chỉ mục từ của các tác phẩm của Shakespeare, cho biết số lần mỗi từ xuất hiện trong mỗi tập sao lục.

Ở bước này, bạn sẽ truy vấn bảng Shakespeare.

Trước tiên, hãy mở trình soạn thảo mã từ trên cùng bên phải của Cloud Shell:

fd3fc1303e63572.png

Chuyển đến tệp Program.cs bên trong thư mục BigQueryDemo rồi thay thế mã bằng đoạn mã sau. Hãy nhớ thay thế projectId bằng mã dự án thực tế của bạn:

using System;
using Google.Cloud.BigQuery.V2;

namespace BigQueryDemo
{
   
class Program
   
{
       
static void Main(string[] args)
       
{
           
var client = BigQueryClient.Create("projectId");
           
var table = client.GetTable("bigquery-public-data", "samples", "shakespeare");
           
var sql = $"SELECT corpus AS title, COUNT(word) AS unique_words FROM {table} GROUP BY title ORDER BY unique_words DESC LIMIT 10";

           
var results = client.ExecuteQuery(sql, parameters: null);

           
foreach (var row in results)
           
{
               
Console.WriteLine($"{row["title"]}: {row["unique_words"]}");
           
}
       
}
   
}
}

Hãy dành một hoặc hai phút để nghiên cứu mã và xem cách bảng đang được truy vấn.

Quay lại Cloud Shell, chạy ứng dụng:

dotnet run

Bạn sẽ thấy danh sách các từ và số lần xuất hiện của các từ đó:

hamlet: 5318
kinghenryv
: 5104
cymbeline
: 4875
troilusandcressida
: 4795
kinglear
: 4784
kingrichardiii
: 4713
2kinghenryvi: 4683
...

6. Truy vấn tập dữ liệu GitHub

Để làm quen với BigQuery, bây giờ bạn sẽ đưa ra một truy vấn dựa trên tập dữ liệu công khai GitHub. Bạn sẽ tìm thấy những thông báo cam kết phổ biến nhất trên GitHub. Bạn cũng sẽ sử dụng Bảng điều khiển web của BigQuery để xem trước và chạy các truy vấn đặc biệt.

Để xem dữ liệu trông như thế nào, hãy mở tập dữ liệu GitHub trong giao diện người dùng web BigQuery:

https://console.cloud.google.com/bigquery?p=bigquery-public-data&amp;d=github_repos&amp;t=commits&amp;page=table

Xem trước nhanh dữ liệu, hãy sử dụng nút Xem trước:

f706bfe3dfcbd267.png

Chuyển đến tệp Program.cs bên trong thư mục BigQueryDemo rồi thay thế mã bằng đoạn mã sau. Hãy nhớ thay thế projectId bằng mã dự án thực tế của bạn:

using System;
using Google.Cloud.BigQuery.V2;

namespace BigQueryDemo
{
   
class Program
   
{
       
static void Main(string[] args)
       
{
           
var client = BigQueryClient.Create("projectId");
           
var table = client.GetTable("bigquery-public-data", "github_repos", "commits");
           
           
var sql = $"SELECT subject AS subject, COUNT(*) AS num_duplicates FROM {table} GROUP BY subject ORDER BY num_duplicates DESC LIMIT 10";

           
var results = client.ExecuteQuery(sql, parameters: null);

           
foreach (var row in results)
           
{
               
Console.WriteLine($"{row["subject"]}: {row["num_duplicates"]}");
           
}
       
}
   
}
}

Hãy dành vài phút để nghiên cứu mã và xem cách bảng đang được truy vấn cho các thông báo xác nhận phổ biến nhất.

Quay lại Cloud Shell, chạy ứng dụng:

dotnet run

Bạn sẽ thấy danh sách thông báo cam kết và số lần xuất hiện của các thông báo đó:

Update README.md: 2509242
: 1971725
Initial commit: 1942149
Mirroring from Micro.blog.: 838586
update
: 575188
Update data.json: 548651
Update data.js: 548339
Add files via upload: 379941
*** empty log message ***: 358528
Can't you see I'm updating the time?: 286863

7. Lưu vào bộ nhớ đệm và số liệu thống kê

Sau truy vấn ban đầu, BigQuery sẽ lưu kết quả vào bộ nhớ đệm. Do đó, các truy vấn tiếp theo mất ít thời gian hơn nhiều. Bạn có thể tắt tính năng lưu vào bộ nhớ đệm bằng các tuỳ chọn truy vấn. BigQuery cũng theo dõi một số số liệu thống kê về truy vấn như thời gian tạo, thời gian kết thúc, tổng số byte được xử lý.

Trong bước này, bạn sẽ vô hiệu hoá chức năng lưu vào bộ nhớ đệm và cũng hiển thị một vài số liệu thống kê về truy vấn.

Chuyển đến tệp Program.cs bên trong thư mục BigQueryDemo rồi thay thế mã bằng đoạn mã sau. Hãy nhớ thay thế projectId bằng mã dự án thực tế của bạn:

using System;
using Google.Cloud.BigQuery.V2;

namespace BigQueryDemo
{
   
class Program
   
{
       
static void Main(string[] args)
       
{
           
var client = BigQueryClient.Create("projectId");
           
var table = client.GetTable("bigquery-public-data", "github_repos", "commits");
           
           
var sql = $"SELECT subject AS subject, COUNT(*) AS num_duplicates FROM {table} GROUP BY subject ORDER BY num_duplicates DESC LIMIT 10";
           
var queryOptions = new QueryOptions {
               
UseQueryCache = false
           
};

           
var results = client.ExecuteQuery(sql, parameters: null, queryOptions: queryOptions);

           
foreach (var row in results)
           
{
               
Console.WriteLine($"{row["subject"]}: {row["num_duplicates"]}");
           
}

           
var job = client.GetJob(results.JobReference);
           
var stats = job.Statistics;
           
Console.WriteLine("----------");
           
Console.WriteLine($"Creation time: {stats.CreationTime}");
           
Console.WriteLine($"End time: {stats.EndTime}");
           
Console.WriteLine($"Total bytes processed: {stats.TotalBytesProcessed}");
       
}
   
}
}

Một số điều cần lưu ý về mã. Trước tiên, tính năng lưu vào bộ nhớ đệm sẽ bị tắt bằng cách đưa ra các tuỳ chọn truy vấn và đặt UseQueryCache thành false. Thứ hai, bạn đã truy cập vào số liệu thống kê về truy vấn từ đối tượng công việc.

Quay lại Cloud Shell, chạy ứng dụng:

dotnet run

Giống như trước đó, bạn sẽ thấy danh sách các thông báo cam kết và số lần xuất hiện của các thông báo đó. Ngoài ra, bạn cũng sẽ thấy một số thống kê về truy vấn

Update README.md: 2509242
: 1971725
Initial commit: 1942149
Mirroring from Micro.blog.: 838586
update
: 575188
Update data.json: 548651
Update data.js: 548339
Add files via upload: 379941
*** empty log message ***: 358528
Can't you see I'm updating the time?: 286863
----------
Creation time: 1533052057398
End time: 1533052066961
Total bytes processed: 9944197093

8. Đang tải dữ liệu vào BigQuery

Nếu muốn truy vấn dữ liệu của riêng mình, trước tiên, bạn cần tải dữ liệu đó vào BigQuery. BigQuery hỗ trợ tải dữ liệu từ nhiều nguồn như Google Cloud Storage, các dịch vụ khác của Google, một nguồn dễ đọc. Bạn thậm chí có thể truyền trực tuyến dữ liệu của mình bằng cách sử dụng các phương thức truyền trực tuyến. Bạn có thể đọc thêm trên trang Tải dữ liệu vào BigQuery.

Ở bước này, bạn sẽ tải tệp JSON được lưu trữ trên Google Cloud Storage vào bảng BigQuery. Tệp JSON nằm tại gs://cloud-samples-data/bigquery/us-states/us-states.json

Nếu muốn biết nội dung của tệp JSON, bạn có thể sử dụng công cụ dòng lệnh gsutil để tải tệp này xuống trong Cloud Shell:

gsutil cp gs://cloud-samples-data/bigquery/us-states/us-states.json .
Copying gs://cloud-samples-data/bigquery/us-states/us-states.json...
/ [1 files][  2.0 KiB/  2.0 KiB]                                                
Operation completed over 1 objects/2.0 KiB.

Bạn có thể thấy tệp này chứa danh sách các tiểu bang của Hoa Kỳ và mỗi tiểu bang là một tài liệu JSON trên một dòng riêng:

less us-states.json
{"name": "Alabama", "post_abbr": "AL"}
{"name": "Alaska", "post_abbr":  "AK"}
...

Để tải tệp JSON này vào BigQuery, hãy chuyển đến tệp Program.cs bên trong thư mục BigQueryDemo rồi thay thế mã bằng đoạn mã sau. Hãy nhớ thay thế projectId bằng mã dự án thực tế của bạn:

using System;
using Google.Cloud.BigQuery.V2;

namespace BigQueryDemo
{
   
class Program
   
{
       
static void Main(string[] args)
       
{
           
var gcsUri = "gs://cloud-samples-data/bigquery/us-states/us-states.json";
           
var client = BigQueryClient.Create("projectId");
           
var dataset = client.GetOrCreateDataset("us_states_dataset");

           
var schema = new TableSchemaBuilder
           
{
               
{ "name", BigQueryDbType.String },
               
{ "post_abbr", BigQueryDbType.String }
           
}.Build();

           
var jobOptions = new CreateLoadJobOptions
           
{
               
SourceFormat = FileFormat.NewlineDelimitedJson
           
};

           
var table = dataset.GetTableReference("us_states_table");
           
var loadJob = client.CreateLoadJob(gcsUri, table, schema, jobOptions);

            loadJob
.PollUntilCompleted();
            loadJob
.ThrowOnAnyError();
           
Console.WriteLine("Json file loaded to BigQuery");
       
}
   
}
}

Hãy dành 2 phút để tìm hiểu cách mã tải tệp JSON và tạo bảng có giản đồ trong tập dữ liệu.

Quay lại Cloud Shell, chạy ứng dụng:

dotnet run

Một tập dữ liệu và một bảng sẽ được tạo trong BigQuery

Json file loaded to BigQuery

Để xác minh rằng tập dữ liệu đã thực sự được tạo, bạn có thể chuyển đến bảng điều khiển BigQuery. Bạn sẽ thấy một tập dữ liệu và một bảng mới được tạo. Nếu chuyển sang thẻ xem trước của bảng, bạn có thể xem dữ liệu thực tế:

7d9f7c493acbbf9a.png.

9. Xin chúc mừng!

Bạn đã tìm hiểu cách sử dụng BigQuery bằng C#!

Dọn dẹp

Để tránh bị tính phí vào tài khoản Google Cloud Platform cho các tài nguyên được sử dụng trong hướng dẫn bắt đầu nhanh này, hãy làm như sau:

Tìm hiểu thêm

Giấy phép

Tác phẩm này được cấp phép theo Giấy phép chung Ghi nhận tác giả Creative Commons 2.0.