Использование BigQuery с C#

Использование BigQuery с C#

О практической работе

subjectПоследнее обновление: июн. 26, 2023
account_circleАвторы: Mete Atamel

1. Обзор

BigQuery — это полностью управляемое недорогое хранилище аналитических данных Google в петабайтном масштабе. BigQuery — это NoOps: здесь нет инфраструктуры, которой нужно управлять, и вам не нужен администратор базы данных, поэтому вы можете сосредоточиться на анализе данных, чтобы найти значимую информацию, использовать знакомый SQL и воспользоваться преимуществами нашей модели оплаты по мере использования.

В этой лаборатории кода вы будете использовать клиентские библиотеки Google Cloud для .NET для запроса общедоступных наборов данных BigQuery с помощью C#.

Что вы узнаете

  • Как использовать Cloud Shell
  • Как включить API BigQuery
  • Как аутентифицировать запросы API
  • Как установить клиентскую библиотеку Google Cloud для C#
  • Как запросить произведения Шекспира
  • Как запросить набор данных GitHub
  • Как настроить кеширование и отображение статистики

Что вам понадобится

  • Проект облачной платформы Google
  • Браузер, например Chrome или Firefox.
  • Знакомство с C#

Опрос

Как вы будете использовать этот урок?

Как бы вы оценили свой опыт работы с C#?

Как бы вы оценили свой опыт использования сервисов Google Cloud Platform?

2. Настройка и требования

Самостоятельная настройка среды

  1. Войдите в Google Cloud Console и создайте новый проект или повторно используйте существующий. Если у вас еще нет учетной записи Gmail или Google Workspace, вам необходимо ее создать .

295004821bab6a87.png

37d264871000675d.png

96d86d3d5655cdbe.png

  • Имя проекта — это отображаемое имя для участников этого проекта. Это строка символов, не используемая API Google. Вы всегда можете обновить его.
  • Идентификатор проекта уникален для всех проектов Google Cloud и является неизменяемым (нельзя изменить после его установки). Cloud Console автоматически генерирует уникальную строку; обычно тебя не волнует, что это такое. В большинстве лабораторий кода вам потребуется указать идентификатор проекта (обычно идентифицируемый как PROJECT_ID ). Если вам не нравится сгенерированный идентификатор, вы можете создать другой случайный идентификатор. Альтернативно, вы можете попробовать свой собственный и посмотреть, доступен ли он. Его нельзя изменить после этого шага и он сохраняется на протяжении всего проекта.
  • К вашему сведению, есть третье значение — номер проекта , которое используют некоторые API. Подробнее обо всех трех этих значениях читайте в документации .
  1. Далее вам необходимо включить выставление счетов в Cloud Console, чтобы использовать облачные ресурсы/API. Прохождение этой лаборатории кода не будет стоить много, если вообще что-то стоить. Чтобы отключить ресурсы и избежать выставления счетов за пределами этого руководства, вы можете удалить созданные вами ресурсы или удалить проект. Новые пользователи Google Cloud имеют право на участие в программе бесплатной пробной версии стоимостью 300 долларов США .

Запустить Cloud Shell

Хотя Google Cloud можно управлять удаленно с вашего ноутбука, в этой лаборатории вы будете использовать Google Cloud Shell , среду командной строки, работающую в облаке.

Активировать Cloud Shell

  1. В Cloud Console нажмите «Активировать Cloud Shell». d1264ca30785e435.png .

cb81e7c8e34bc8d.png

Если вы запускаете Cloud Shell впервые, вы увидите промежуточный экран с описанием того, что это такое. Если вам был представлен промежуточный экран, нажмите «Продолжить» .

d95252b003979716.png

Подготовка и подключение к Cloud Shell займет всего несколько минут.

7833d5e1c5d18f54.png

Эта виртуальная машина загружена всеми необходимыми инструментами разработки. Он предлагает постоянный домашний каталог объемом 5 ГБ и работает в Google Cloud, что значительно повышает производительность сети и аутентификацию. Большую часть, если не всю, работу в этой лаборатории кода можно выполнить с помощью браузера.

После подключения к Cloud Shell вы увидите, что вы прошли аутентификацию и что для проекта установлен идентификатор вашего проекта.

  1. Выполните следующую команду в Cloud Shell, чтобы подтвердить, что вы прошли аутентификацию:
gcloud auth list

Вывод команды

 Credentialed Accounts
ACTIVE  ACCOUNT
*       <my_account>@<my_domain.com>

To set the active account, run:
    $ gcloud config set account `ACCOUNT`
  1. Выполните следующую команду в Cloud Shell, чтобы убедиться, что команда gcloud знает о вашем проекте:
gcloud config list project

Вывод команды

[core]
project = <PROJECT_ID>

Если это не так, вы можете установить его с помощью этой команды:

gcloud config set project <PROJECT_ID>

Вывод команды

Updated property [core/project].

3. Включите API BigQuery

BigQuery API должен быть включен по умолчанию во всех проектах Google Cloud. Вы можете проверить, так ли это, с помощью следующей команды в Cloud Shell: Вы должны быть в списке BigQuery:

gcloud services list

Вы должны увидеть список BigQuery:

NAME                              TITLE
bigquery
-json.googleapis.com      BigQuery API
...

Если API BigQuery не включен, вы можете использовать следующую команду в Cloud Shell, чтобы включить его:

gcloud services enable bigquery-json.googleapis.com

4. Установите клиентскую библиотеку BigQuery для C#.

Сначала создайте простое консольное приложение C#, которое вы будете использовать для запуска примеров BigQuery API.

dotnet new console -n BigQueryDemo

Вы должны увидеть созданное приложение и разрешенные зависимости:

The template "Console Application" was created successfully.
Processing post-creation actions...
...
Restore succeeded.

Затем перейдите в папку BigQueryDemo :

cd BigQueryDemo

И добавьте в проект пакет Google.Cloud.BigQuery.V2 NuGet:

dotnet add package Google.Cloud.BigQuery.V2
info : Adding PackageReference for package 'Google.Cloud.BigQuery.V2' into project '/home/atameldev/BigQueryDemo/BigQueryDemo.csproj'.
log  
: Restoring packages for /home/atameldev/BigQueryDemo/BigQueryDemo.csproj...
...
info
: PackageReference for package 'Google.Cloud.BigQuery.V2' version '1.2.0' added to file '/home/atameldev/BigQueryDemo/BigQueryDemo.csproj'.

Теперь вы готовы использовать BigQuery API!

5. Запросить произведения Шекспира

Публичный набор данных — это любой набор данных, который хранится в BigQuery и доступен для широкой публики. Существует множество других общедоступных наборов данных, доступных для запроса, некоторые из которых также размещаются в Google, но многие другие размещаются у третьих сторон. Подробнее можно прочитать на странице «Общедоступные наборы данных» .

Помимо общедоступных наборов данных, BigQuery предоставляет ограниченное количество образцов таблиц , к которым вы можете запрашивать. Эти таблицы содержатся в bigquery-public-data:samples dataset . Одна из этих таблиц называется shakespeare. Он содержит словарный указатель произведений Шекспира, показывающий, сколько раз каждое слово встречается в каждом корпусе.

На этом этапе вы запросите таблицу Шекспира.

Сначала откройте редактор кода в правом верхнем углу Cloud Shell:

fd3fc1303e63572.png

Перейдите к файлу Program.cs в папке BigQueryDemo и замените код следующим. Обязательно замените projectId фактическим идентификатором проекта:

using System;
using Google.Cloud.BigQuery.V2;

namespace BigQueryDemo
{
   
class Program
   
{
       
static void Main(string[] args)
       
{
           
var client = BigQueryClient.Create("projectId");
           
var table = client.GetTable("bigquery-public-data", "samples", "shakespeare");
           
var sql = $"SELECT corpus AS title, COUNT(word) AS unique_words FROM {table} GROUP BY title ORDER BY unique_words DESC LIMIT 10";

           
var results = client.ExecuteQuery(sql, parameters: null);

           
foreach (var row in results)
           
{
               
Console.WriteLine($"{row["title"]}: {row["unique_words"]}");
           
}
       
}
   
}
}

Уделите минуту или две, чтобы изучить код и посмотреть, как запрашивается таблица.

Вернувшись в Cloud Shell, запустите приложение:

dotnet run

Вы должны увидеть список слов и их вхождение:

hamlet: 5318
kinghenryv
: 5104
cymbeline
: 4875
troilusandcressida
: 4795
kinglear
: 4784
kingrichardiii
: 4713
2kinghenryvi: 4683
...

6. Запрос набора данных GitHub

Чтобы лучше познакомиться с BigQuery, вы выполните запрос к общедоступному набору данных GitHub . Наиболее распространенные сообщения о коммитах вы найдете на GitHub. Вы также будете использовать веб-консоль BigQuery для предварительного просмотра и выполнения специальных запросов.

Чтобы увидеть, как выглядят данные, откройте набор данных GitHub в веб-интерфейсе BigQuery:

https://console.cloud.google.com/bigquery?p=bigquery-public-data&d=github_repos&t=commits&page=table

Получите быстрый предварительный просмотр того, как выглядят данные, воспользуйтесь кнопкой «Предварительный просмотр»:

f706bfe3dfcbd267.png

Перейдите к файлу Program.cs в папке BigQueryDemo и замените код следующим. Обязательно замените projectId фактическим идентификатором проекта:

using System;
using Google.Cloud.BigQuery.V2;

namespace BigQueryDemo
{
   
class Program
   
{
       
static void Main(string[] args)
       
{
           
var client = BigQueryClient.Create("projectId");
           
var table = client.GetTable("bigquery-public-data", "github_repos", "commits");
           
           
var sql = $"SELECT subject AS subject, COUNT(*) AS num_duplicates FROM {table} GROUP BY subject ORDER BY num_duplicates DESC LIMIT 10";

           
var results = client.ExecuteQuery(sql, parameters: null);

           
foreach (var row in results)
           
{
               
Console.WriteLine($"{row["subject"]}: {row["num_duplicates"]}");
           
}
       
}
   
}
}

Уделите минуту или две, чтобы изучить код и посмотреть, как к таблице запрашиваются наиболее распространенные сообщения о фиксации.

Вернувшись в Cloud Shell, запустите приложение:

dotnet run

Вы должны увидеть список сообщений о фиксации и их появление:

Update README.md: 2509242
: 1971725
Initial commit: 1942149
Mirroring from Micro.blog.: 838586
update
: 575188
Update data.json: 548651
Update data.js: 548339
Add files via upload: 379941
*** empty log message ***: 358528
Can't you see I'm updating the time?: 286863

7. Кэширование и статистика

После первоначального запроса BigQuery кэширует результаты. В результате последующие запросы занимают гораздо меньше времени. Кеширование можно отключить с помощью параметров запроса. BigQuery также отслеживает некоторые статистические данные о запросах, такие как время создания, время окончания, общее количество обработанных байтов.

На этом этапе вы отключите кеширование, а также отобразите некоторую статистику по запросам.

Перейдите к файлу Program.cs в папке BigQueryDemo и замените код следующим. Обязательно замените projectId фактическим идентификатором проекта:

using System;
using Google.Cloud.BigQuery.V2;

namespace BigQueryDemo
{
   
class Program
   
{
       
static void Main(string[] args)
       
{
           
var client = BigQueryClient.Create("projectId");
           
var table = client.GetTable("bigquery-public-data", "github_repos", "commits");
           
           
var sql = $"SELECT subject AS subject, COUNT(*) AS num_duplicates FROM {table} GROUP BY subject ORDER BY num_duplicates DESC LIMIT 10";
           
var queryOptions = new QueryOptions {
               
UseQueryCache = false
           
};

           
var results = client.ExecuteQuery(sql, parameters: null, queryOptions: queryOptions);

           
foreach (var row in results)
           
{
               
Console.WriteLine($"{row["subject"]}: {row["num_duplicates"]}");
           
}

           
var job = client.GetJob(results.JobReference);
           
var stats = job.Statistics;
           
Console.WriteLine("----------");
           
Console.WriteLine($"Creation time: {stats.CreationTime}");
           
Console.WriteLine($"End time: {stats.EndTime}");
           
Console.WriteLine($"Total bytes processed: {stats.TotalBytesProcessed}");
       
}
   
}
}

Несколько замечаний по поводу кода. Во-первых, кэширование отключается путем введения параметров запроса и установки UseQueryCache значения false. Во-вторых, вы получили доступ к статистике запроса из объекта задания.

Вернувшись в Cloud Shell, запустите приложение:

dotnet run

Как и прежде, вы должны увидеть список сообщений о фиксации и их появление. Кроме того, в конце вы также должны увидеть некоторую статистику по запросу.

Update README.md: 2509242
: 1971725
Initial commit: 1942149
Mirroring from Micro.blog.: 838586
update
: 575188
Update data.json: 548651
Update data.js: 548339
Add files via upload: 379941
*** empty log message ***: 358528
Can't you see I'm updating the time?: 286863
----------
Creation time: 1533052057398
End time: 1533052066961
Total bytes processed: 9944197093

8. Загрузка данных в BigQuery

Если вы хотите запросить собственные данные, вам необходимо сначала загрузить их в BigQuery. BigQuery поддерживает загрузку данных из многих источников, таких как Google Cloud Storage, другие сервисы Google и читаемый источник. Вы даже можете осуществлять потоковую передачу данных с помощью потоковых вставок. Подробнее можно прочитать на странице «Загрузка данных в BigQuery» .

На этом этапе вы загрузите файл JSON, хранящийся в Google Cloud Storage, в таблицу BigQuery. Файл JSON находится по gs://cloud-samples-data/bigquery/us-states/us-states.json

Если вам интересно узнать содержимое файла JSON, вы можете использовать инструмент командной строки gsutil , чтобы загрузить его в Cloud Shell:

gsutil cp gs://cloud-samples-data/bigquery/us-states/us-states.json .
Copying gs://cloud-samples-data/bigquery/us-states/us-states.json...
/ [1 files][  2.0 KiB/  2.0 KiB]                                                
Operation completed over 1 objects/2.0 KiB.

Вы можете видеть, что он содержит список штатов США, и каждый штат представляет собой документ JSON в отдельной строке:

less us-states.json
{"name": "Alabama", "post_abbr": "AL"}
{"name": "Alaska", "post_abbr":  "AK"}
...

Чтобы загрузить этот файл JSON в BigQuery, перейдите к файлу Program.cs в папке BigQueryDemo и замените код следующим. Обязательно замените projectId фактическим идентификатором проекта:

using System;
using Google.Cloud.BigQuery.V2;

namespace BigQueryDemo
{
   
class Program
   
{
       
static void Main(string[] args)
       
{
           
var gcsUri = "gs://cloud-samples-data/bigquery/us-states/us-states.json";
           
var client = BigQueryClient.Create("projectId");
           
var dataset = client.GetOrCreateDataset("us_states_dataset");

           
var schema = new TableSchemaBuilder
           
{
               
{ "name", BigQueryDbType.String },
               
{ "post_abbr", BigQueryDbType.String }
           
}.Build();

           
var jobOptions = new CreateLoadJobOptions
           
{
               
SourceFormat = FileFormat.NewlineDelimitedJson
           
};

           
var table = dataset.GetTableReference("us_states_table");
           
var loadJob = client.CreateLoadJob(gcsUri, table, schema, jobOptions);

            loadJob
.PollUntilCompleted();
            loadJob
.ThrowOnAnyError();
           
Console.WriteLine("Json file loaded to BigQuery");
       
}
   
}
}

Уделите минуту-две, чтобы изучить, как код загружает файл JSON и создает таблицу со схемой в наборе данных.

Вернувшись в Cloud Shell, запустите приложение:

dotnet run

Набор данных и таблица создаются в BigQuery.

Json file loaded to BigQuery

Чтобы убедиться, что набор данных действительно создан, вы можете перейти в консоль BigQuery. Вы должны увидеть новый набор данных и созданную таблицу. Если переключиться на вкладку предварительного просмотра таблицы, то можно увидеть актуальные данные:

7d9f7c493acbbf9a.png

9. Поздравляем!

Вы узнали, как использовать BigQuery с помощью C#!

Очистить

Чтобы избежать списания средств с вашей учетной записи Google Cloud Platform за ресурсы, используемые в этом кратком руководстве:

  • Перейдите в консоль облачной платформы .
  • Выберите проект, который хотите закрыть, затем нажмите «Удалить» вверху: это запланирует удаление проекта.

Узнать больше

Лицензия

Эта работа распространяется под лицензией Creative Commons Attribution 2.0 Generic License.