1. Обзор
BigQuery — это полностью управляемое, масштабируемое до петабайтов и недорогое хранилище аналитических данных от Google. BigQuery не требует управления инфраструктурой и не нуждается в администраторе базы данных, поэтому вы можете сосредоточиться на анализе данных для получения ценных выводов, использовать привычный SQL и воспользоваться преимуществами модели оплаты по мере использования.
В этом практическом занятии вы будете использовать клиентские библиотеки Google Cloud для .NET для выполнения запросов к общедоступным наборам данных BigQuery с помощью C#.
Что вы узнаете
- Как использовать Cloud Shell
- Как включить API BigQuery
- Как аутентифицировать запросы API
- Как установить клиентскую библиотеку Google Cloud для C#
- Как задавать вопросы по поводу произведений Шекспира
- Как выполнить запрос к набору данных GitHub
- Как настроить кэширование и отображение статистики
Что вам понадобится
Опрос
Как вы будете использовать этот учебный материал?
Как бы вы оценили свой опыт работы с C#?
Как бы вы оценили свой опыт использования сервисов Google Cloud Platform?
2. Настройка и требования
Настройка среды для самостоятельного обучения
- Войдите в консоль Google Cloud и создайте новый проект или используйте существующий. Если у вас еще нет учетной записи Gmail или Google Workspace, вам необходимо ее создать .
- Название проекта — это отображаемое имя участников данного проекта. Это строка символов, не используемая API Google. Вы всегда можете его изменить.
- Идентификатор проекта уникален для всех проектов Google Cloud и является неизменяемым (его нельзя изменить после установки). Консоль Cloud автоматически генерирует уникальную строку; обычно вам неважно, какая она. В большинстве практических заданий вам потребуется указать идентификатор вашего проекта (обычно обозначается как
PROJECT_ID). Если сгенерированный идентификатор вас не устраивает, вы можете сгенерировать другой случайный идентификатор. В качестве альтернативы вы можете попробовать свой собственный и посмотреть, доступен ли он. После этого шага его нельзя изменить, и он сохраняется на протяжении всего проекта. - К вашему сведению, существует третье значение — номер проекта , которое используется некоторыми API. Подробнее обо всех трех значениях можно узнать в документации .
- Далее вам потребуется включить оплату в консоли Cloud для использования ресурсов/API Cloud. Выполнение этого практического задания не потребует больших затрат, если вообще потребует. Чтобы отключить ресурсы и избежать дополнительных расходов после завершения этого урока, вы можете удалить созданные ресурсы или удалить проект. Новые пользователи Google Cloud имеют право на бесплатную пробную версию стоимостью 300 долларов США .
Запустить Cloud Shell
Хотя Google Cloud можно управлять удаленно с ноутбука, в этом практическом занятии вы будете использовать Google Cloud Shell — среду командной строки, работающую в облаке.
Активировать Cloud Shell
- В консоли Cloud нажмите «Активировать Cloud Shell» .
.
Если вы запускаете Cloud Shell впервые, вам будет показан промежуточный экран с описанием его возможностей. Если вам был показан промежуточный экран, нажмите «Продолжить» .
Подготовка и подключение к Cloud Shell займут всего несколько минут.
Эта виртуальная машина оснащена всеми необходимыми инструментами разработки. Она предоставляет постоянный домашний каталог объемом 5 ГБ и работает в облаке Google, что значительно повышает производительность сети и аутентификацию. Большая часть, если не вся, ваша работа в этом практическом задании может быть выполнена с помощью браузера.
После подключения к Cloud Shell вы увидите, что прошли аутентификацию и что проект настроен на ваш идентификатор проекта.
- Выполните следующую команду в Cloud Shell, чтобы подтвердить свою аутентификацию:
gcloud auth list
вывод команды
Credentialed Accounts
ACTIVE ACCOUNT
* <my_account>@<my_domain.com>
To set the active account, run:
$ gcloud config set account `ACCOUNT`
- Выполните следующую команду в Cloud Shell, чтобы убедиться, что команда gcloud знает о вашем проекте:
gcloud config list project
вывод команды
[core] project = <PROJECT_ID>
Если это не так, вы можете установить это с помощью следующей команды:
gcloud config set project <PROJECT_ID>
вывод команды
Updated property [core/project].
3. Включите API BigQuery.
API BigQuery должен быть включен по умолчанию во всех проектах Google Cloud. Проверить это можно с помощью следующей команды в Cloud Shell: Ваш проект должен отображаться в списке проектов BigQuery:
gcloud services list
В списке должен отображаться BigQuery:
NAME TITLE
bigquery-json.googleapis.com BigQuery API
...
Если API BigQuery не включен, вы можете включить его с помощью следующей команды в Cloud Shell:
gcloud services enable bigquery-json.googleapis.com
4. Установите клиентскую библиотеку BigQuery для C#.
Для начала создайте простое консольное приложение на C#, которое вы будете использовать для запуска примеров использования API BigQuery.
dotnet new console -n BigQueryDemo
Вы должны увидеть, что приложение создано и зависимости разрешены:
The template "Console Application" was created successfully.
Processing post-creation actions...
...
Restore succeeded.
Далее перейдите в папку BigQueryDemo :
cd BigQueryDemo
И добавьте в проект пакет NuGet Google.Cloud.BigQuery.V2 :
dotnet add package Google.Cloud.BigQuery.V2
info : Adding PackageReference for package 'Google.Cloud.BigQuery.V2' into project '/home/atameldev/BigQueryDemo/BigQueryDemo.csproj'.
log : Restoring packages for /home/atameldev/BigQueryDemo/BigQueryDemo.csproj...
...
info : PackageReference for package 'Google.Cloud.BigQuery.V2' version '1.2.0' added to file '/home/atameldev/BigQueryDemo/BigQueryDemo.csproj'.
Теперь вы готовы использовать API BigQuery!
5. Проанализируйте произведения Шекспира.
Общедоступный набор данных — это любой набор данных, хранящийся в BigQuery и доступный для широкой публики. Существует множество других общедоступных наборов данных, к которым вы можете обращаться с запросами, некоторые из которых также размещены Google, но гораздо больше тех, которые размещены сторонними организациями. Подробнее можно узнать на странице «Общедоступные наборы данных» .
Помимо общедоступных наборов данных, BigQuery предоставляет ограниченное количество примеров таблиц , к которым можно обращаться с запросами. Эти таблицы содержатся в bigquery-public-data:samples dataset . Одна из этих таблиц называется shakespeare. Она содержит указатель слов в произведениях Шекспира, показывающий количество раз, когда каждое слово встречается в каждом корпусе.
На этом этапе вы выполните запрос к таблице Шекспира.
Сначала откройте редактор кода в правом верхнем углу Cloud Shell:
Перейдите к файлу Program.cs в папке BigQueryDemo и замените код следующим. Убедитесь, что вы заменили projectId на фактический идентификатор вашего проекта:
using System;
using Google.Cloud.BigQuery.V2;
namespace BigQueryDemo
{
class Program
{
static void Main(string[] args)
{
var client = BigQueryClient.Create("projectId");
var table = client.GetTable("bigquery-public-data", "samples", "shakespeare");
var sql = $"SELECT corpus AS title, COUNT(word) AS unique_words FROM {table} GROUP BY title ORDER BY unique_words DESC LIMIT 10";
var results = client.ExecuteQuery(sql, parameters: null);
foreach (var row in results)
{
Console.WriteLine($"{row["title"]}: {row["unique_words"]}");
}
}
}
}
Уделите минуту-две изучению кода и посмотрите, как выполняется запрос к таблице.
Вернувшись в Cloud Shell, запустите приложение:
dotnet run
Вы должны увидеть список слов и количество их вхождений:
hamlet: 5318
kinghenryv: 5104
cymbeline: 4875
troilusandcressida: 4795
kinglear: 4784
kingrichardiii: 4713
2kinghenryvi: 4683
...
6. Выполните запрос к набору данных GitHub.
Чтобы лучше познакомиться с BigQuery, вы выполните запрос к общедоступному набору данных GitHub . Вы найдете наиболее часто встречающиеся сообщения коммитов на GitHub. Вы также будете использовать веб-консоль BigQuery для предварительного просмотра и выполнения запросов по мере необходимости.
Чтобы увидеть, как выглядят данные, откройте набор данных GitHub в веб-интерфейсе BigQuery:
https://console.cloud.google.com/bigquery?p=bigquery-public-data&d=github_repos&t=commits&page=table
Чтобы быстро просмотреть данные, воспользуйтесь кнопкой «Предварительный просмотр»:
Перейдите к файлу Program.cs в папке BigQueryDemo и замените код следующим. Убедитесь, что вы заменили projectId на фактический идентификатор вашего проекта:
using System;
using Google.Cloud.BigQuery.V2;
namespace BigQueryDemo
{
class Program
{
static void Main(string[] args)
{
var client = BigQueryClient.Create("projectId");
var table = client.GetTable("bigquery-public-data", "github_repos", "commits");
var sql = $"SELECT subject AS subject, COUNT(*) AS num_duplicates FROM {table} GROUP BY subject ORDER BY num_duplicates DESC LIMIT 10";
var results = client.ExecuteQuery(sql, parameters: null);
foreach (var row in results)
{
Console.WriteLine($"{row["subject"]}: {row["num_duplicates"]}");
}
}
}
}
Уделите минуту-две изучению кода и посмотрите, как выполняется запрос к таблице для получения наиболее часто встречающихся сообщений коммитов.
Вернувшись в Cloud Shell, запустите приложение:
dotnet run
Вы должны увидеть список сообщений коммитов и их количество:
Update README.md: 2509242
: 1971725
Initial commit: 1942149
Mirroring from Micro.blog.: 838586
update: 575188
Update data.json: 548651
Update data.js: 548339
Add files via upload: 379941
*** empty log message ***: 358528
Can't you see I'm updating the time?: 286863
7. Кэширование и статистика
После выполнения первого запроса BigQuery кэширует результаты. В результате последующие запросы выполняются значительно быстрее. Кэширование можно отключить с помощью параметров запроса. BigQuery также отслеживает некоторую статистику по запросам, такую как время создания, время завершения и общее количество обработанных байтов.
На этом этапе вы отключите кэширование, а также отобразите некоторую статистику по запросам.
Перейдите к файлу Program.cs в папке BigQueryDemo и замените код следующим. Убедитесь, что вы заменили projectId на фактический идентификатор вашего проекта:
using System;
using Google.Cloud.BigQuery.V2;
namespace BigQueryDemo
{
class Program
{
static void Main(string[] args)
{
var client = BigQueryClient.Create("projectId");
var table = client.GetTable("bigquery-public-data", "github_repos", "commits");
var sql = $"SELECT subject AS subject, COUNT(*) AS num_duplicates FROM {table} GROUP BY subject ORDER BY num_duplicates DESC LIMIT 10";
var queryOptions = new QueryOptions {
UseQueryCache = false
};
var results = client.ExecuteQuery(sql, parameters: null, queryOptions: queryOptions);
foreach (var row in results)
{
Console.WriteLine($"{row["subject"]}: {row["num_duplicates"]}");
}
var job = client.GetJob(results.JobReference);
var stats = job.Statistics;
Console.WriteLine("----------");
Console.WriteLine($"Creation time: {stats.CreationTime}");
Console.WriteLine($"End time: {stats.EndTime}");
Console.WriteLine($"Total bytes processed: {stats.TotalBytesProcessed}");
}
}
}
Несколько замечаний по поводу кода. Во-первых, кэширование отключено путем добавления параметров запроса и установки UseQueryCache в значение false. Во-вторых, вы получили доступ к статистике запроса из объекта задания.
Вернувшись в Cloud Shell, запустите приложение:
dotnet run
Как и прежде, вы должны увидеть список сообщений коммитов и количество их вхождений. Кроме того, в конце вы также должны увидеть некоторую статистику по запросу.
Update README.md: 2509242
: 1971725
Initial commit: 1942149
Mirroring from Micro.blog.: 838586
update: 575188
Update data.json: 548651
Update data.js: 548339
Add files via upload: 379941
*** empty log message ***: 358528
Can't you see I'm updating the time?: 286863
----------
Creation time: 1533052057398
End time: 1533052066961
Total bytes processed: 9944197093
8. Загрузка данных в BigQuery
Если вы хотите выполнять запросы к собственным данным, вам сначала необходимо загрузить их в BigQuery. BigQuery поддерживает загрузку данных из множества источников, таких как Google Cloud Storage, другие сервисы Google, а также из читаемых источников. Вы даже можете передавать данные потоком, используя функцию потоковой вставки. Подробнее об этом можно прочитать на странице «Загрузка данных в BigQuery» .
На этом шаге вы загрузите JSON-файл, хранящийся в Google Cloud Storage, в таблицу BigQuery. JSON-файл находится по адресу gs://cloud-samples-data/bigquery/us-states/us-states.json
Если вам интересно содержимое JSON-файла, вы можете использовать инструмент командной строки gsutil для его загрузки в Cloud Shell:
gsutil cp gs://cloud-samples-data/bigquery/us-states/us-states.json .
Copying gs://cloud-samples-data/bigquery/us-states/us-states.json...
/ [1 files][ 2.0 KiB/ 2.0 KiB]
Operation completed over 1 objects/2.0 KiB.
Как видите, здесь представлен список штатов США, и каждый штат представляет собой JSON-документ на отдельной строке:
less us-states.json
{"name": "Alabama", "post_abbr": "AL"}
{"name": "Alaska", "post_abbr": "AK"}
...
Чтобы загрузить этот JSON-файл в BigQuery, перейдите к файлу Program.cs в папке BigQueryDemo и замените код следующим. Убедитесь, что вы заменили projectId на фактический идентификатор вашего проекта:
using System;
using Google.Cloud.BigQuery.V2;
namespace BigQueryDemo
{
class Program
{
static void Main(string[] args)
{
var gcsUri = "gs://cloud-samples-data/bigquery/us-states/us-states.json";
var client = BigQueryClient.Create("projectId");
var dataset = client.GetOrCreateDataset("us_states_dataset");
var schema = new TableSchemaBuilder
{
{ "name", BigQueryDbType.String },
{ "post_abbr", BigQueryDbType.String }
}.Build();
var jobOptions = new CreateLoadJobOptions
{
SourceFormat = FileFormat.NewlineDelimitedJson
};
var table = dataset.GetTableReference("us_states_table");
var loadJob = client.CreateLoadJob(gcsUri, table, schema, jobOptions);
loadJob.PollUntilCompleted();
loadJob.ThrowOnAnyError();
Console.WriteLine("Json file loaded to BigQuery");
}
}
}
Уделите минуту-две изучению того, как код загружает JSON-файл и создает таблицу со схемой в рамках набора данных.
Вернувшись в Cloud Shell, запустите приложение:
dotnet run
В BigQuery создаются набор данных и таблица.
Json file loaded to BigQuery
Чтобы убедиться, что набор данных действительно создан, перейдите в консоль BigQuery. Вы должны увидеть новый набор данных и созданную таблицу. Если вы перейдете на вкладку предварительного просмотра таблицы, вы сможете увидеть фактические данные:
9. Поздравляем!
Вы научились использовать BigQuery на языке C#!
Уборка
Чтобы избежать списания средств с вашего счета Google Cloud Platform за ресурсы, использованные в этом кратком руководстве:
- Перейдите в консоль облачной платформы .
- Выберите проект, который хотите закрыть, затем нажмите кнопку «Удалить» вверху: это запланирует удаление проекта.
Узнать больше
- Google BigQuery: https://cloud.google.com/bigquery/docs/
- C#/.NET на платформе Google Cloud: https://cloud.google.com/dotnet/
- Клиент Google Cloud .NET: https://googlecloudplatform.github.io/google-cloud-dotnet/
Лицензия
Данная работа распространяется под лицензией Creative Commons Attribution 2.0 Generic.