О практической работе
1. Обзор
BigQuery — это полностью управляемое недорогое хранилище аналитических данных Google в петабайтном масштабе. BigQuery — это NoOps: здесь нет инфраструктуры, которой нужно управлять, и вам не нужен администратор базы данных, поэтому вы можете сосредоточиться на анализе данных, чтобы найти значимую информацию, использовать знакомый SQL и воспользоваться преимуществами нашей модели оплаты по мере использования.
В этой лаборатории кода вы будете использовать клиентские библиотеки Google Cloud для .NET для запроса общедоступных наборов данных BigQuery с помощью C#.
Что вы узнаете
- Как использовать Cloud Shell
- Как включить API BigQuery
- Как аутентифицировать запросы API
- Как установить клиентскую библиотеку Google Cloud для C#
- Как запросить произведения Шекспира
- Как запросить набор данных GitHub
- Как настроить кеширование и отображение статистики
Что вам понадобится
Опрос
Как вы будете использовать этот урок?
Как бы вы оценили свой опыт работы с C#?
Как бы вы оценили свой опыт использования сервисов Google Cloud Platform?
2. Настройка и требования
Самостоятельная настройка среды
- Войдите в Google Cloud Console и создайте новый проект или повторно используйте существующий. Если у вас еще нет учетной записи Gmail или Google Workspace, вам необходимо ее создать .
- Имя проекта — это отображаемое имя для участников этого проекта. Это строка символов, не используемая API Google. Вы всегда можете обновить его.
- Идентификатор проекта уникален для всех проектов Google Cloud и является неизменяемым (нельзя изменить после его установки). Cloud Console автоматически генерирует уникальную строку; обычно тебя не волнует, что это такое. В большинстве лабораторий кода вам потребуется указать идентификатор проекта (обычно идентифицируемый как
PROJECT_ID
). Если вам не нравится сгенерированный идентификатор, вы можете создать другой случайный идентификатор. Альтернативно, вы можете попробовать свой собственный и посмотреть, доступен ли он. Его нельзя изменить после этого шага и он сохраняется на протяжении всего проекта. - К вашему сведению, есть третье значение — номер проекта , которое используют некоторые API. Подробнее обо всех трех этих значениях читайте в документации .
- Далее вам необходимо включить выставление счетов в Cloud Console, чтобы использовать облачные ресурсы/API. Прохождение этой лаборатории кода не будет стоить много, если вообще что-то стоить. Чтобы отключить ресурсы и избежать выставления счетов за пределами этого руководства, вы можете удалить созданные вами ресурсы или удалить проект. Новые пользователи Google Cloud имеют право на участие в программе бесплатной пробной версии стоимостью 300 долларов США .
Запустить Cloud Shell
Хотя Google Cloud можно управлять удаленно с вашего ноутбука, в этой лаборатории вы будете использовать Google Cloud Shell , среду командной строки, работающую в облаке.
Активировать Cloud Shell
- В Cloud Console нажмите «Активировать Cloud Shell».
.
Если вы запускаете Cloud Shell впервые, вы увидите промежуточный экран с описанием того, что это такое. Если вам был представлен промежуточный экран, нажмите «Продолжить» .
Подготовка и подключение к Cloud Shell займет всего несколько минут.
Эта виртуальная машина загружена всеми необходимыми инструментами разработки. Он предлагает постоянный домашний каталог объемом 5 ГБ и работает в Google Cloud, что значительно повышает производительность сети и аутентификацию. Большую часть, если не всю, работу в этой лаборатории кода можно выполнить с помощью браузера.
После подключения к Cloud Shell вы увидите, что вы прошли аутентификацию и что для проекта установлен идентификатор вашего проекта.
- Выполните следующую команду в Cloud Shell, чтобы подтвердить, что вы прошли аутентификацию:
gcloud auth list
Вывод команды
Credentialed Accounts ACTIVE ACCOUNT * <my_account>@<my_domain.com> To set the active account, run: $ gcloud config set account `ACCOUNT`
- Выполните следующую команду в Cloud Shell, чтобы убедиться, что команда gcloud знает о вашем проекте:
gcloud config list project
Вывод команды
[core] project = <PROJECT_ID>
Если это не так, вы можете установить его с помощью этой команды:
gcloud config set project <PROJECT_ID>
Вывод команды
Updated property [core/project].
3. Включите API BigQuery
BigQuery API должен быть включен по умолчанию во всех проектах Google Cloud. Вы можете проверить, так ли это, с помощью следующей команды в Cloud Shell: Вы должны быть в списке BigQuery:
gcloud services list
Вы должны увидеть список BigQuery:
NAME TITLE
bigquery-json.googleapis.com BigQuery API
...
Если API BigQuery не включен, вы можете использовать следующую команду в Cloud Shell, чтобы включить его:
gcloud services enable bigquery-json.googleapis.com
4. Установите клиентскую библиотеку BigQuery для C#.
Сначала создайте простое консольное приложение C#, которое вы будете использовать для запуска примеров BigQuery API.
dotnet new console -n BigQueryDemo
Вы должны увидеть созданное приложение и разрешенные зависимости:
The template "Console Application" was created successfully.
Processing post-creation actions...
...
Restore succeeded.
Затем перейдите в папку BigQueryDemo
:
cd BigQueryDemo
И добавьте в проект пакет Google.Cloud.BigQuery.V2
NuGet:
dotnet add package Google.Cloud.BigQuery.V2
info : Adding PackageReference for package 'Google.Cloud.BigQuery.V2' into project '/home/atameldev/BigQueryDemo/BigQueryDemo.csproj'.
log : Restoring packages for /home/atameldev/BigQueryDemo/BigQueryDemo.csproj...
...
info : PackageReference for package 'Google.Cloud.BigQuery.V2' version '1.2.0' added to file '/home/atameldev/BigQueryDemo/BigQueryDemo.csproj'.
Теперь вы готовы использовать BigQuery API!
5. Запросить произведения Шекспира
Публичный набор данных — это любой набор данных, который хранится в BigQuery и доступен для широкой публики. Существует множество других общедоступных наборов данных, доступных для запроса, некоторые из которых также размещаются в Google, но многие другие размещаются у третьих сторон. Подробнее можно прочитать на странице «Общедоступные наборы данных» .
Помимо общедоступных наборов данных, BigQuery предоставляет ограниченное количество образцов таблиц , к которым вы можете запрашивать. Эти таблицы содержатся в bigquery-public-data:samples dataset
. Одна из этих таблиц называется shakespeare.
Он содержит словарный указатель произведений Шекспира, показывающий, сколько раз каждое слово встречается в каждом корпусе.
На этом этапе вы запросите таблицу Шекспира.
Сначала откройте редактор кода в правом верхнем углу Cloud Shell:
Перейдите к файлу Program.cs
в папке BigQueryDemo
и замените код следующим. Обязательно замените projectId
фактическим идентификатором проекта:
using System;
using Google.Cloud.BigQuery.V2;
namespace BigQueryDemo
{
class Program
{
static void Main(string[] args)
{
var client = BigQueryClient.Create("projectId");
var table = client.GetTable("bigquery-public-data", "samples", "shakespeare");
var sql = $"SELECT corpus AS title, COUNT(word) AS unique_words FROM {table} GROUP BY title ORDER BY unique_words DESC LIMIT 10";
var results = client.ExecuteQuery(sql, parameters: null);
foreach (var row in results)
{
Console.WriteLine($"{row["title"]}: {row["unique_words"]}");
}
}
}
}
Уделите минуту или две, чтобы изучить код и посмотреть, как запрашивается таблица.
Вернувшись в Cloud Shell, запустите приложение:
dotnet run
Вы должны увидеть список слов и их вхождение:
hamlet: 5318
kinghenryv: 5104
cymbeline: 4875
troilusandcressida: 4795
kinglear: 4784
kingrichardiii: 4713
2kinghenryvi: 4683
...
6. Запрос набора данных GitHub
Чтобы лучше познакомиться с BigQuery, вы выполните запрос к общедоступному набору данных GitHub . Наиболее распространенные сообщения о коммитах вы найдете на GitHub. Вы также будете использовать веб-консоль BigQuery для предварительного просмотра и выполнения специальных запросов.
Чтобы увидеть, как выглядят данные, откройте набор данных GitHub в веб-интерфейсе BigQuery:
https://console.cloud.google.com/bigquery?p=bigquery-public-data&d=github_repos&t=commits&page=table
Получите быстрый предварительный просмотр того, как выглядят данные, воспользуйтесь кнопкой «Предварительный просмотр»:
Перейдите к файлу Program.cs
в папке BigQueryDemo
и замените код следующим. Обязательно замените projectId
фактическим идентификатором проекта:
using System;
using Google.Cloud.BigQuery.V2;
namespace BigQueryDemo
{
class Program
{
static void Main(string[] args)
{
var client = BigQueryClient.Create("projectId");
var table = client.GetTable("bigquery-public-data", "github_repos", "commits");
var sql = $"SELECT subject AS subject, COUNT(*) AS num_duplicates FROM {table} GROUP BY subject ORDER BY num_duplicates DESC LIMIT 10";
var results = client.ExecuteQuery(sql, parameters: null);
foreach (var row in results)
{
Console.WriteLine($"{row["subject"]}: {row["num_duplicates"]}");
}
}
}
}
Уделите минуту или две, чтобы изучить код и посмотреть, как к таблице запрашиваются наиболее распространенные сообщения о фиксации.
Вернувшись в Cloud Shell, запустите приложение:
dotnet run
Вы должны увидеть список сообщений о фиксации и их появление:
Update README.md: 2509242
: 1971725
Initial commit: 1942149
Mirroring from Micro.blog.: 838586
update: 575188
Update data.json: 548651
Update data.js: 548339
Add files via upload: 379941
*** empty log message ***: 358528
Can't you see I'm updating the time?: 286863
7. Кэширование и статистика
После первоначального запроса BigQuery кэширует результаты. В результате последующие запросы занимают гораздо меньше времени. Кеширование можно отключить с помощью параметров запроса. BigQuery также отслеживает некоторые статистические данные о запросах, такие как время создания, время окончания, общее количество обработанных байтов.
На этом этапе вы отключите кеширование, а также отобразите некоторую статистику по запросам.
Перейдите к файлу Program.cs
в папке BigQueryDemo
и замените код следующим. Обязательно замените projectId
фактическим идентификатором проекта:
using System;
using Google.Cloud.BigQuery.V2;
namespace BigQueryDemo
{
class Program
{
static void Main(string[] args)
{
var client = BigQueryClient.Create("projectId");
var table = client.GetTable("bigquery-public-data", "github_repos", "commits");
var sql = $"SELECT subject AS subject, COUNT(*) AS num_duplicates FROM {table} GROUP BY subject ORDER BY num_duplicates DESC LIMIT 10";
var queryOptions = new QueryOptions {
UseQueryCache = false
};
var results = client.ExecuteQuery(sql, parameters: null, queryOptions: queryOptions);
foreach (var row in results)
{
Console.WriteLine($"{row["subject"]}: {row["num_duplicates"]}");
}
var job = client.GetJob(results.JobReference);
var stats = job.Statistics;
Console.WriteLine("----------");
Console.WriteLine($"Creation time: {stats.CreationTime}");
Console.WriteLine($"End time: {stats.EndTime}");
Console.WriteLine($"Total bytes processed: {stats.TotalBytesProcessed}");
}
}
}
Несколько замечаний по поводу кода. Во-первых, кэширование отключается путем введения параметров запроса и установки UseQueryCache
значения false. Во-вторых, вы получили доступ к статистике запроса из объекта задания.
Вернувшись в Cloud Shell, запустите приложение:
dotnet run
Как и прежде, вы должны увидеть список сообщений о фиксации и их появление. Кроме того, в конце вы также должны увидеть некоторую статистику по запросу.
Update README.md: 2509242
: 1971725
Initial commit: 1942149
Mirroring from Micro.blog.: 838586
update: 575188
Update data.json: 548651
Update data.js: 548339
Add files via upload: 379941
*** empty log message ***: 358528
Can't you see I'm updating the time?: 286863
----------
Creation time: 1533052057398
End time: 1533052066961
Total bytes processed: 9944197093
8. Загрузка данных в BigQuery
Если вы хотите запросить собственные данные, вам необходимо сначала загрузить их в BigQuery. BigQuery поддерживает загрузку данных из многих источников, таких как Google Cloud Storage, другие сервисы Google и читаемый источник. Вы даже можете осуществлять потоковую передачу данных с помощью потоковых вставок. Подробнее можно прочитать на странице «Загрузка данных в BigQuery» .
На этом этапе вы загрузите файл JSON, хранящийся в Google Cloud Storage, в таблицу BigQuery. Файл JSON находится по gs://cloud-samples-data/bigquery/us-states/us-states.json
Если вам интересно узнать содержимое файла JSON, вы можете использовать инструмент командной строки gsutil
, чтобы загрузить его в Cloud Shell:
gsutil cp gs://cloud-samples-data/bigquery/us-states/us-states.json .
Copying gs://cloud-samples-data/bigquery/us-states/us-states.json...
/ [1 files][ 2.0 KiB/ 2.0 KiB]
Operation completed over 1 objects/2.0 KiB.
Вы можете видеть, что он содержит список штатов США, и каждый штат представляет собой документ JSON в отдельной строке:
less us-states.json
{"name": "Alabama", "post_abbr": "AL"}
{"name": "Alaska", "post_abbr": "AK"}
...
Чтобы загрузить этот файл JSON в BigQuery, перейдите к файлу Program.cs
в папке BigQueryDemo
и замените код следующим. Обязательно замените projectId
фактическим идентификатором проекта:
using System;
using Google.Cloud.BigQuery.V2;
namespace BigQueryDemo
{
class Program
{
static void Main(string[] args)
{
var gcsUri = "gs://cloud-samples-data/bigquery/us-states/us-states.json";
var client = BigQueryClient.Create("projectId");
var dataset = client.GetOrCreateDataset("us_states_dataset");
var schema = new TableSchemaBuilder
{
{ "name", BigQueryDbType.String },
{ "post_abbr", BigQueryDbType.String }
}.Build();
var jobOptions = new CreateLoadJobOptions
{
SourceFormat = FileFormat.NewlineDelimitedJson
};
var table = dataset.GetTableReference("us_states_table");
var loadJob = client.CreateLoadJob(gcsUri, table, schema, jobOptions);
loadJob.PollUntilCompleted();
loadJob.ThrowOnAnyError();
Console.WriteLine("Json file loaded to BigQuery");
}
}
}
Уделите минуту-две, чтобы изучить, как код загружает файл JSON и создает таблицу со схемой в наборе данных.
Вернувшись в Cloud Shell, запустите приложение:
dotnet run
Набор данных и таблица создаются в BigQuery.
Json file loaded to BigQuery
Чтобы убедиться, что набор данных действительно создан, вы можете перейти в консоль BigQuery. Вы должны увидеть новый набор данных и созданную таблицу. Если переключиться на вкладку предварительного просмотра таблицы, то можно увидеть актуальные данные:
9. Поздравляем!
Вы узнали, как использовать BigQuery с помощью C#!
Очистить
Чтобы избежать списания средств с вашей учетной записи Google Cloud Platform за ресурсы, используемые в этом кратком руководстве:
- Перейдите в консоль облачной платформы .
- Выберите проект, который хотите закрыть, затем нажмите «Удалить» вверху: это запланирует удаление проекта.
Узнать больше
- Google BigQuery: https://cloud.google.com/bigquery/docs/
- C#/.NET на облачной платформе Google: https://cloud.google.com/dotnet/
- Клиент Google Cloud .NET: https://googlecloudplatform.github.io/google-cloud-dotnet/
Лицензия
Эта работа распространяется под лицензией Creative Commons Attribution 2.0 Generic License.