1. Обзор
API Google Cloud Speech-to-Text позволяет разработчикам преобразовывать аудио в текст на 120 языках и с различными вариантами произношения, используя мощные модели нейронных сетей в удобном для использования API.
В этом практическом занятии вы сосредоточитесь на использовании API преобразования речи в текст с помощью C#. Вы узнаете, как отправлять аудиофайлы на английском и других языках в облачный API преобразования речи в текст для транскрипции.
Что вы узнаете
- Как использовать Cloud Shell
- Как включить API преобразования речи в текст
- Как аутентифицировать запросы API
- Как установить клиентскую библиотеку Google Cloud для C#
- Как расшифровать аудиофайлы на английском языке
- Как расшифровать аудиофайлы с помощью временных меток.
- Как расшифровать аудиофайлы на разных языках
Что вам понадобится
Опрос
Как вы будете использовать этот учебный материал?
Как бы вы оценили свой опыт работы с C#?
Как бы вы оценили свой опыт использования сервисов Google Cloud Platform?
2. Настройка и требования
Настройка среды для самостоятельного обучения
- Войдите в консоль Google Cloud и создайте новый проект или используйте существующий. Если у вас еще нет учетной записи Gmail или Google Workspace, вам необходимо ее создать .
- Название проекта — это отображаемое имя участников данного проекта. Это строка символов, не используемая API Google. Вы всегда можете его изменить.
- Идентификатор проекта уникален для всех проектов Google Cloud и является неизменяемым (его нельзя изменить после установки). Консоль Cloud автоматически генерирует уникальную строку; обычно вам неважно, какая она. В большинстве практических заданий вам потребуется указать идентификатор вашего проекта (обычно обозначается как
PROJECT_ID). Если сгенерированный идентификатор вас не устраивает, вы можете сгенерировать другой случайный идентификатор. В качестве альтернативы вы можете попробовать свой собственный и посмотреть, доступен ли он. После этого шага его нельзя изменить, и он сохраняется на протяжении всего проекта. - К вашему сведению, существует третье значение — номер проекта , которое используется некоторыми API. Подробнее обо всех трех значениях можно узнать в документации .
- Далее вам потребуется включить оплату в консоли Cloud для использования ресурсов/API Cloud. Выполнение этого практического задания не потребует больших затрат, если вообще потребует. Чтобы отключить ресурсы и избежать дополнительных расходов после завершения этого урока, вы можете удалить созданные ресурсы или удалить проект. Новые пользователи Google Cloud имеют право на бесплатную пробную версию стоимостью 300 долларов США .
Запустить Cloud Shell
Хотя Google Cloud можно управлять удаленно с ноутбука, в этом практическом занятии вы будете использовать Google Cloud Shell — среду командной строки, работающую в облаке.
Активировать Cloud Shell
- В консоли Cloud нажмите «Активировать Cloud Shell» .
.
Если вы запускаете Cloud Shell впервые, вам будет показан промежуточный экран с описанием его возможностей. Если вам был показан промежуточный экран, нажмите «Продолжить» .
Подготовка и подключение к Cloud Shell займут всего несколько минут.
Эта виртуальная машина оснащена всеми необходимыми инструментами разработки. Она предоставляет постоянный домашний каталог объемом 5 ГБ и работает в облаке Google, что значительно повышает производительность сети и аутентификацию. Большая часть, если не вся, ваша работа в этом практическом задании может быть выполнена с помощью браузера.
После подключения к Cloud Shell вы увидите, что прошли аутентификацию и что проект настроен на ваш идентификатор проекта.
- Выполните следующую команду в Cloud Shell, чтобы подтвердить свою аутентификацию:
gcloud auth list
вывод команды
Credentialed Accounts
ACTIVE ACCOUNT
* <my_account>@<my_domain.com>
To set the active account, run:
$ gcloud config set account `ACCOUNT`
- Выполните следующую команду в Cloud Shell, чтобы убедиться, что команда gcloud знает о вашем проекте:
gcloud config list project
вывод команды
[core] project = <PROJECT_ID>
Если это не так, вы можете установить это с помощью следующей команды:
gcloud config set project <PROJECT_ID>
вывод команды
Updated property [core/project].
3. Включите API преобразования речи в текст.
Прежде чем начать использовать API преобразования речи в текст, необходимо его включить. Для этого в Cloud Shell можно использовать следующую команду:
gcloud services enable speech.googleapis.com
4. Установите клиентскую библиотеку Google Cloud Speech-to-Text API для C#.
Для начала создайте простое консольное приложение на C#, которое вы будете использовать для запуска примеров API преобразования речи в текст:
dotnet new console -n SpeechToTextApiDemo
Вы должны увидеть, что приложение создано и зависимости разрешены:
The template "Console Application" was created successfully.
Processing post-creation actions...
...
Restore succeeded.
Далее перейдите в папку SpeechToTextApiDemo :
cd SpeechToTextApiDemo/
И добавьте в проект пакет NuGet Google.Cloud.Speech.V1 :
dotnet add package Google.Cloud.Speech.V1
info : Adding PackageReference for package 'Google.Cloud.Speech.V1' into project '/home/atameldev/SpeechToTextApiDemo/SpeechToTextApiDemo.csproj'.
log : Restoring packages for /home/atameldev/SpeechToTextApiDemo/SpeechToTextApiDemo.csproj...
...
info : PackageReference for package 'Google.Cloud.Speech.V1' version '1.0.1' added to file '/home/atameldev/SpeechToTextApiDemo/SpeechToTextApiDemo.csproj'.
Теперь вы готовы использовать API преобразования речи в текст!
5. Расшифровка аудиофайлов
В этом разделе вам предстоит расшифровать предварительно записанный аудиофайл на английском языке. Аудиофайл доступен в Google Cloud Storage.
Для расшифровки аудиофайла откройте редактор кода в правом верхнем углу Cloud Shell:
Перейдите к файлу Program.cs в папке SpeechToTextApiDemo и замените код следующим:
using Google.Cloud.Speech.V1;
using System;
namespace SpeechToTextApiDemo
{
public class Program
{
public static void Main(string[] args)
{
var speech = SpeechClient.Create();
var config = new RecognitionConfig
{
Encoding = RecognitionConfig.Types.AudioEncoding.Flac,
SampleRateHertz = 16000,
LanguageCode = LanguageCodes.English.UnitedStates
};
var audio = RecognitionAudio.FromStorageUri("gs://cloud-samples-tests/speech/brooklyn.flac");
var response = speech.Recognize(config, audio);
foreach (var result in response.Results)
{
foreach (var alternative in result.Alternatives)
{
Console.WriteLine(alternative.Transcript);
}
}
}
}
}
Уделите минуту-две изучению кода и посмотрите, как он используется для расшифровки аудиофайла*.
Параметр Encoding указывает API, какой тип кодирования используется для аудиофайла. Для файлов .raw используется кодировка Flac (подробнее о типах кодирования см. в документации ).
В объекте RecognitionAudio вы можете передать API либо URI нашего аудиофайла в Cloud Storage, либо локальный путь к аудиофайлу. В данном случае мы используем URI из Cloud Storage.
Вернувшись в Cloud Shell, запустите приложение:
dotnet run
Вы должны увидеть следующий результат:
how old is the Brooklyn Bridge
Краткое содержание
На этом этапе вы смогли расшифровать аудиофайл на английском языке и распечатать результат. Подробнее о расшифровке можно прочитать здесь.
6. Перепишите текст с указанием временных меток.
Функция преобразования речи в текст может определять временную метку (смещение по времени) для расшифрованного аудио. Временная метка показывает начало и конец каждого произнесенного слова в предоставленном аудиофайле. Значение временной метки представляет собой количество времени, прошедшее с начала аудиофайла, с шагом в 100 мс.
Для транскрипции аудиофайла с временными сдвигами перейдите к файлу Program.cs в папке SpeechToTextApiDemo и замените следующий код:
using Google.Cloud.Speech.V1;
using System;
namespace SpeechToTextApiDemo
{
public class Program
{
public static void Main(string[] args)
{
var speech = SpeechClient.Create();
var config = new RecognitionConfig
{
Encoding = RecognitionConfig.Types.AudioEncoding.Flac,
SampleRateHertz = 16000,
LanguageCode = LanguageCodes.English.UnitedStates,
EnableWordTimeOffsets = true
};
var audio = RecognitionAudio.FromStorageUri("gs://cloud-samples-tests/speech/brooklyn.flac");
var response = speech.Recognize(config, audio);
foreach (var result in response.Results)
{
foreach (var alternative in result.Alternatives)
{
Console.WriteLine($"Transcript: { alternative.Transcript}");
Console.WriteLine("Word details:");
Console.WriteLine($" Word count:{alternative.Words.Count}");
foreach (var item in alternative.Words)
{
Console.WriteLine($" {item.Word}");
Console.WriteLine($" WordStartTime: {item.StartTime}");
Console.WriteLine($" WordEndTime: {item.EndTime}");
}
}
}
}
}
}
Уделите минуту-две изучению кода и убедитесь, что он используется для транскрипции аудиофайла с временными метками слов*. Параметр EnableWordTimeOffsets указывает API на необходимость включения временных смещений (подробнее см. в документации ).
Вернувшись в Cloud Shell, запустите приложение:
dotnet run
Вы должны увидеть следующий результат:
dotnet run
Transcript: how old is the Brooklyn Bridge
Word details:
Word count:6
how
WordStartTime: "0s"
WordEndTime: "0.300s"
old
WordStartTime: "0.300s"
WordEndTime: "0.600s"
is
WordStartTime: "0.600s"
WordEndTime: "0.800s"
the
WordStartTime: "0.800s"
WordEndTime: "0.900s"
Brooklyn
WordStartTime: "0.900s"
WordEndTime: "1.100s"
Bridge
WordStartTime: "1.100s"
WordEndTime: "1.500s"
Краткое содержание
На этом этапе вы смогли расшифровать аудиофайл на английском языке с указанием временных меток слов и распечатать результат. Подробнее о расшифровке с указанием временных меток слов можно прочитать здесь.
7. Транскрибирование на разных языках.
API преобразования речи в текст поддерживает транскрипцию более чем на 100 языках! Список поддерживаемых языков можно найти здесь .
В этом разделе вам предстоит расшифровать предварительно записанный аудиофайл на французском языке. Аудиофайл доступен в Google Cloud Storage.
Для расшифровки французского аудиофайла перейдите к файлу Program.cs в папке SpeechToTextApiDemo и замените следующий код:
using Google.Cloud.Speech.V1;
using System;
namespace SpeechToTextApiDemo
{
public class Program
{
public static void Main(string[] args)
{
var speech = SpeechClient.Create();
var config = new RecognitionConfig
{
Encoding = RecognitionConfig.Types.AudioEncoding.Flac,
LanguageCode = LanguageCodes.French.France
};
var audio = RecognitionAudio.FromStorageUri("gs://cloud-samples-data/speech/corbeau_renard.flac");
var response = speech.Recognize(config, audio);
foreach (var result in response.Results)
{
foreach (var alternative in result.Alternatives)
{
Console.WriteLine(alternative.Transcript);
}
}
}
}
}
Уделите минуту-две изучению кода и посмотрите, как он используется для транскрипции аудиофайла*. Параметр LanguageCode сообщает API, на каком языке записана аудиозапись.
Вернувшись в Cloud Shell, запустите приложение:
dotnet run
Вы должны увидеть следующий результат:
maître corbeau sur un arbre perché tenait en son bec un fromage
Это отрывок из популярной французской детской сказки .
Краткое содержание
На этом этапе вы смогли расшифровать аудиофайл на французском языке и распечатать результат. Подробнее о поддерживаемых языках можно прочитать здесь.
8. Поздравляем!
Вы научились использовать API преобразования речи в текст на языке C# для выполнения различных видов транскрипции аудиофайлов!
Уборка
Чтобы избежать списания средств с вашего счета Google Cloud Platform за ресурсы, использованные в этом кратком руководстве:
- Перейдите в консоль облачной платформы .
- Выберите проект, который хотите закрыть, затем нажмите кнопку «Удалить» вверху: это запланирует удаление проекта.
Узнать больше
- API Google Cloud для преобразования речи в текст: https://cloud.google.com/speech-to-text/docs
- C#/.NET на платформе Google Cloud: https://cloud.google.com/dotnet/
- Клиент Google Cloud .NET: https://googlecloudplatform.github.io/google-cloud-dotnet/
Лицензия
Данная работа распространяется под лицензией Creative Commons Attribution 2.0 Generic.