Использование API Video Intelligence с C#

1. Обзор

API Google Cloud Video Intelligence позволяет разработчикам использовать технологию анализа видео Google как часть своих приложений.

Его можно использовать для:

REST API позволяет пользователям аннотировать видео, хранящиеся локально или в облачном хранилище Google, с помощью контекстной информации на уровне всего видео, каждого сегмента, каждого кадра и каждого кадра.

В этой лаборатории кода вы сосредоточитесь на использовании API Video Intelligence с C#. Вы узнаете, как анализировать видео на наличие меток, изменений кадров и обнаружения явного контента.

Что вы узнаете

  • Как использовать Cloud Shell
  • Как включить API видеоаналитики
  • Как аутентифицировать запросы API
  • Как установить клиентскую библиотеку Google Cloud для C#
  • Как анализировать видео на предмет ярлыков
  • Как анализировать видео на предмет изменений кадров
  • Как анализировать видео на предмет обнаружения явного содержания

Что вам понадобится

  • Проект облачной платформы Google
  • Браузер, например Chrome или Firefox.
  • Знакомство с C#

Опрос

Как вы будете использовать этот урок?

Прочтите только до конца Прочитайте его и выполните упражнения.

Как бы вы оценили свой опыт работы с C#?

Новичок Средний Опытный

Как бы вы оценили свой опыт использования сервисов Google Cloud Platform?

Новичок Средний Опытный

2. Настройка и требования

Самостоятельная настройка среды

  1. Войдите в Google Cloud Console и создайте новый проект или повторно используйте существующий. Если у вас еще нет учетной записи Gmail или Google Workspace, вам необходимо ее создать .

295004821bab6a87.png

37d264871000675d.png

96d86d3d5655cdbe.png

  • Имя проекта — это отображаемое имя для участников этого проекта. Это строка символов, не используемая API Google. Вы всегда можете обновить его.
  • Идентификатор проекта уникален для всех проектов Google Cloud и является неизменяемым (невозможно изменить после его установки). Cloud Console автоматически генерирует уникальную строку; обычно тебя не волнует, что это такое. В большинстве лабораторий кода вам потребуется указать идентификатор проекта (обычно идентифицируемый как PROJECT_ID ). Если вам не нравится сгенерированный идентификатор, вы можете создать другой случайный идентификатор. Альтернативно, вы можете попробовать свой собственный и посмотреть, доступен ли он. Его нельзя изменить после этого шага и он сохраняется на протяжении всего проекта.
  • К вашему сведению, есть третье значение — номер проекта , которое используют некоторые API. Подробнее обо всех трех этих значениях читайте в документации .
  1. Затем вам необходимо включить выставление счетов в Cloud Console, чтобы использовать облачные ресурсы/API. Прохождение этой кодовой лаборатории не будет стоить много, если вообще что-то стоить. Чтобы отключить ресурсы и избежать выставления счетов за пределами этого руководства, вы можете удалить созданные вами ресурсы или удалить проект. Новые пользователи Google Cloud имеют право на участие в программе бесплатной пробной версии стоимостью 300 долларов США .

Запустить Cloud Shell

Хотя Google Cloud можно управлять удаленно с вашего ноутбука, в этой лаборатории вы будете использовать Google Cloud Shell , среду командной строки, работающую в облаке.

Активировать Cloud Shell

  1. В Cloud Console нажмите «Активировать Cloud Shell». d1264ca30785e435.png .

cb81e7c8e34bc8d.png

Если вы запускаете Cloud Shell впервые, вы увидите промежуточный экран с описанием того, что это такое. Если вам был представлен промежуточный экран, нажмите «Продолжить» .

d95252b003979716.png

Подготовка и подключение к Cloud Shell займет всего несколько минут.

7833d5e1c5d18f54.png

Эта виртуальная машина загружена всеми необходимыми инструментами разработки. Он предлагает постоянный домашний каталог объемом 5 ГБ и работает в Google Cloud, что значительно повышает производительность сети и аутентификацию. Большую часть, если не всю, работу в этой лаборатории кода можно выполнить с помощью браузера.

После подключения к Cloud Shell вы увидите, что вы прошли аутентификацию и что для проекта установлен идентификатор вашего проекта.

  1. Выполните следующую команду в Cloud Shell, чтобы подтвердить, что вы прошли аутентификацию:
gcloud auth list

Вывод команды

 Credentialed Accounts
ACTIVE  ACCOUNT
*       <my_account>@<my_domain.com>

To set the active account, run:
    $ gcloud config set account `ACCOUNT`
  1. Выполните следующую команду в Cloud Shell, чтобы убедиться, что команда gcloud знает о вашем проекте:
gcloud config list project

Вывод команды

[core]
project = <PROJECT_ID>

Если это не так, вы можете установить его с помощью этой команды:

gcloud config set project <PROJECT_ID>

Вывод команды

Updated property [core/project].

3. Включите API видеоаналитики.

Прежде чем вы сможете начать использовать API Video Intelligence, вы должны включить API. Вы можете включить API, используя следующую команду в Cloud Shell:

gcloud services enable videointelligence.googleapis.com

4. Установите клиентскую библиотеку Google Cloud Video Intelligence API для C#.

Сначала создайте простое консольное приложение C#, которое вы будете использовать для запуска примеров API Video Intelligence:

dotnet new console -n VideoIntApiDemo

Вы должны увидеть созданное приложение и разрешенные зависимости:

The template "Console Application" was created successfully.
Processing post-creation actions...
...
Restore succeeded.

Затем перейдите в папку VideoIntApiDemo :

cd VideoIntApiDemo/

И добавьте в проект пакет Google.Cloud.VideoIntelligence.V1 NuGet: 

dotnet add package Google.Cloud.VideoIntelligence.V1

info : Adding PackageReference for package 'Google.Cloud.VideoIntelligence.V1' into project '/home/atameldev/VideoIntApiDemo/VideoIntApiDemo.csproj'.
log  : Restoring packages for /home/atameldev/VideoIntApiDemo/VideoIntApiDemo.csproj...
...
info : PackageReference for package 'Google.Cloud.VideoIntelligence.V1' version '1.0.0' added to file '/home/atameldev/VideoIntApiDemo/VideoIntApiDemo.csproj'.

Теперь вы готовы использовать API Video Intelligence!

5. Обнаружение этикеток

Анализ меток обнаруживает метки в видео, хранящемся локально или в облачном хранилище Google. В этом разделе вы проанализируете видео на предмет меток, хранящихся в Google Cloud Storage.

Сначала откройте редактор кода в правом верхнем углу Cloud Shell:

fd3fc1303e63572.png

Перейдите к файлу Program.cs в папке VideoIntApiDemo и замените код следующим:

using System;
using System.Collections.Generic;
using Google.Cloud.VideoIntelligence.V1;

namespace VideoIntApiDemo
{
    class Program
    {
        static void Main(string[] args)
        {
            var client = VideoIntelligenceServiceClient.Create();
            var request = new AnnotateVideoRequest
            {
                InputUri = "gs://cloud-samples-data/video/gbikes_dinosaur.mp4",
                Features = { Feature.LabelDetection }
            };
            var op = client.AnnotateVideo(request).PollUntilCompleted();
            foreach (var result in op.Result.AnnotationResults)
            {
                PrintLabels("Video", result.SegmentLabelAnnotations);
                PrintLabels("Shot", result.ShotLabelAnnotations);
                PrintLabels("Frame", result.FrameLabelAnnotations);
            }
        }

        static void PrintLabels(string labelName,
            IEnumerable<LabelAnnotation> labelAnnotations)
        {
            foreach (var annotation in labelAnnotations)
            {
                Console.WriteLine($"{labelName} label: {annotation.Entity.Description}");
                foreach (var entity in annotation.CategoryEntities)
                {
                    Console.WriteLine($"{labelName} label category: {entity.Description}");
                }
                foreach (var segment in annotation.Segments)
                {
                    Console.Write("Segment location: ");
                    Console.Write(segment.Segment.StartTimeOffset);
                    Console.Write(":");
                    Console.WriteLine(segment.Segment.EndTimeOffset);
                    Console.WriteLine($"Confidence: {segment.Confidence}");
                }
            }
        }
    }
}

Уделите минуту или две, чтобы изучить код и посмотреть, как маркируется видео*.*

Вернувшись в Cloud Shell, запустите приложение:

dotnet run

API Video Intelligence требуется несколько секунд для извлечения меток, но в конечном итоге вы должны увидеть следующий результат:

Video label: bicycle
Video label category: vehicle
Segment location: "0s":"42.766666s"
Confidence: 0.475821
Video label: tyrannosaurus
Video label category: dinosaur
Segment location: "0s":"42.766666s"
Confidence: 0.4222222
Video label: tree
Video label category: plant
Segment location: "0s":"42.766666s"
Confidence: 0.4231415
...

Краткое содержание

На этом этапе вы смогли составить список всех ярлыков в видео с помощью API Video Intelligence. Вы можете прочитать больше на странице обнаружения меток .

6. Обнаружение изменения кадра

Вы можете использовать API Video Intelligence для обнаружения изменений кадров в видео, хранящемся локально или в облачном хранилище Google. В этом разделе вы выполните анализ видео на предмет изменений кадров в файле, расположенном в Google Cloud Storage.

Чтобы обнаружить изменения кадра, перейдите к файлу Program.cs в папке VideoIntApiDemo и замените код следующим:

using System;
using Google.Cloud.VideoIntelligence.V1;

namespace VideoIntApiDemo
{
    class Program
    {
        static void Main(string[] args)
        {
            var client = VideoIntelligenceServiceClient.Create();
            var request = new AnnotateVideoRequest
            {
                InputUri = "gs://cloud-samples-data/video/gbikes_dinosaur.mp4",
                Features = { Feature.ShotChangeDetection }
            };
            var op = client.AnnotateVideo(request).PollUntilCompleted();
            foreach (var result in op.Result.AnnotationResults)
            {
                foreach (var annotation in result.ShotAnnotations)
                {
                    Console.Out.WriteLine("Start Time Offset: {0}\tEnd Time Offset: {1}",
                        annotation.StartTimeOffset, annotation.EndTimeOffset);
                }
            }
        }
    }
}

Уделите минуту или две, чтобы изучить код и посмотреть, как выполняется обнаружение выстрела.

Вернувшись в Cloud Shell, запустите приложение. Вы должны увидеть следующий вывод:

dotnet run

Вы должны увидеть следующий вывод: 

Start Time Offset: "0s" End Time Offset: "5.166666s"
Start Time Offset: "5.233333s"  End Time Offset: "10.066666s"
Start Time Offset: "10.100s"    End Time Offset: "28.133333s"
Start Time Offset: "28.166666s" End Time Offset: "42.766666s"

Краткое содержание

На этом этапе вы смогли использовать API Video Intelligence для обнаружения изменений кадров в файле, хранящемся в Google Cloud Storage. Подробнее об изменениях в Shot читайте .

7. Обнаружение явного контента

Обнаружение явного контента обнаруживает в видео контент для взрослых. Контент для взрослых – это контент, обычно подходящий для лиц от 18 лет и старше, включая, помимо прочего, наготу, действия сексуального характера и порнографию (включая мультфильмы и аниме). Ответ включает в себя сегментированное значение вероятности от VERY_UNLIKELY до VERY_LIKELY.

Когда Explicit Content Detection оценивает видео, он делает это для каждого кадра и учитывает только визуальный контент. Аудиокомпонент видео не используется для оценки уровня откровенного контента.

Чтобы обнаружить явное содержимое, перейдите к файлу Program.cs в папке VideoIntApiDemo и замените код следующим:

using System;
using Google.Cloud.VideoIntelligence.V1;

namespace VideoIntApiDemo
{
    class Program
    {
        static void Main(string[] args)
        {
            var client = VideoIntelligenceServiceClient.Create();
            var request = new AnnotateVideoRequest
            {
                InputUri = "gs://cloud-samples-data/video/gbikes_dinosaur.mp4",
                Features = { Feature.ExplicitContentDetection }
            };
            var op = client.AnnotateVideo(request).PollUntilCompleted();
            foreach (var result in op.Result.AnnotationResults)
            {
                foreach (var frame in result.ExplicitAnnotation.Frames)
                {
                    Console.WriteLine("Time Offset: {0}", frame.TimeOffset);
                    Console.WriteLine("Pornography Likelihood: {0}", frame.PornographyLikelihood);
                    Console.WriteLine();
                }
            }
        }
    }
}

Уделите минуту или две, чтобы изучить код и посмотреть, как выполняется явное обнаружение контента*.*

Вернувшись в Cloud Shell, запустите приложение:

dotnet run

Это может занять несколько секунд, но в конечном итоге вы должны увидеть следующий результат: 

dotnet run

Time Offset: "0.056149s"
Pornography Likelihood: VeryUnlikely

Time Offset: "1.166841s"
Pornography Likelihood: VeryUnlikely
...
Time Offset: "41.678209s"
Pornography Likelihood: VeryUnlikely

Time Offset: "42.596413s"
Pornography Likelihood: VeryUnlikely

Краткое содержание

На этом этапе вы смогли выполнить явное обнаружение контента в видео с помощью API Video Intelligence. Узнайте больше об обнаружении явного контента .

8. Поздравляем!

Вы узнали, как использовать API Video Intelligence с помощью C#!

Очистить

Чтобы избежать списания средств с вашей учетной записи Google Cloud Platform за ресурсы, используемые в этом кратком руководстве:

  • Перейдите в консоль облачной платформы .
  • Выберите проект, который хотите закрыть, затем нажмите «Удалить» вверху: это запланирует удаление проекта.

Узнать больше

Лицензия

Эта работа распространяется под лицензией Creative Commons Attribution 2.0 Generic License.