Używanie Vision API w języku C#

1. Przegląd

Interfejs Google Cloud Vision API umożliwia deweloperom łatwą integrację w aplikacjach funkcji związanych z wykrywaniem treści wizualnych, takich jak oznaczanie obrazów etykietami, rozpoznawanie twarzy i punktów orientacyjnych, optyczne rozpoznawanie znaków (OCR) oraz tagowanie treści dla dorosłych.

W tym laboratorium skupisz się na korzystaniu z interfejsu Vision API w języku C#. Dowiesz się, jak wykrywać tekst, punkty orientacyjne i twarze.

Czego się nauczysz

• Jak korzystać z Cloud Shell
• Jak włączyć Google Cloud Vision API
• Uwierzytelnianie żądań do interfejsu API
• Instalowanie biblioteki klienta Vision API dla C#
• Jak przeprowadzić wykrywanie etykiet
• Jak przeprowadzić wykrywanie tekstu
• Jak przeprowadzić wykrywanie punktów orientacyjnych
• Jak przeprowadzić wykrywanie twarzy

Czego potrzebujesz

• Projekt Google Cloud Platform
• przeglądarka, np. Chrome lub Firefox;
• znajomość języka C#,

Ankieta

Jak zamierzasz korzystać z tego samouczka?

Tylko przeczytaj Przeczytaj i wykonaj ćwiczenia

Jak oceniasz swoje doświadczenie z językiem C#?

Początkujący Średnio zaawansowany Zaawansowany

Jak oceniasz korzystanie z usług Google Cloud Platform?

Początkujący Średnio zaawansowany Zaawansowany

2. Konfiguracja i wymagania

Samodzielne konfigurowanie środowiska

1. Zaloguj się w konsoli Google Cloud i utwórz nowy projekt lub użyj istniejącego. Jeśli nie masz jeszcze konta Gmail ani Google Workspace, musisz je utworzyć.

• Nazwa projektu to wyświetlana nazwa uczestników tego projektu. Jest to ciąg znaków, który nie jest używany przez interfejsy API Google. Zawsze możesz ją zaktualizować.
• Identyfikator projektu jest unikalny we wszystkich projektach Google Cloud i nie można go zmienić po ustawieniu. Konsola Cloud automatycznie generuje unikalny ciąg znaków. Zwykle nie musisz się tym przejmować. W większości ćwiczeń z programowania musisz odwoływać się do identyfikatora projektu (zwykle oznaczanego jako PROJECT_ID). Jeśli wygenerowany identyfikator Ci się nie podoba, możesz wygenerować inny losowy identyfikator. Możesz też spróbować własnej nazwy i sprawdzić, czy jest dostępna. Po tym kroku nie można go zmienić i pozostaje on taki przez cały czas trwania projektu.
• Warto wiedzieć, że istnieje też trzecia wartość, numer projektu, której używają niektóre interfejsy API. Więcej informacji o tych 3 wartościach znajdziesz w dokumentacji.

Ostrzeżenie: identyfikator projektu jest unikalny globalnie i po jego wybraniu nie może być używany przez nikogo innego. Jesteś jedynym użytkownikiem tego identyfikatora. Nawet po usunięciu projektu nie można ponownie użyć jego identyfikatora.

Uwaga: jeśli używasz konta Gmail, możesz pozostawić domyślną lokalizację ustawioną na Brak organizacji. Jeśli używasz konta Google Workspace, wybierz lokalizację odpowiednią dla Twojej organizacji.

2. Następnie musisz włączyć płatności w konsoli Cloud, aby korzystać z zasobów i interfejsów API Google Cloud. Wykonanie tego laboratorium nie będzie kosztować dużo, a może nawet nic. Aby wyłączyć zasoby i uniknąć naliczania opłat po zakończeniu tego samouczka, możesz usunąć utworzone zasoby lub projekt. Nowi użytkownicy Google Cloud mogą skorzystać z bezpłatnego okresu próbnego, w którym mają do dyspozycji środki w wysokości 300 USD.

Uruchamianie Cloud Shell

Z Google Cloud można korzystać zdalnie na laptopie, ale w tym module praktycznym będziesz używać Google Cloud Shell, czyli środowiska wiersza poleceń działającego w chmurze.

Aktywowanie Cloud Shell

1. W konsoli Cloud kliknij Aktywuj Cloud Shell .

Jeśli uruchamiasz Cloud Shell po raz pierwszy, zobaczysz ekran pośredni z opisem tego środowiska. Jeśli pojawił się ekran pośredni, kliknij Dalej.

Uzyskanie dostępu do środowiska Cloud Shell i połączenie się z nim powinno zająć tylko kilka chwil.

Ta maszyna wirtualna zawiera wszystkie potrzebne narzędzia dla programistów. Zawiera również stały katalog domowy o pojemności 5 GB i działa w Google Cloud, co znacznie zwiększa wydajność sieci i usprawnia proces uwierzytelniania. Większość zadań w tym module, a być może wszystkie, możesz wykonać w przeglądarce.

Po połączeniu z Cloud Shell zobaczysz, że uwierzytelnianie zostało już przeprowadzone, a projekt jest już ustawiony na Twój identyfikator projektu.

2. Aby potwierdzić, że uwierzytelnianie zostało przeprowadzone, uruchom w Cloud Shell to polecenie:

gcloud auth list

Wynik polecenia

 Credentialed Accounts
ACTIVE  ACCOUNT
*       <my_account>@<my_domain.com>

To set the active account, run:
    $ gcloud config set account `ACCOUNT`

Uwaga: narzędzie wiersza poleceń gcloud to zaawansowane i ujednolicone narzędzie wiersza poleceń w Google Cloud. Jest już zainstalowane w Cloud Shell. Zauważysz, że obsługuje on uzupełnianie za pomocą klawisza Tab. Przy pierwszym uruchomieniu polecenia może pojawić się prośba o uwierzytelnienie. Więcej informacji znajdziesz w omówieniu narzędzia wiersza poleceń gcloud.

3. Aby potwierdzić, że polecenie gcloud zna Twój projekt, uruchom w Cloud Shell to polecenie:

gcloud config list project

Wynik polecenia

[core]
project = <PROJECT_ID>

Jeśli nie, możesz go ustawić za pomocą tego polecenia:

gcloud config set project <PROJECT_ID>

Wynik polecenia

Updated property [core/project].

Uwaga: jeśli wykonujesz ten samouczek poza Cloud Shell, postępuj zgodnie z instrukcjami w artykule Konfigurowanie domyślnego uwierzytelniania aplikacji.

3. Włącz interfejs Vision API

Aby zacząć korzystać z interfejsu Vision API, musisz go włączyć. W Cloud Shell możesz włączyć interfejs API za pomocą tego polecenia:

gcloud services enable vision.googleapis.com

Uwaga: jeśli to polecenie zwróci błąd, sprawdź, czy bieżący identyfikator projektu jest zgodny z identyfikatorem projektu w tym samouczku.

Aby sprawdzić, jakiego identyfikatora projektu używa obecnie Cloud Shell, wpisz to polecenie:

gcloud info | grep "project"

Jeśli identyfikator projektu jest nieprawidłowy, użyj tego polecenia, aby użyć prawidłowego identyfikatora:

gcloud config set project <PROJECT_ID>

Zastąp <PROJECT_ID> prawidłowym identyfikatorem projektu.

4. Instalowanie biblioteki klienta interfejsu Google Cloud Vision API dla C#

Najpierw utwórz prostą aplikację konsolową w C#, której będziesz używać do uruchamiania przykładów interfejsu Vision API:

dotnet new console -n VisionApiDemo

Powinna pojawić się utworzona aplikacja i rozwiązane zależności:

The template "Console Application" was created successfully.
Processing post-creation actions...
...
Restore succeeded.

Następnie otwórz folder VisionApiDemo:

cd VisionApiDemo/

Dodaj do projektu pakiet Google.Cloud.Vision.V1 NuGet:

dotnet add package Google.Cloud.Vision.V1

info : Adding PackageReference for package 'Google.Cloud.Vision.V1' into project '/home/atameldev/VisionApiDemo/VisionApiDemo.csproj'.
log  : Restoring packages for /home/atameldev/VisionApiDemo/VisionApiDemo.csproj...
...
info : PackageReference for package 'Google.Cloud.Vision.V1' version '1.2.0' added to file '/home/atameldev/VisionApiDemo/VisionApiDemo.csproj'.

Teraz możesz używać interfejsu Vision API.

5. Wykrywanie etykiet

Jedną z podstawowych funkcji interfejsu Vision API jest identyfikowanie obiektów lub elementów na obrazie, czyli dodawanie etykiet. Wykrywanie etykiet identyfikuje ogólne obiekty, lokalizacje, aktywności, gatunki zwierząt, produkty i inne elementy. Interfejs Vision API przyjmuje obraz wejściowy i zwraca najbardziej prawdopodobne etykiety, które do niego pasują. Zwraca najlepiej pasujące etykiety wraz z wartością ufności dopasowania do obrazu.

W tym przykładzie przeprowadzisz wykrywanie etykiet na obrazie sceny ulicznej w Szanghaju. Otwórz edytor kodu w prawym górnym rogu Cloud Shell:

Otwórz plik Program.cs w folderze VisionApiDemo i zastąp kod tym kodem:

using Google.Cloud.Vision.V1;
using System;

namespace VisionApiDemo
{
    class Program
    {   
        static void Main(string[] args)
        {
            var client = ImageAnnotatorClient.Create();
            var image = Image.FromUri("gs://cloud-samples-data/vision/using_curl/shanghai.jpeg");
            var labels = client.DetectLabels(image);

            Console.WriteLine("Labels (and confidence score):");
            Console.WriteLine(new String('=', 30));

            foreach (var label in labels)
            {
                Console.WriteLine($"{label.Description} ({(int)(label.Score * 100)}%)");
            }
        }
    }
}

Poświęć chwilę na zapoznanie się z kodem i zobacz, jak biblioteka Vision API w C# jest używana do wykrywania etykiet.

Wróć do Cloud Shell i uruchom aplikację:

dotnet run 

Powinny się wyświetlić te dane wyjściowe:

Labels (and confidence score):
==============================
Wheel (97%)
Tire (97%)
Photograph (94%)
Bicycle (94%)
Motor vehicle (89%)
Infrastructure (89%)
Vehicle (86%)
Mode of transport (84%)
Bicycle wheel (83%)
Asphalt (81%)

Uwaga: jeśli ten kod w języku C# nie działa, sprawdź instrukcje wykonane w kroku Uwierzytelnianie żądań interfejsu API.

Aby sprawdzić wartość zmiennej środowiskowej GOOGLE_APPLICATION_CREDENTIALS, użyj tego polecenia:

echo $GOOGLE_APPLICATION_CREDENTIALS

Powinna zwrócić wartość "~/key.json"..

Jeśli tak, sprawdź, czy utworzono konto usługi, które znajduje się w lokalizacji "~/key.json". W tym celu użyj tego polecenia:

cat "~/key.json"

Powinien pojawić się ekran podobny do tego:

{

"type": "service_account",

"project_id": "PROJECT_ID",

"private_key_id": "ff31939192529e07f42e4535fb20bb029def1276",

"Private_key":...

Jeśli nie, wróć do kroku Uwierzytelnianie żądań do interfejsu API.

Podsumowanie

W tym kroku udało Ci się wykryć etykiety na obrazie przedstawiającym ulicę w Chinach i wyświetlić najbardziej prawdopodobne etykiety powiązane z tym obrazem. Dowiedz się więcej o wykrywaniu etykiet.

6. Wykrywanie tekstu

Wykrywanie tekstu w Vision API wykorzystuje optyczne rozpoznawanie znaków. Wykrywa i wyodrębnia tekst z obrazu, obsługując szeroki zakres języków. Ma też funkcję automatycznego rozpoznawania języka.

W tym przykładzie wykonasz wykrywanie tekstu na obrazie ekranu aktualizacji oprogramowania systemowego.

Otwórz plik Program.cs w folderze VisionApiDemo i zastąp kod tym kodem:

using Google.Cloud.Vision.V1;
using System;

namespace VisionApiDemo
{
    class Program
    {   
        static void Main(string[] args)
        {
            var client = ImageAnnotatorClient.Create();
            var image = Image.FromUri("gs://cloud-samples-data/vision/text/screen.jpg");
            var response = client.DetectText(image);
            foreach (var annotation in response)
            {
                if (annotation.Description != null)
                {
                    Console.WriteLine(annotation.Description);
                }
            }
        }
    }
}

Poświęć chwilę na zapoznanie się z kodem i sprawdź, jak biblioteka Vision API C# jest używana do wykrywania tekstu.

Wróć do Cloud Shell i uruchom aplikację:

dotnet run 

Powinny się wyświetlić te dane wyjściowe:

System Software Update
Back
Preparing to install...
After preparation is complete, the PS4 will automatically restart and the update file will be
installed.
37%
gus class
System
Software
Update
Back
Preparing
to
install
...
After
preparation
is
complete
,
the
PS4
will
automatically
restart
and
the
update
file
will
be
installed
.
37
%
gus
class

Podsumowanie

Na tym etapie udało Ci się wykryć tekst na obrazie przejścia dla wydr i wydrukować rozpoznany tekst z obrazu. Dowiedz się więcej o wykrywaniu tekstu.

7. Wykrywanie charakterystycznych obiektów

Funkcja wykrywania punktów orientacyjnych w interfejsie Vision API wykrywa popularne naturalne i sztuczne struktury na obrazie.

W tym przykładzie wykonasz wykrywanie punktów orientacyjnych na zdjęciu wieży Eiffla.

Otwórz plik Program.cs w folderze VisionApiDemo i zastąp kod tym kodem:

using Google.Cloud.Vision.V1;
using System;

namespace VisionApiDemo
{
    class Program
    {   
        static void Main(string[] args)
        {
            var client = ImageAnnotatorClient.Create();
            var image = Image.FromUri("gs://cloud-samples-data/vision/eiffel_tower.jpg");
            var response = client.DetectLandmarks(image);
            foreach (var annotation in response)
            {
                if (annotation.Description != null)
                {
                    Console.WriteLine(annotation.Description);
                }
            }
        }
    }
}

Poświęć chwilę na zapoznanie się z kodem i zobacz, jak biblioteka Vision API w C# jest używana do wykrywania punktów orientacyjnych.

Wróć do Cloud Shell i uruchom aplikację:

dotnet run

Powinny się wyświetlić te dane wyjściowe:

Eiffel Tower

Podsumowanie

Na tym etapie udało Ci się wykryć punkt orientacyjny na zdjęciu wieży Eiffla. Dowiedz się więcej o wykrywaniu punktów orientacyjnych.

8. Wykrywanie emocji na twarzy

Wykrywanie twarzy wykrywa wiele twarzy na obrazie wraz z powiązanymi kluczowymi atrybutami twarzy, takimi jak stan emocjonalny czy nakrycie głowy.

W tym przykładzie wykryjesz prawdopodobieństwo stanu emocjonalnego na podstawie 4 różnych prawdopodobieństw emocjonalnych, w tym radości, złości, smutku i zaskoczenia.

Otwórz plik Program.cs w folderze VisionApiDemo i zastąp kod tym kodem:

using Google.Cloud.Vision.V1;
using System;

namespace VisionApiDemo
{
    class Program
    {
        static void Main(string[] args)
        {
            var client = ImageAnnotatorClient.Create();

            var image = Image.FromUri("gs://cloud-samples-data/vision/face/face_no_surprise.jpg");
            var response = client.DetectFaces(image);
            foreach (var annotation in response)
            {
                Console.WriteLine($"Picture: {image}");
                Console.WriteLine($" Surprise: {annotation.SurpriseLikelihood}");
            }
        }
    }
}

Poświęć chwilę na zapoznanie się z kodem i zobacz, jak biblioteka Vision API w języku C# służy do wykrywania emocji na twarzach.

Uruchom aplikację.

dotnet run

W przypadku przykładu face_no_surprise powinny się wyświetlić te dane wyjściowe:

Picture: { "source": { "imageUri": "gs://cloud-samples-data/vision/face/face_no_surprise.jpg" } }
 Surprise: Likely

Podsumowanie

Na tym etapie udało Ci się wykryć emocje na twarzy. Dowiedz się więcej o wykrywaniu twarzy.

9. Gratulacje!

Wiesz już, jak używać interfejsu Vision API w języku C# do wykonywania różnych rodzajów wykrywania na obrazach.

Czyszczenie danych

Oto kroki, które musisz wykonać, aby uniknąć obciążenia konta Google Cloud Platform opłatami za zasoby zużyte podczas krótkiego wprowadzenia:

• Otwórz konsolę Cloud Platform.
• Wybierz projekt, który chcesz zamknąć, a następnie kliknij „Usuń” u góry. Spowoduje to zaplanowanie usunięcia projektu.

Więcej informacji

• Google Cloud Vision API: https://cloud.google.com/vision/docs/
• C#/.NET na Google Cloud Platform: https://cloud.google.com/dotnet/
• Klient .NET Google Cloud: https://googlecloudplatform.github.io/google-cloud-dotnet

Licencja

To zadanie jest licencjonowane na podstawie ogólnej licencji Creative Commons Attribution 2.0.