搭配 Python 使用 Vision API

1. 總覽

5ab7829fc22b21c4.png

Vision API 可讓開發人員輕鬆在應用程式中整合視覺偵測功能，包括為圖片加上標籤、偵測臉部和地標、光學字元辨識 (OCR)，以及為煽情露骨內容加上標記。

在這個教學課程中，您將專注於搭配 Python 使用 Vision API。

課程內容

  • 如何設定環境
  • 如何執行標籤偵測
  • 如何執行文字偵測
  • 如何執行地標偵測
  • 如何執行臉部偵測功能
  • 如何執行物件偵測

軟硬體需求

  • Google Cloud 專案
  • 瀏覽器，例如 Chrome 或 Firefox
  • 熟悉使用 Python

問卷調查

您會如何使用這個教學課程？

僅供閱讀 閱讀並完成練習

您對 Python 的使用體驗有何評價？

新手 中級 還算容易

針對使用 Google Cloud 服務的經驗，您會給予什麼評價？

新手 中級 還算容易

2. 設定和需求

自修環境設定

  1. 登入 Google Cloud 控制台，建立新專案或重複使用現有專案。如果您還沒有 Gmail 或 Google Workspace 帳戶，請先建立帳戶。

b35bf95b8bf3d5d8.png

a99b7ace416376c4.png

bd84a6d3004737c5.png

  • 「專案名稱」是這項專案參與者的顯示名稱。這是 Google API 未使用的字元字串。您可以隨時更新付款方式。
  • 所有 Google Cloud 專案的專案 ID 均不得重複，而且設定後即無法變更。Cloud 控制台會自動產生一個不重複的字串。但通常是在乎它何在在大部分的程式碼研究室中，您必須參照專案 ID (通常為 PROJECT_ID)。如果您對產生的 ID 不滿意，可以隨機產生一個 ID。或者，您也可以自行嘗試，看看是否支援。在這個步驟後，這個名稱即無法變更，而且在專案期間內仍會保持有效。
  • 資訊中的第三個值是專案編號，部分 API 會使用這個編號。如要進一步瞭解這三個值，請參閱說明文件。
  1. 接下來，您需要在 Cloud 控制台中啟用計費功能，才能使用 Cloud 資源/API。執行本程式碼研究室不會產生任何費用 (如果有的話)。如要關閉資源，以免產生本教學課程結束後產生的費用，您可以刪除自己建立的資源或刪除專案。新使用者符合 $300 美元免費試用計畫的資格。

啟動 Cloud Shell

雖然 Google Cloud 可以從筆記型電腦遠端操作，但在本程式碼研究室中，您將使用 Cloud Shell，這是一種在 Cloud 中執行的指令列環境。

啟用 Cloud Shell

  1. 在 Cloud 控制台中，按一下「啟用 Cloud Shell」圖示 853e55310c205094.png。

55efc1aaa7a4d3ad.png

如果您是第一次啟動 Cloud Shell，系統會顯示中繼畫面，說明這項服務的內容。如果系統顯示中繼畫面，請按一下「繼續」。

9c92662c6a846a5c.png

佈建並連線至 Cloud Shell 只需幾分鐘的時間。

9f0e51b578fecce5.png

這個虛擬機器已載入所有必要的開發工具。提供永久的 5 GB 主目錄，而且在 Google Cloud 中運作，大幅提高網路效能和驗證能力。在本程式碼研究室中，您的大部分作業都可透過瀏覽器完成。

連線至 Cloud Shell 後，您應會發現自己通過驗證，且專案已設為您的專案 ID。

  1. 在 Cloud Shell 中執行下列指令，確認您已通過驗證：
gcloud auth list

指令輸出

 Credentialed Accounts
ACTIVE  ACCOUNT
*       <my_account>@<my_domain.com>

To set the active account, run:
    $ gcloud config set account `ACCOUNT`
  1. 在 Cloud Shell 中執行下列指令，確認 gcloud 指令知道您的專案：
gcloud config list project

指令輸出

[core]
project = <PROJECT_ID>

如果尚未設定，請使用下列指令進行設定：

gcloud config set project <PROJECT_ID>

指令輸出

Updated property [core/project].

3. 環境設定

開始使用 Vision API 之前，請先在 Cloud Shell 中執行下列指令來啟用 API：

gcloud services enable vision.googleapis.com

畫面應如下所示：

Operation "operations/..." finished successfully.

您現在可以使用 Vision API 了！

前往主目錄：

cd ~

建立 Python 虛擬環境來區隔依附元件：

virtualenv venv-vision

啟用虛擬環境：

source venv-vision/bin/activate

安裝 IPython 和 Vision API 用戶端程式庫：

pip install ipython google-cloud-vision

畫面應如下所示：

...
Installing collected packages: ..., ipython, google-cloud-vision
Successfully installed ... google-cloud-vision-3.4.0 ...

您現在可以使用 Vision API 用戶端程式庫了！

在後續步驟中，您將使用名為 IPython 的互動式 Python 解譯器，此語言是在之前的步驟中安裝。在 Cloud Shell 中執行 ipython 即可啟動工作階段：

ipython

畫面應如下所示：

Python 3.9.2 (default, Feb 28 2021, 17:03:44)
Type 'copyright', 'credits' or 'license' for more information
IPython 8.12.0 -- An enhanced Interactive Python. Type '?' for help.

In [1]:

您已經準備好提出第一個要求...

4. 執行標籤偵測

Vision API 的核心功能之一，就是識別圖片中的物件或實體，也稱為標籤註解。標籤偵測功能可識別一般物體、位置、活動、動物物種、產品等。Vision API 會接收輸入圖片，並傳回最有可能套用至該圖片的標籤。會傳回最相符的標籤，以及與圖片相符的可信度分數。

在這個範例中，您將對東京熱門地區 Setagaya 的「Alex Knight」圖片 (由「Alex Knight」提供的圖片) 執行標籤偵測功能：

756f97f0b1e46c38.jpeg

將下列程式碼複製到您的 IPython 工作階段：

from typing import Sequence

from google.cloud import vision


def analyze_image_from_uri(
    image_uri: str,
    feature_types: Sequence,
) -> vision.AnnotateImageResponse:
    client = vision.ImageAnnotatorClient()

    image = vision.Image()
    image.source.image_uri = image_uri
    features = [vision.Feature(type_=feature_type) for feature_type in feature_types]
    request = vision.AnnotateImageRequest(image=image, features=features)

    response = client.annotate_image(request=request)

    return response


def print_labels(response: vision.AnnotateImageResponse):
    print("=" * 80)
    for label in response.label_annotations:
        print(
            f"{label.score:4.0%}",
            f"{label.description:5}",
            sep=" | ",
        )

請花點時間研究程式碼，瞭解該程式碼如何使用 annotate_image 用戶端程式庫方法來分析一組特定功能的圖片。

使用 LABEL_DETECTION 功能傳送要求：

image_uri = "gs://cloud-samples-data/vision/label/setagaya.jpeg"
features = [vision.Feature.Type.LABEL_DETECTION]

response = analyze_image_from_uri(image_uri, features)
print_labels(response)

您應該會看到以下輸出內容：

================================================================================
 97% | Bicycle
 96% | Tire
 94% | Wheel
 91% | Automotive lighting
 89% | Infrastructure
 87% | Bicycle wheel
 86% | Mode of transport
 85% | Building
 83% | Electricity
 82% | Neighbourhood

以下是線上示範結果的呈現方式：

2191b0425c9c148f.png

摘要

在這個步驟中，您可以對圖片執行標籤偵測功能，並顯示最有可能與該圖片相關的標籤。進一步瞭解標籤偵測。

5. 執行文字偵測

文字偵測功能會執行光學字元辨識 (OCR)，能偵測並擷取圖片中的文字，並支援多種語言。另外還具備自動語言識別功能。

在這個範例中，您將對交通標誌圖片執行文字偵測：

4dedd3fcfd9ad99b.jpeg

將下列程式碼複製到您的 IPython 工作階段：

def print_text(response: vision.AnnotateImageResponse):
    print("=" * 80)
    for annotation in response.text_annotations:
        vertices = [f"({v.x},{v.y})" for v in annotation.bounding_poly.vertices]
        print(
            f"{repr(annotation.description):42}",
            ",".join(vertices),
            sep=" | ",
        )

使用 TEXT_DETECTION 功能傳送要求：

image_uri = "gs://cloud-samples-data/vision/ocr/sign.jpg"
features = [vision.Feature.Type.TEXT_DETECTION]

response = analyze_image_from_uri(image_uri, features)
print_text(response)

您應該會看到以下輸出內容：

================================================================================
'WAITING?\nPLEASE\nTURN OFF\nYOUR\nENGINE' | (310,821),(2225,821),(2225,1965),(310,1965)
'WAITING'                                  | (344,821),(2025,879),(2016,1127),(335,1069)
'?'                                        | (2057,881),(2225,887),(2216,1134),(2048,1128)
'PLEASE'                                   | (1208,1230),(1895,1253),(1891,1374),(1204,1351)
'TURN'                                     | (1217,1414),(1718,1434),(1713,1558),(1212,1538)
'OFF'                                      | (1787,1437),(2133,1451),(2128,1575),(1782,1561)
'YOUR'                                     | (1211,1609),(1741,1626),(1737,1747),(1207,1731)
'ENGINE'                                   | (1213,1805),(1923,1819),(1920,1949),(1210,1935)

以下是線上示範結果的呈現方式：

9c70fbce871c5fe5.png

摘要

在這個步驟中，您可以對圖片執行文字偵測功能，並顯示圖片中辨識出的文字。進一步瞭解文字偵測。

6. 執行地標偵測

地標偵測功能會偵測圖片中受歡迎的天然和人造建築。

在這個範例中，您將對艾菲爾鐵塔的圖片 (由約翰鎮提供) 執行地標偵測功能：

fb7801e36884b875.jpeg

將下列程式碼複製到您的 IPython 工作階段：

def print_landmarks(response: vision.AnnotateImageResponse, min_score: float = 0.5):
    print("=" * 80)
    for landmark in response.landmark_annotations:
        if landmark.score < min_score:
            continue
        vertices = [f"({v.x},{v.y})" for v in landmark.bounding_poly.vertices]
        lat_lng = landmark.locations[0].lat_lng
        print(
            f"{landmark.description:18}",
            ",".join(vertices),
            f"{lat_lng.latitude:.5f}",
            f"{lat_lng.longitude:.5f}",
            sep=" | ",
        )

使用 LANDMARK_DETECTION 功能傳送要求：

image_uri = "gs://cloud-samples-data/vision/landmark/eiffel_tower.jpg"
features = [vision.Feature.Type.LANDMARK_DETECTION]

response = analyze_image_from_uri(image_uri, features)
print_landmarks(response)

您應該會看到以下輸出內容：

================================================================================
Trocadéro Gardens  | (303,36),(520,36),(520,371),(303,371) | 48.86160 | 2.28928
Eiffel Tower       | (458,76),(512,76),(512,263),(458,263) | 48.85846 | 2.29435

以下是線上示範結果的呈現方式：

2788697365670985.png

摘要

在這個步驟中，您已經對艾菲爾鐵塔的圖片執行地標偵測。進一步瞭解地標偵測。

7. 執行臉部偵測

臉部特徵偵測功能會偵測圖片中的多個臉孔，以及相關的重要臉部特徵，例如情緒狀態或穿著頭飾。

在這個範例中，您將在以下圖片中偵測臉孔 (由 Himanshu Singh Gurjar 提供)：

58c578ece524cf32.jpeg

將下列程式碼複製到您的 IPython 工作階段：

def print_faces(response: vision.AnnotateImageResponse):
    print("=" * 80)
    for face_number, face in enumerate(response.face_annotations, 1):
        vertices = ",".join(f"({v.x},{v.y})" for v in face.bounding_poly.vertices)
        print(f"# Face {face_number} @ {vertices}")
        print(f"Joy:     {face.joy_likelihood.name}")
        print(f"Exposed: {face.under_exposed_likelihood.name}")
        print(f"Blurred: {face.blurred_likelihood.name}")
        print("-" * 80)

使用 FACE_DETECTION 功能傳送要求：

image_uri = "gs://cloud-samples-data/vision/face/faces.jpeg"
features = [vision.Feature.Type.FACE_DETECTION]

response = analyze_image_from_uri(image_uri, features)
print_faces(response)

您應該會看到以下輸出內容：

================================================================================
# Face 1 @ (1077,157),(2146,157),(2146,1399),(1077,1399)
Joy:     VERY_LIKELY
Exposed: VERY_UNLIKELY
Blurred: VERY_UNLIKELY
--------------------------------------------------------------------------------
# Face 2 @ (144,1273),(793,1273),(793,1844),(144,1844)
Joy:     VERY_UNLIKELY
Exposed: VERY_UNLIKELY
Blurred: UNLIKELY
--------------------------------------------------------------------------------
# Face 3 @ (785,167),(1100,167),(1100,534),(785,534)
Joy:     VERY_UNLIKELY
Exposed: LIKELY
Blurred: VERY_LIKELY
--------------------------------------------------------------------------------

以下是線上示範結果的呈現方式：

cbb7f59299651b83.png

摘要

在這個步驟中，你可以執行臉部偵測功能。進一步瞭解臉部偵測。

8. 執行物件偵測

在這個範例中，您會對 Setagaya 的舊圖像 (由 Alex Knight 提供) 執行物件偵測：

756f97f0b1e46c38.jpeg

將下列程式碼複製到您的 IPython 工作階段：

def print_objects(response: vision.AnnotateImageResponse):
    print("=" * 80)
    for obj in response.localized_object_annotations:
        nvertices = obj.bounding_poly.normalized_vertices
        print(
            f"{obj.score:4.0%}",
            f"{obj.name:15}",
            f"{obj.mid:10}",
            ",".join(f"({v.x:.1f},{v.y:.1f})" for v in nvertices),
            sep=" | ",
        )

使用 OBJECT_LOCALIZATION 功能傳送要求：

image_uri = "gs://cloud-samples-data/vision/label/setagaya.jpeg"
features = [vision.Feature.Type.OBJECT_LOCALIZATION]

response = analyze_image_from_uri(image_uri, features)
print_objects(response)

您應該會看到以下輸出內容：

================================================================================
 93% | Bicycle         | /m/0199g   | (0.6,0.6),(0.8,0.6),(0.8,0.9),(0.6,0.9)
 92% | Bicycle wheel   | /m/01bqk0  | (0.6,0.7),(0.7,0.7),(0.7,0.9),(0.6,0.9)
 91% | Tire            | /m/0h9mv   | (0.7,0.7),(0.8,0.7),(0.8,1.0),(0.7,1.0)
 75% | Bicycle         | /m/0199g   | (0.3,0.6),(0.4,0.6),(0.4,0.7),(0.3,0.7)
 51% | Tire            | /m/0h9mv   | (0.3,0.6),(0.4,0.6),(0.4,0.7),(0.3,0.7)

以下是線上示範結果的呈現方式：

e1c2ca803d874a6b.png

摘要

在這個步驟中，您可以執行物件偵測。進一步瞭解物件偵測。

9. 多項功能

您已瞭解如何使用 Vision API 的部分功能，但您也可以在單一要求中要求多項功能。

您可以提出下列要求，一次取得所有洞察資料：

image_uri = "gs://..."
features = [
    vision.Feature.Type.OBJECT_LOCALIZATION,
    vision.Feature.Type.FACE_DETECTION,
    vision.Feature.Type.LANDMARK_DETECTION,
    vision.Feature.Type.LOGO_DETECTION,
    vision.Feature.Type.LABEL_DETECTION,
    vision.Feature.Type.TEXT_DETECTION,
    vision.Feature.Type.DOCUMENT_TEXT_DETECTION,
    vision.Feature.Type.SAFE_SEARCH_DETECTION,
    vision.Feature.Type.IMAGE_PROPERTIES,
    vision.Feature.Type.CROP_HINTS,
    vision.Feature.Type.WEB_DETECTION,
    vision.Feature.Type.PRODUCT_SEARCH,
    vision.Feature.Type.OBJECT_LOCALIZATION,
]

# response = analyze_image_from_uri(image_uri, features)

還有更多的可能性，例如同步或非同步地對一批圖片執行偵測。查看所有使用指南。

10. 恭喜！

5ab7829fc22b21c4.png

您已瞭解如何搭配使用 Vision API 與 Python，並測試了一些圖片偵測功能！

清除所用資源

如要清除開發環境，請透過 Cloud Shell 執行下列操作：

  • 如果您目前仍在 IPython 工作階段，請返回殼層：exit
  • 停止使用 Python 虛擬環境：deactivate
  • 刪除虛擬環境資料夾：cd ~ ; rm -rf ./venv-vision

如要刪除 Google Cloud 專案，請透過 Cloud Shell 進行：

  • 擷取目前的專案 ID：PROJECT_ID=$(gcloud config get-value core/project)
  • 請確認這是要刪除的專案：echo $PROJECT_ID
  • 刪除專案：gcloud projects delete $PROJECT_ID

瞭解詳情

授權

這項內容採用的是創用 CC 姓名標示 2.0 通用授權。