Vertex AI Vision のトラフィックモニタリングアプリ

1. 目標

概要

この Codelab では、リアルタイムの交通状況の動画映像をモニタリングするための Vertex AI Vision アプリケーションをエンドツーエンドで作成することに焦点を当てます。事前トレーニング済みの Specialized モデル Occupancy analytics の組み込み機能を使用して、次のものをキャプチャします。

特定のラインで道路を横断する車両と人の数をカウントします。
道路の任意の固定領域内の車両数/人数をカウントします。
道路の任意の場所の渋滞を検出する。

学習内容

ストリーミング用の動画を取り込むように VM を設定する方法
Vertex AI Vision でアプリケーションを作成する方法
Occupancy Analytics で利用できるさまざまな機能とその使用方法
アプリをデプロイする方法
ストレージの Vertex AI Vision の Media Warehouse で動画を検索する方法。
出力を BigQuery に接続する方法、モデルの JSON 出力から分析情報を抽出する SQL クエリを記述する方法、Looker Studio で結果をリアルタイムで可視化する方法について説明します。

2. 始める前に

Google Cloud コンソールのプロジェクトセレクタページで、Google Cloud プロジェクトを選択または作成します。注: この手順で作成するリソースをそのまま保持する予定でない場合、既存のプロジェクトを選択するのではなく、新しいプロジェクトを作成してください。チュートリアルの終了後にそのプロジェクトを削除すれば、プロジェクトに関連するすべてのリソースを削除できます。プロジェクトセレクタに移動
Cloud プロジェクトに対して課金が有効になっていることを確認します。詳しくは、プロジェクトで課金が有効になっているかどうかを確認する方法をご覧ください。
Compute Engine API と Vision AI API を有効にします。API を有効にする

サービスアカウントを作成します。

Google Cloud コンソールで [サービスアカウントの作成] ページに移動します。[サービスアカウントの作成] に移動
プロジェクトを選択します。
[サービスアカウント名] フィールドに名前を入力します。Google Cloud コンソールでは、この名前に基づいて [サービスアカウント ID] フィールドに値が設定されます。[サービスアカウントの説明] フィールドに説明を入力します。たとえば、クイックスタート用のサービスアカウントなどです。
[作成して続行] をクリックします。
プロジェクトへのアクセス権限を付与するには、サービスアカウントに次のロールを付与します。Vision AI > Vision AI 編集者、Compute Engine > Compute インスタンス管理者（ベータ版）、Storage > Storage オブジェクト閲覧者 †。[ロールを選択] リストでロールを選択します。ロールを追加するには、[別のロールを追加] をクリックして各ロールを追加します。注: [ロール] フィールドは、サービスアカウントがプロジェクト内のどのリソースにアクセスできるかに影響します。これらのロールは後で取り消すことも、追加のロールを付与することもできます。本番環境では、オーナー、編集者、閲覧者のロールを付与しないでください。代わりに、ニーズに合わせて事前定義ロールまたはカスタムロールを付与します。
[続行] をクリックします。
[完了] をクリックして、サービスアカウントの作成を完了します。ブラウザウィンドウは閉じないでください。次のステップでこれを使用します。

サービスアカウントキーを作成します。

Google Cloud コンソールで、作成したサービスアカウントのメールアドレスをクリックします。
[キー] をクリックします。
[鍵を追加]、[新しい鍵を作成] の順にクリックします。
[作成] をクリックします。JSON キーファイルがパソコンにダウンロードされます。
[閉じる] をクリックします。
Google Cloud CLI をインストールして初期化します。

† Cloud Storage バケットからサンプル動画ファイルをコピーする場合にのみ、このロールが必要です。

3. 動画をストリーミングする VM を設定する

Occupancy Analytics でアプリを作成する前に、アプリで後で使用できるストリームを登録する必要があります。

このチュートリアルでは、動画をホストする Compute Engine VM インスタンスを作成し、その VM からストリーミング動画データを送信します。

Linux VM を作成する

Compute Engine VM インスタンスから動画を送信する最初の手順は、VM インスタンスの作成です。

コンソールで [VM インスタンス] ページに移動します。[VM インスタンス] に移動
プロジェクトを選択し、[続行] をクリックします。
[インスタンスを作成] をクリックします。
VM の名前を指定します。詳細については、リソースの命名規則をご覧ください。
（省略可）この VM のゾーンを変更します。Compute Engine は、複数のゾーンで各リージョンが均等に使用されるように、各リージョン内でゾーンのリストをランダム化します。
残りのデフォルトオプションはそのままにします。これらのオプションの詳細については、VM を作成して起動するをご覧ください。
VM を作成して起動するには、[作成] をクリックします。

VM 環境を設定する

VM が起動したら、コンソールを使用してブラウザから VM に SSH 接続できます。次に、vaictl コマンドラインツールをダウンロードして、動画をストリームに取り込むことができます。

VM への SSH 接続を確立する

コンソールで [VM インスタンス] ページに移動します。[VM インスタンス] に移動
作成したインスタンス行の [接続] セクションで、[SSH] をクリックします。新しいブラウザウィンドウに SSH 接続が開きます。

vaictl コマンドラインツールをダウンロードする

ブラウザ内 SSH ウィンドウで、次のコマンドを使用して Vertex AI Vision（vaictl）コマンドラインツールをダウンロードします。

wget https://github.com/google/visionai/releases/download/v0.0.4/visionai_0.0-4_amd64.deb

次のコマンドを実行して、コマンドラインツールをインストールします。

sudo apt install ./visionai_0.0-4_amd64.deb

インストールをテストするには、次のコマンドを実行します。

vaictl --help

4. ストリーミング用の動画ファイルを取り込む

VM 環境を設定したら、サンプル動画ファイルをコピーし、vaictl を使用して動画データを占有率分析アプリにストリーミングできます。

まず、Cloud Console で Vision AI API を有効にします。

新しいストリームを登録する

Vertex AI Vision の左側のパネルで [ストリーム] タブをクリックします。
[登録] をクリックします。
[ストリーム名] に「traffic-stream」と入力します。
リージョンに「us-central1」と入力します。
[登録] をクリックします。

ストリームの登録には数分かかります。

サンプル動画を VM にコピーする

VM の [ブラウザでの SSH] ウィンドウで、次の gsutil cp コマンドを使用してサンプル動画をコピーします。次の変数を置き換えます。

SOURCE: 使用する動画ファイルの場所。独自の動画ファイルソース（gs://BUCKET_NAME/FILENAME.mp4 など）を使用するか、サンプル動画（gs://cloud-samples-data/vertex-ai-vision/street_vehicles_people.mp4）（人物と車両の動画、ソース）を使用できます。

export SOURCE=gs://cloud-samples-data/vertex-ai-vision/street_vehicles_people.mp4
gsutil cp $SOURCE .

VM から動画をストリーミングし、ストリームにデータを取り込む

このローカル動画ファイルをアプリの入力ストリームに送信するには、次のコマンドを使用します。次の変数を置き換える必要があります。

PROJECT_ID: Google Cloud プロジェクト ID。
LOCATION_ID: ロケーション ID。たとえば、us-central1 などです。詳細については、クラウドのロケーションをご覧ください。
LOCAL_FILE: ローカル動画ファイルのファイル名。例: street_vehicles_people.mp4
–loop フラグ: 省略可。ストリーミングをシミュレートするためにファイルデータをループします。

export PROJECT_ID=<Your Google Cloud project ID>
export LOCATION_ID=us-central1
export LOCAL_FILE=street_vehicles_people.mp4

このコマンドは、動画ファイルをストリームにストリーミングします。–loop フラグを使用すると、コマンドを停止するまで動画がストリームにループされます。このコマンドはバックグラウンドジョブとして実行されるため、VM が切断された後もストリーミングが継続されます。

（nohup を先頭に追加し、末尾に「&」を追加してバックグラウンドジョブにします）。

nohup vaictl -p $PROJECT_ID \
    -l $LOCATION_ID \
    -c application-cluster-0 \
    --service-endpoint visionai.googleapis.com \
send video-file to streams 'traffic-stream' --file-path $LOCAL_FILE --loop &

vaictl 取り込みオペレーションの開始から動画がダッシュボードに表示されるまで、約 100 秒かかることがあります。

ストリームの取り込みが完了すると、トラフィックストリームを選択して、Vertex AI Vision ダッシュボードの [ストリーム] タブで動画フィードを確認できます。

[ストリーム] タブに移動

UI でライブ動画がストリーミングされている様子 Google Cloud コンソールで、ストリームに取り込まれる動画のライブビュー。動画提供: Elizabeth Mavor（Pixabay）（ピクセル化を追加）。

5. アプリケーションを作成する

最初のステップは、データを処理するアプリを作成することです。アプリは、次のものを接続する自動化されたパイプラインと考えることができます。

データの取り込み: 動画フィードがストリームに取り込まれます。
データ分析: 取り込み後に AI（コンピュータビジョン）モデルを追加できます。
データストレージ: 動画フィードの 2 つのバージョン（元のストリームと AI モデルで処理されたストリーム）をメディアウェアハウスに保存できます。

Google Cloud コンソールでは、アプリはグラフとして表されます。

空のアプリを作成する

アプリグラフにデータを入力する前に、まず空のアプリを作成する必要があります。

Google Cloud コンソールでアプリを作成します。

Google Cloud のコンソールに移動します。
Vertex AI Vision ダッシュボードの [アプリケーション] タブを開きます。

[アプリケーション] タブに移動

[作成] ボタンをクリックします。
アプリ名として「traffic-app」と入力し、リージョンを選択します。
[作成] をクリックします。

アプリコンポーネントノードを追加する

空のアプリケーションを作成したら、次の 3 つのノードをアプリグラフに追加できます。

取り込みノード: 作成した Compute Engine VM インスタンスから送信されたデータを取り込むストリームリソース。
処理ノード: 取り込まれたデータに対して動作する占有率分析モデル。
ストレージノード: 処理済みの動画を保存し、メタデータストアとして機能するメディアウェアハウス。メタデータストアには、取り込まれた動画データに関する分析情報と、AI モデルによって推論された情報が含まれます。

コンソールでアプリにコンポーネントノードを追加します。

Vertex AI Vision ダッシュボードの [アプリケーション] タブを開きます。[アプリケーション] タブに移動
トラフィックアプリの行で、[グラフを表示] を選択します。処理パイプラインのグラフ表示が表示されます。

データ取り込みノードを追加する

入力ストリームノードを追加するには、サイドメニューの [コネクタ] セクションで [ストリーム] オプションを選択します。
開いた [ストリーム] メニューの [ソース] セクションで、[ストリームを追加] を選択します。
[ストリームを追加] メニューで、[新しいストリームを登録] を選択し、ストリーム名として traffic-stream を追加します。
ストリームをアプリグラフに追加するには、[ストリームを追加] をクリックします。

データ処理ノードを追加する

占有数モデルノードを追加するには、サイドメニューの [Specialized models] セクションで [occupancy analytics] オプションを選択します。
デフォルトで選択されている [人物] と [車両] はそのままにします。
ラインクロッシングにラインを追加します。マルチポイント線ツールを使用して、車両や人の出入りを検出する必要がある場所に線を描画します。
アクティブゾーンを描画して、そのゾーン内の人や車両をカウントします。
アクティブゾーンが描画された場合に混雑を検出するための滞留時間の設定を追加しました。

（現在、アクティブゾーンとラインクロッシングの両方を同時にサポートしていません。一度に使用できる機能は 1 つのみです）。

データストレージノードを追加する

出力先（ストレージ）ノードを追加するには、サイドメニューの [コネクタ] セクションで [Vertex AI Vision の Media Warehouse] オプションを選択します。
[Vertex AI Vision のメディアウェアハウス] メニューで、[ウェアハウスを接続] をクリックします。
[ウェアハウスを接続] メニューで、[新しいウェアハウスを作成] を選択します。ウェアハウスに traffic-warehouse という名前を付け、TTL の期間を 14 日のままにします。
[作成] ボタンをクリックしてウェアハウスを追加します。

6. 出力を BigQuery テーブルに接続する

BigQuery コネクタを Vertex AI Vision アプリに追加すると、接続されているすべてのアプリモデルの出力がターゲットテーブルに取り込まれます。

独自の BigQuery テーブルを作成し、アプリに BigQuery コネクタを追加するときにそのテーブルを指定するか、Vertex AI Vision アプリプラットフォームにテーブルを自動的に作成させることができます。

テーブルの自動作成

Vertex AI Vision アプリプラットフォームでテーブルを自動的に作成する場合は、BigQuery コネクタノードを追加するときにこのオプションを指定できます。

テーブルの自動作成を使用する場合は、次のデータセットとテーブルの条件が適用されます。

データセット: 自動的に作成されるデータセット名は visionai_dataset です。
テーブル: 自動的に作成されるテーブル名は visionai_dataset.APPLICATION_ID です。
エラー処理:
同じデータセットに同じ名前のテーブルが存在する場合、自動作成は行われません。

Vertex AI Vision ダッシュボードの [アプリケーション] タブを開きます。[アプリケーション] タブに移動
リストからアプリケーションの名前の横にある [アプリを表示] を選択します。
アプリケーションビルダーのページで、[コネクタ] セクションから [BigQuery] を選択します。
[BigQuery パス] フィールドは空のままにします。
[store metadata from:] で、[occupancy Analytics] のみを選択し、ストリームのチェックを外します。

最終的なアプリグラフは次のようになります。

7. アプリをデプロイして使用できるようにする

必要なコンポーネントをすべて使用してエンドツーエンドのアプリを構築したら、アプリを使用するための最後のステップとして、アプリをデプロイします。

Vertex AI Vision ダッシュボードの [アプリケーション] タブを開きます。[アプリケーション] タブに移動
リストで traffic-app アプリの横にある [グラフを表示] を選択します。
アプリケーショングラフビルダーのページで、[デプロイ] ボタンをクリックします。
次の確認ダイアログで、[デプロイ] を選択します。デプロイオペレーションが完了するまでに数分かかることがあります。デプロイが完了すると、ノードの横に緑色のチェックマークが表示されます。

8. ストレージウェアハウスで動画コンテンツを検索する

動画データを処理アプリに取り込んだ後、分析された動画データを表示し、占有率分析情報に基づいてデータを検索できます。

Vertex AI Vision ダッシュボードの [ウェアハウス] タブを開きます。[ウェアハウス] タブに移動
リストで traffic-warehouse ウェアハウスを見つけて、[アセットを表示] をクリックします。
[人数] または [車両数] セクションで、[最小] の値を 1 に、[最大] の値を 5 に設定します。
Vertex AI Vision の Media Warehouse に保存されている処理済みの動画データをフィルタするには、[検索] をクリックします。

Google Cloud コンソールで検索条件に一致する保存済み動画データのビュー。動画提供者: Elizabeth Mavor（Pixabay）（検索条件を適用）。

9. BigQuery テーブルの出力を分析する

BigQuery に移動

データセットを選択します: visionai_dataset

テーブル（この場合は traffic-app）を選択します。

テーブル名の右にあるその他アイコンをクリックし、[クエリ] をクリックします。

次のクエリを作成します。

Query1: 各ラインを通過する車両数を 1 分ごとに確認するクエリ

abc.sql

—- Get list of active marked lines for each timeframe
WITH line_array AS (
  SELECT
  t.ingestion_time AS ingestion_time,
  JSON_QUERY_ARRAY(t.annotation.stats["crossingLineCounts"]) AS lines
  FROM
  `PROJ_ID.visionai_dataset.APP_ID` AS t
),
—- Flatten active lines to get individual entities details
flattened AS (
  SELECT
  line_array.ingestion_time,
  JSON_VALUE(line.annotation.id) as line_id,
  JSON_QUERY_ARRAY(line["positiveDirectionCounts"]) AS entities
  FROM line_array, unnest(line_array.lines) as line
 )
—- Generate aggregate vehicle count per zone w.r.t time 
SELECT
  STRING(TIMESTAMP_TRUNC(ingestion_time, MINUTE) ) AS time, line_id,
  SUM(INT64(entity["count"])) as vehicle_count
FROM
  flattened, UNNEST(flattened.entities) AS entity
WHERE JSON_VALUE(entity['entity']['labelString']) = 'Vehicle'
GROUP BY time, line_id

Query2: 各ゾーンの 1 分あたりの車両数をチェックするクエリ

—- Get list of active zones for each timeframe
WITH zone_array AS (
     SELECT
     t.ingestion_time AS ingestion_time,
     JSON_QUERY_ARRAY(t.annotation.stats["activeZoneCounts"]) AS zones
     FROM
     `PROJ_ID.visionai_dataset.APP_ID` AS t
),
—- Flatten active zones to get individual entities details
flattened AS (
   SELECT zone_array.ingestion_time, JSON_VALUE(zone.annotation.id) as zone_id,
         JSON_QUERY_ARRAY(zone["counts"]) AS entities
   FROM zone_array, unnest(zone_array.zones) as zone
 )
—- Generate aggregate vehicle count per zone w.r.t time 
SELECT 
STRING(TIMESTAMP_TRUNC(ingestion_time, MINUTE) ) AS time, 
zone_id,
SUM(INT64(entity["count"])) as vehicle_count
FROM flattened, UNNEST(flattened.entities) AS entity
WHERE JSON_VALUE(entity['entity']['labelString']) = 'Vehicle'
GROUP BY time, zone_id

上記のクエリでは、「Vehicle」を「Person」に変更して、Person をカウントできます。

この Codelab では、Query1 のサンプルデータと可視化のみを示します。Query2 についても同様の手順で実行できます。

右側のメニューで [データを探索] をクリックし、[Looker Studio で調べる] を選択します。

[ディメンション] ペインで時間を追加し、時間構成を日時に変更します。「内訳ディメンション」に line_id を追加します。

上のグラフは、各ラインを通過する車両/人の数を 1 分ごとに示しています。

濃い青色のバーと薄い青色のバーは、2 つの異なる line-id を示しています。

10. 完了

お疲れさまでした。これでラボは完了です。

クリーンアップ

このチュートリアルで使用したリソースについて、Google Cloud アカウントに課金されないようにするには、リソースを含むプロジェクトを削除するか、プロジェクトを維持して個々のリソースを削除します。

プロジェクトの削除

リソースを個別に削除する

リソース

https://cloud.google.com/vision-ai/docs/overview

https://cloud.google.com/vision-ai/docs/occupancy-count-tutorial

フィードバック

こちらをクリックしてフィードバックをお送りください

アンケート

このチュートリアルをどのように使用されますか？

通読するのみ

通読し、演習を行う

この Codelab はお役に立ちましたか？

非常に役に立った

ある程度役に立った

Vertex AI Vision のトラフィック モニタリング アプリ