1. Tujuan
Ringkasan
Codelab ini akan berfokus pada pembuatan aplikasi Vertex AI Vision secara menyeluruh untuk memantau rekaman video traffic real-time. Kita akan menggunakan Analisis jumlah tamu model Khusus yang telah dilatih sebelumnya fitur bawaan untuk merekam hal-hal berikut:
- Hitung jumlah kendaraan dan orang yang menyeberang jalan pada garis tertentu.
- Hitung jumlah kendaraan/orang di wilayah tetap di jalan.
- Mendeteksi kemacetan di bagian mana pun dari jalan.
Yang akan Anda pelajari
- Cara menyiapkan VM guna menyerap video untuk streaming
- Cara membuat aplikasi di Vertex AI Vision
- Berbagai fitur yang tersedia di Occupancy Analytics dan cara menggunakannya
- Cara men-deploy aplikasi
- Cara menelusuri video di Media Warehouse Vertex AI Vision dengan penyimpanan Anda.
- Cara menghubungkan output ke BigQuery, menulis kueri SQL untuk mengekstrak insight dari output JSON model dan memvisualisasikan hasilnya di Looker Studio secara real time.
2. Sebelum Memulai
- Di Konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud. Catatan: Jika Anda tidak berencana untuk menyimpan resource yang dibuat dalam prosedur ini, buat project alih-alih memilih project yang sudah ada. Setelah menyelesaikan langkah-langkah ini, Anda dapat menghapus project, sehingga semua resource yang terkait dengan project tersebut akan dihapus. Buka pemilih project
- Pastikan penagihan diaktifkan untuk project Cloud Anda. Pelajari cara memeriksa apakah penagihan telah diaktifkan pada suatu project.
- Mengaktifkan Compute Engine API dan Vision AI API. Aktifkan API
Membuat akun layanan:
- Di konsol Google Cloud, buka halaman Buat akun layanan. Buka Buat akun layanan
- Pilih project Anda.
- Di kolom Nama akun layanan, masukkan nama. Konsol Google Cloud mengisi kolom Service account ID berdasarkan nama ini. Di kolom Deskripsi akun layanan, masukkan deskripsi. Misalnya, Akun layanan untuk panduan memulai.
- Klik Buat dan lanjutkan.
- Untuk memberikan akses ke project Anda, berikan peran berikut ke akun layanan Anda: Vision AI > Vision AI Editor, Compute Engine > Admin Instance Compute (beta), Penyimpanan > Penampil Objek Penyimpanan † . Di daftar Pilih peran, pilih peran. Untuk peran tambahan, klik Tambahkan peran lain, lalu tambahkan setiap peran tambahan. Catatan: Kolom Role memengaruhi resource mana yang dapat diakses akun layanan Anda di project Anda. Anda dapat mencabut peran ini atau memberikan peran tambahan di lain waktu. Dalam lingkungan produksi, jangan memberikan peran Pemilik, Editor, atau Viewer. Sebagai gantinya, berikan peran standar atau peran khusus yang memenuhi kebutuhan Anda.
- Klik Lanjutkan.
- Klik Selesai untuk menyelesaikan pembuatan akun layanan. Jangan tutup jendela browser Anda. Anda akan menggunakannya pada langkah berikutnya.
Membuat kunci akun layanan:
- Di Konsol Google Cloud, klik alamat email untuk akun layanan yang telah Anda buat.
- Klik Kunci.
- Klik Tambahkan kunci, lalu klik Buat kunci baru.
- Klik Create. File kunci JSON akan didownload ke komputer Anda.
- Klik Tutup.
- Instal dan lakukan inisialisasi Google Cloud CLI.
† Peran hanya diperlukan jika Anda menyalin file video sampel dari bucket Cloud Storage.
3. Siapkan VM untuk melakukan streaming video
Sebelum membuat Aplikasi di Occupancy Analytics, Anda harus mendaftarkan aliran data yang dapat digunakan nanti oleh Aplikasi.
Dalam tutorial ini, Anda akan membuat instance VM Compute Engine yang menghosting video, dan Anda mengirimkan data video streaming tersebut dari VM.
Membuat VM Linux
Langkah pertama dalam mengirim video dari instance VM Compute Engine adalah membuat instance VM.
- Di konsol, buka halaman VM instances. Buka instance VM
- Pilih project Anda, lalu klik Continue.
- Klik Create instance.
- Tentukan Name untuk VM Anda. Untuk mengetahui informasi selengkapnya, lihat Konvensi penamaan resource.
- Opsional: Ubah Zone untuk VM ini. Compute Engine mengacak daftar zona dalam setiap region untuk mendorong penggunaan di beberapa zona.
- Terima opsi default yang tersisa. Untuk mengetahui informasi selengkapnya tentang opsi ini, lihat Membuat dan memulai VM.
- Untuk membuat dan memulai VM, klik Create.
Menyiapkan lingkungan VM
Setelah VM dimulai, Anda dapat menggunakan console untuk melakukan SSH ke VM dari browser. Lalu, Anda dapat mendownload alat command line vaictl untuk menyerap video ke streaming Anda.
Membuat koneksi SSH ke VM
- Di konsol, buka halaman VM instances. Buka instance VM
- Di bagian Connect pada baris instance yang Anda buat, klik SSH. Tindakan ini akan membuka koneksi SSH di jendela browser baru.
Download alat command line vaictl
- Di jendela SSH-in-browser, download alat command line Vertex AI Vision (vaictl) menggunakan perintah berikut:
wget https://github.com/google/visionai/releases/download/v0.0.4/visionai_0.0-4_amd64.deb
- Instal alat command line dengan menjalankan perintah berikut:
sudo apt install ./visionai_0.0-4_amd64.deb
- Anda dapat menguji penginstalan dengan menjalankan perintah berikut:
vaictl --help
4. Menyerap file video untuk streaming
Setelah menyiapkan lingkungan VM, Anda dapat menyalin file video sampel, lalu menggunakan Vaictl untuk melakukan streaming data video ke aplikasi analisis tingkat keterisian Anda.
Mulai dengan mengaktifkan Vision AI API di Cloud Console
Mendaftarkan streaming baru
- Klik tab Stream di panel kiri Vertex AI Vision.
- Klik Daftar
- Pada nama Feed, masukkan 'traffic-stream'
- Di region, masukkan 'us-central1'
- Klik daftar
Streaming akan memerlukan waktu beberapa menit untuk didaftarkan.
Menyalin video sampel ke VM
- Di jendela SSH-in-browser untuk VM Anda, salin video contoh dengan perintah gsutil cp berikut. Ganti variabel berikut:
- SUMBER: Lokasi file video yang akan digunakan. Anda dapat menggunakan sumber file video sendiri (misalnya, gs://BUCKET_NAME/FILENAME.mp4), atau menggunakan video sampel (gs://cloud-samples-data/vertex-ai-vision/street_vehicles_people.mp4 )(video dengan orang dan kendaraan, sumber)
export SOURCE=gs://cloud-samples-data/vertex-ai-vision/street_vehicles_people.mp4 gsutil cp $SOURCE .
Melakukan streaming video dari VM dan menyerap data ke streaming Anda
- Untuk mengirim file video lokal ini ke aliran data input aplikasi, gunakan perintah berikut. Anda harus melakukan penggantian variabel berikut:
- PROJECT_ID: ID project Google Cloud Anda.
- LOCATION_ID: ID lokasi Anda. Misalnya, us-central1. Untuk mengetahui informasi selengkapnya, lihat Lokasi Cloud.
- LOCAL_FILE: Nama file dari file video lokal. Misalnya, street_vehicles_people.mp4.
- –loop flag: Opsional. Mengulang data file untuk menyimulasikan streaming.
export PROJECT_ID=<Your Google Cloud project ID> export LOCATION_ID=us-central1 export LOCAL_FILE=street_vehicles_people.mp4
- Perintah ini melakukan streaming file video ke streaming. Jika Anda menggunakan flag –loop, video akan diulang ke streaming sampai Anda menghentikan perintah. Kita akan menjalankan perintah ini sebagai tugas latar belakang agar streaming tetap berjalan bahkan setelah VM terputus.
- ( tambahkan nohup di awal dan ‘&' di akhir untuk menjadikannya sebagai tugas latar belakang)
nohup vaictl -p $PROJECT_ID \
-l $LOCATION_ID \
-c application-cluster-0 \
--service-endpoint visionai.googleapis.com \
send video-file to streams 'traffic-stream' --file-path $LOCAL_FILE --loop &
Mungkin diperlukan waktu ~100 detik antara memulai operasi penyerapan konversi dan video yang muncul di dasbor.
Setelah proses transfer streaming tersedia, Anda dapat melihat feed video di tab Streaming pada dasbor Vertex AI Vision dengan memilih streaming traffic-stream.
Tampilan live video yang ditransfer ke streaming di konsol Google Cloud. Kredit video: Elizabeth Mavor di Pixabay (pikselasi ditambahkan).
5. Membuat aplikasi
Langkah pertama adalah membuat aplikasi yang memproses data Anda. Aplikasi dapat dianggap sebagai pipeline otomatis yang menghubungkan hal-hal berikut:
- Penyerapan data: Feed video ditransfer ke dalam streaming.
- Analisis data: Model AI(Computer Vision) dapat ditambahkan setelah penyerapan.
- Penyimpanan data: Kedua versi feed video (streaming asli dan streaming yang diproses oleh model AI) dapat disimpan di media warehouse.
Di konsol Google Cloud, aplikasi direpresentasikan sebagai grafik.
Membuat aplikasi kosong
Sebelum dapat mengisi grafik aplikasi, Anda harus membuat aplikasi kosong terlebih dahulu.
Membuat aplikasi di Konsol Google Cloud.
- Buka Konsol Google Cloud.
- Buka tab Applications pada dasbor Vertex AI Vision.
- Klik tombol tambahkan Buat.
- Masukkan traffic-app sebagai nama aplikasi dan pilih region Anda.
- Klik Buat.
Menambahkan node komponen aplikasi
Setelah membuat aplikasi kosong, Anda selanjutnya dapat menambahkan tiga node ke grafik aplikasi:
- Node penyerapan: Resource aliran yang menyerap data yang dikirim dari instance VM Compute Engine yang Anda buat.
- Node pemrosesan: Model analisis jumlah tamu yang menindaklanjuti data yang diserap.
- Node penyimpanan: Media warehouse yang menyimpan video yang diproses, dan berfungsi sebagai penyimpanan metadata. Penyimpanan metadata mencakup informasi analisis tentang data video yang ditransfer, dan informasi yang disimpulkan oleh model AI.
Tambahkan node komponen ke aplikasi Anda di konsol.
- Buka tab Applications pada dasbor Vertex AI Vision. Buka tab Aplikasi
- Di baris aplikasi traffic, pilih Lihat grafik. Anda akan diarahkan ke visualisasi grafik pipeline pemrosesan.
Menambahkan node penyerapan data
- Untuk menambahkan node aliran data input, pilih opsi Stream di bagian Konektor pada menu samping.
- Di bagian Sumber pada menu Aliran yang terbuka, pilih Tambahkan aliran data.
- Di menu Tambahkan aliran data, pilih Daftarkan aliran data baru, lalu tambahkan aliran traffic sebagai nama aliran data.
- Untuk menambahkan aliran data ke grafik aplikasi, klik Tambahkan aliran data.
Menambahkan node pemrosesan data
- Untuk menambahkan node model jumlah tamu, pilih opsi analisis tingkat keterisian di bagian Model khusus pada menu samping.
- Biarkan pilihan default Orang dan Kendaraan.
- Menambahkan Garis pada Persilangan garis. Gunakan alat multi-garis titik untuk menggambar garis di tempat Anda perlu mendeteksi mobil atau orang yang keluar atau masuk.
- Gambar zona aktif untuk menghitung orang/kendaraan di zona tersebut.
- Tambahkan setelan untuk lama singgah guna mendeteksi kemacetan jika zona aktif digambar.
- (zona aktif dan perlintasan garis keduanya tidak didukung secara bersamaan. Gunakan hanya satu fitur dalam satu waktu.)
Menambahkan node penyimpanan data
- Untuk menambahkan node tujuan output (penyimpanan), pilih opsi Media Warehouse dari Vertex AI Vision di bagian Connectors pada menu samping.
- Di menu Media Warehouse dari Vertex AI Vision, klik Connect warehouse.
- Di menu Connect warehouse, pilih Create new warehouse. Beri nama gudang traffic gudang, dan biarkan durasi TTL pada 14 hari.
- Klik tombol Buat untuk menambahkan warehouse.
6. Hubungkan Output ke Tabel BigQuery
Saat Anda menambahkan konektor BigQuery ke aplikasi Vertex AI Vision, semua output model aplikasi yang terhubung akan ditransfer ke tabel target.
Anda dapat membuat tabel BigQuery sendiri dan menentukan tabel tersebut saat menambahkan konektor BigQuery ke aplikasi, atau membiarkan platform aplikasi Vertex AI Vision membuat tabel tersebut secara otomatis.
Pembuatan tabel otomatis
Jika mengizinkan platform aplikasi Vertex AI Vision membuat tabel secara otomatis, Anda dapat menentukan opsi ini saat menambahkan node konektor BigQuery.
Kondisi set data dan tabel berikut berlaku jika Anda ingin menggunakan pembuatan tabel otomatis:
- Set data: Nama set data yang dibuat secara otomatis adalah visionai_dataset.
- Tabel: Nama tabel yang dibuat secara otomatis adalah visionai_dataset.APPLICATION_ID.
- Penanganan error:
- Jika tabel dengan nama yang sama dalam set data yang sama tidak ada, pembuatan otomatis tidak akan dilakukan.
- Buka tab Applications pada dasbor Vertex AI Vision. Buka tab Aplikasi
- Pilih Lihat aplikasi di samping nama aplikasi Anda dari daftar tersebut.
- Di halaman builder aplikasi, pilih BigQuery dari bagian Konektor.
- Biarkan kolom BigQuery path kosong.
- Di metadata toko dari: hanya pilih 'Analisis jumlah tamu' dan hapus centang pada feed.
Grafik aplikasi akhir akan terlihat seperti ini:
7. Men-deploy aplikasi untuk digunakan
Setelah Anda membangun aplikasi end-to-end dengan semua komponen yang diperlukan, langkah terakhir untuk menggunakan aplikasi adalah men-deploy-nya.
- Buka tab Applications pada dasbor Vertex AI Vision. Buka tab Aplikasi
- Pilih Lihat grafik di samping aplikasi traffic aplikasi dalam daftar.
- Dari halaman pembuat grafik aplikasi, klik tombol Deploy.
- Dalam dialog konfirmasi berikut, pilih Deploy. Operasi deployment mungkin memerlukan waktu beberapa menit untuk diselesaikan. Setelah deployment selesai, tanda centang hijau akan muncul di samping node.
8. Telusuri konten video di gudang penyimpanan
Setelah menyerap data video ke dalam aplikasi pemrosesan, Anda dapat melihat data video yang dianalisis dan menelusuri data berdasarkan informasi analisis tingkat keterisian.
- Buka tab Warehouses pada dasbor Vertex AI Vision. Buka tab Warehouse
- Temukan warehouse traffic warehouse dalam daftar, lalu klik Lihat aset.
- Di bagian Jumlah orang atau Jumlah kendaraan, tetapkan nilai Min ke 1, dan nilai Maksimum ke 5.
- Untuk memfilter data video yang diproses dan disimpan di Media Warehouse Vertex AI Vision, klik Telusuri.
Tampilan data video tersimpan yang cocok dengan kriteria penelusuran di Konsol Google Cloud. Kredit video: Elizabeth Mavor di Pixabay (kriteria penelusuran diterapkan).
9. Menganalisis Output di Tabel BigQuery
Buka BigQuery
Pilih {i>dataset<i}: visionai_dataset
Pilih tabel: APPLICATION_ID (dalam hal ini traffic-app)
Klik tiga titik di sebelah kanan nama tabel dan klik Query
Tulis kueri berikut
Kueri1: Kueri untuk memeriksa Jumlah Kendaraan yang melintasi setiap baris per menit
abc.sql
—- Get list of active marked lines for each timeframe
WITH line_array AS (
SELECT
t.ingestion_time AS ingestion_time,
JSON_QUERY_ARRAY(t.annotation.stats["crossingLineCounts"]) AS lines
FROM
`PROJ_ID.visionai_dataset.APP_ID` AS t
),
—- Flatten active lines to get individual entities details
flattened AS (
SELECT
line_array.ingestion_time,
JSON_VALUE(line.annotation.id) as line_id,
JSON_QUERY_ARRAY(line["positiveDirectionCounts"]) AS entities
FROM line_array, unnest(line_array.lines) as line
)
—- Generate aggregate vehicle count per zone w.r.t time
SELECT
STRING(TIMESTAMP_TRUNC(ingestion_time, MINUTE) ) AS time, line_id,
SUM(INT64(entity["count"])) as vehicle_count
FROM
flattened, UNNEST(flattened.entities) AS entity
WHERE JSON_VALUE(entity['entity']['labelString']) = 'Vehicle'
GROUP BY time, line_id
Query2: Kueri untuk memeriksa Jumlah Kendaraan per menit di setiap Zona
—- Get list of active zones for each timeframe
WITH zone_array AS (
SELECT
t.ingestion_time AS ingestion_time,
JSON_QUERY_ARRAY(t.annotation.stats["activeZoneCounts"]) AS zones
FROM
`PROJ_ID.visionai_dataset.APP_ID` AS t
),
—- Flatten active zones to get individual entities details
flattened AS (
SELECT zone_array.ingestion_time, JSON_VALUE(zone.annotation.id) as zone_id,
JSON_QUERY_ARRAY(zone["counts"]) AS entities
FROM zone_array, unnest(zone_array.zones) as zone
)
—- Generate aggregate vehicle count per zone w.r.t time
SELECT
STRING(TIMESTAMP_TRUNC(ingestion_time, MINUTE) ) AS time,
zone_id,
SUM(INT64(entity["count"])) as vehicle_count
FROM flattened, UNNEST(flattened.entities) AS entity
WHERE JSON_VALUE(entity['entity']['labelString']) = 'Vehicle'
GROUP BY time, zone_id
Pada kueri di atas, Anda dapat mengubah "Kendaraan" menjadi "Person" untuk menghitung Orang.
Codelab ini akan menampilkan contoh data dan visualisasi untuk Query1 saja. Anda dapat mengikuti proses serupa untuk Query2.
Klik Explore Data di menu sebelah kanan dan pilih jelajahi dengan Looker Studio
Di ‘dimensi' tambahkan {i>add time<i} dan ubah
konfigurasi waktu menjadi {i>date-time<i}. Di ‘dimensi perincian' tambahkan line_id. 
Grafik di atas menunjukkan jumlah kendaraan/orang yang melintasi setiap jalur per menit.
Batang biru tua dan biru muda menunjukkan dua ID garis yang berbeda.
10. Selamat
Selamat, kamu telah menyelesaikan lab!
Pembersihan
Agar tidak menimbulkan biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource, atau simpan project dan hapus resource satu per satu.
Menghapus project
Menghapus resource satu per satu
Referensi
https://cloud.google.com/vision-ai/docs/overview
https://cloud.google.com/vision-ai/docs/occupancy-count-tutorial
Masukan
Klik di sini untuk Memberikan Masukan