1. Tujuan
Ringkasan
Codelab ini akan berfokus pada pembuatan aplikasi Vertex AI Vision secara menyeluruh untuk mengirim peristiwa dengan fitur pengelolaan peristiwa. Kita akan menggunakan Analisis jumlah tamu model Khusus yang telah dilatih sebelumnya fitur bawaan untuk menghasilkan peristiwa berdasarkan pengambilan hal-hal berikut:
- Hitung jumlah kendaraan dan orang yang menyeberang jalan pada garis tertentu.
- Hitung jumlah kendaraan/orang di wilayah tetap di jalan.
- Mendeteksi kemacetan di bagian mana pun dari jalan.
Yang akan Anda pelajari
- Cara menyerap video untuk streaming
- Cara membuat aplikasi di Vertex AI Vision
- Berbagai fitur yang tersedia di Occupancy Analytics dan cara menggunakannya
- Cara men-deploy aplikasi
- Cara menelusuri video di Media Warehouse Vertex AI Vision dengan penyimpanan Anda.
- Cara membuat Cloud Function yang memproses data model Occupancy Analytics.
- Cara membuat Topik Pub/Sub & langganan Anda.
- Cara menyiapkan pengelolaan peristiwa untuk mengirim peristiwa melalui Topik Pub/Sub.
2. Sebelum Memulai
- Di Konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud. Catatan: Jika Anda tidak berencana untuk menyimpan resource yang dibuat dalam prosedur ini, buat project alih-alih memilih project yang sudah ada. Setelah menyelesaikan langkah-langkah ini, Anda dapat menghapus project, sehingga semua resource yang terkait dengan project tersebut akan dihapus. Buka pemilih project
- Pastikan penagihan diaktifkan untuk project Cloud Anda. Pelajari cara memeriksa apakah penagihan telah diaktifkan pada suatu project.
- Mengaktifkan Compute Engine API dan Vision AI API. Aktifkan API
Membuat akun layanan:
- Di konsol Google Cloud, buka halaman Buat akun layanan. Buka Buat akun layanan
- Pilih project Anda.
- Di kolom Nama akun layanan, masukkan nama. Konsol Google Cloud mengisi kolom Service account ID berdasarkan nama ini. Di kolom Deskripsi akun layanan, masukkan deskripsi. Misalnya, Akun layanan untuk panduan memulai.
- Klik Buat dan lanjutkan.
- Untuk memberikan akses ke project Anda, berikan peran berikut ke akun layanan Anda: Vision AI > Vision AI Editor, Compute Engine > Admin Instance Compute (beta), Penyimpanan > Penampil Objek Penyimpanan † . Di daftar Pilih peran, pilih peran. Untuk peran tambahan, klik Tambahkan peran lain, lalu tambahkan setiap peran tambahan. Catatan: Kolom Role memengaruhi resource mana yang dapat diakses akun layanan Anda di project Anda. Anda dapat mencabut peran ini atau memberikan peran tambahan di lain waktu. Dalam lingkungan produksi, jangan memberikan peran Pemilik, Editor, atau Viewer. Sebagai gantinya, berikan peran standar atau peran khusus yang memenuhi kebutuhan Anda.
- Klik Lanjutkan.
- Klik Selesai untuk menyelesaikan pembuatan akun layanan. Jangan tutup jendela browser Anda. Anda akan menggunakannya pada langkah berikutnya.
Membuat kunci akun layanan:
- Di Konsol Google Cloud, klik alamat email untuk akun layanan yang telah Anda buat.
- Klik Kunci.
- Klik Tambahkan kunci, lalu klik Buat kunci baru.
- Klik Create. File kunci JSON akan didownload ke komputer Anda.
- Klik Tutup.
- Instal dan lakukan inisialisasi Google Cloud CLI.
† Peran hanya diperlukan jika Anda menyalin file video sampel dari bucket Cloud Storage.
3. Menyerap file video untuk streaming
Anda dapat menggunakan Vaictl untuk melakukan streaming data video ke aplikasi analisis tingkat keterisian Anda.
Mulai dengan mengaktifkan Vision AI API di Cloud Console
Mendaftarkan streaming baru
- Klik tab Stream di panel kiri Vertex AI Vision.
- Klik Daftar
- Pada nama Feed, masukkan 'traffic-stream'
- Di region, masukkan 'us-central1'
- Klik daftar
Streaming akan memerlukan waktu beberapa menit untuk didaftarkan.
Menyiapkan video sampel
- Anda dapat menyalin video contoh dengan perintah gsutil cp berikut. Ganti variabel berikut:
- SUMBER: Lokasi file video yang akan digunakan. Anda dapat menggunakan sumber file video sendiri (misalnya, gs://BUCKET_NAME/FILENAME.mp4), atau menggunakan video sampel (gs://cloud-samples-data/vertex-ai-vision/street_vehicles_people.mp4 )(video dengan orang dan kendaraan, sumber)
export SOURCE=gs://cloud-samples-data/vertex-ai-vision/street_vehicles_people.mp4 gsutil cp $SOURCE .
Menyerap data ke dalam aliran data Anda
- Untuk mengirim file video lokal ini ke aliran data input aplikasi, gunakan perintah berikut. Anda harus melakukan penggantian variabel berikut:
- PROJECT_ID: ID project Google Cloud Anda.
- LOCATION_ID: ID lokasi Anda. Misalnya, us-central1. Untuk mengetahui informasi selengkapnya, lihat Lokasi Cloud.
- LOCAL_FILE: Nama file dari file video lokal. Misalnya, street_vehicles_people.mp4.
- –loop flag: Opsional. Mengulang data file untuk menyimulasikan streaming.
export PROJECT_ID=<Your Google Cloud project ID> export LOCATION_ID=us-central1 export LOCAL_FILE=street_vehicles_people.mp4
- Perintah ini melakukan streaming file video ke streaming. Jika Anda menggunakan flag –loop, video akan diulang ke streaming sampai Anda menghentikan perintah. Kita akan menjalankan perintah ini sebagai tugas latar belakang agar tugas dapat terus streaming.
- ( tambahkan nohup di awal dan ‘&' di akhir untuk menjadikannya sebagai tugas latar belakang)
nohup vaictl -p $PROJECT_ID \
-l $LOCATION_ID \
-c application-cluster-0 \
--service-endpoint visionai.googleapis.com \
send video-file to streams 'traffic-stream' --file-path $LOCAL_FILE --loop &
Mungkin diperlukan waktu ~100 detik antara memulai operasi penyerapan konversi dan video yang muncul di dasbor.
Setelah proses transfer streaming tersedia, Anda dapat melihat feed video di tab Streaming pada dasbor Vertex AI Vision dengan memilih streaming traffic-stream.
Tampilan live video yang ditransfer ke streaming di konsol Google Cloud. Kredit video: Elizabeth Mavor di Pixabay (pikselasi ditambahkan).
4. Membuat Cloud Function
Kita memerlukan Cloud Function untuk mencerna data model & menghasilkan peristiwa yang nantinya akan dikirim melalui saluran peristiwa.
Anda dapat mempelajari Cloud Function lebih lanjut di sini
Membuat Cloud Function yang memproses model Anda
- Buka halaman pembuatan UI Cloud Function.
- Tetapkan nama fungsi, yang nantinya akan digunakan untuk dirujuk ke Cloud Function ini di setelan Pengelolaan Peristiwa.
- Pastikan region cocok dengan aplikasi Anda.
- Sesuaikan lalu simpan setelan pemicu.
- Klik tombol berikutnya untuk menemukan "kode" bagian.
- Edit fungsi cloud Anda. Berikut adalah contoh runtime Node.js.
/**
* Responds to any HTTP request.
*
* @param {!express:Request} req HTTP request context.
* @param {!express:Response} res HTTP response context.
*/
exports.hello_http = (req, res) => {
// Logging statement can be read with cmd `gcloud functions logs read {$functionName}`.
// For more about logging, please see https://cloud.google.com/functions/docs/monitoring
// The processor output will be stored in req.body.
const messageString = constructMessage(req.body);
// Send your message to operator output with res HTTP response context.
res.status(200).send(messageString);
};
function constructMessage(data) {
/**
* Typically, your processor output should contains appPlatformMetadata & it's designed output.
* For example here, if your output is of tyoe OccupancyCountingPredictionResult, you will need
* to construct the return annotation as such.
*/
// access appPlatformMetat.
const appPlatformMetadata = data.appPlatformMetadata;
// access annotations.
const annotations = data.annotations.map(annotation => {
// This is a mock OccupancyCountingPredictionResult annotation.
return {"annotation" : {"track_info": {"track_id": "12345"}}};
});
const events = [];
for(const annotation of annotations) {
events.push({
"event_message": "Detection event",
"payload" : {
"description" : "object detected"
},
"event_id" : "track_id_12345"
});
}
/**
* Typically, your cloud function should return a string represent a JSON which has two fields:
* "annotations" must follow the specification of the target model.
* "events" should be of type "AppPlatformEventBody".
*/
const messageJson = {
"annotations": annotations,
"events": events,
};
return JSON.stringify(messageJson);
}
- Klik "Deploy" untuk men-deploy fungsi.
5. Membuat Topik Pub/Sub & langganan
Kita harus menyediakan topik Pub/Sub ke aplikasi yang menjadi tujuan pengiriman peristiwa. Untuk menerima peristiwa, langganan Pub/Sub harus berlangganan optik yang dikonfigurasi.
Anda dapat mempelajari lebih lanjut topik Pub/Sub di sini dan langganan di sini.
Membuat Topik Pub/Sub
Untuk membuat topik Pub/Sub, Anda dapat menggunakan gcloud CLI: (Anda harus mengganti SUBSCRIPTION_ID dengan nilai riil dari penyiapan Anda)
gcloud pubsub topics create TOPIC_ID
Atau, Anda dapat menggunakan UI Pub/Sub
Membuat Langganan Pub/Sub
Untuk membuat langganan Pub/Sub, Anda dapat menggunakan gcloud CLI: (Anda harus mengganti SUBSCRIPTION_ID &TOPIC_ID dengan nilai riil dari penyiapan Anda)
gcloud pubsub subscriptions create SUBSCRIPTION_ID \
--topic=TOPIC_ID \
Atau, Anda dapat menggunakan UI Pub/Sub
6. Membuat aplikasi
Langkah pertama adalah membuat aplikasi yang memproses data Anda. Aplikasi dapat dianggap sebagai pipeline otomatis yang menghubungkan hal-hal berikut:
- Penyerapan data: Feed video ditransfer ke dalam streaming.
- Analisis data: Model AI(Computer Vision) dapat ditambahkan setelah penyerapan.
- Penyimpanan data: Kedua versi feed video (streaming asli dan streaming yang diproses oleh model AI) dapat disimpan di media warehouse.
Di konsol Google Cloud, aplikasi direpresentasikan sebagai grafik.
Membuat aplikasi kosong
Sebelum dapat mengisi grafik aplikasi, Anda harus membuat aplikasi kosong terlebih dahulu.
Membuat aplikasi di Konsol Google Cloud.
- Buka Konsol Google Cloud.
- Buka tab Applications pada dasbor Vertex AI Vision.
- Klik tombol tambahkan Buat.
- Masukkan traffic-app sebagai nama aplikasi dan pilih region Anda.
- Klik Buat.
Menambahkan node komponen aplikasi
Setelah membuat aplikasi kosong, Anda selanjutnya dapat menambahkan tiga node ke grafik aplikasi:
- Node proses transfer: Resource streaming yang menyerap data.
- Node pemrosesan: Model analisis jumlah tamu yang menindaklanjuti data yang diserap.
- Node penyimpanan: Media warehouse yang menyimpan video yang diproses, dan berfungsi sebagai penyimpanan metadata. Penyimpanan metadata mencakup informasi analisis tentang data video yang ditransfer, dan informasi yang disimpulkan oleh model AI.
Tambahkan node komponen ke aplikasi Anda di konsol.
- Buka tab Applications pada dasbor Vertex AI Vision. Buka tab Aplikasi
- Di baris aplikasi traffic, pilih Lihat grafik. Anda akan diarahkan ke visualisasi grafik pipeline pemrosesan.
Menambahkan node penyerapan data
- Untuk menambahkan node aliran data input, pilih opsi Stream di bagian Konektor pada menu samping.
- Di bagian Sumber pada menu Aliran yang terbuka, pilih Tambahkan aliran data.
- Di menu Tambahkan aliran data, pilih Daftarkan aliran data baru, lalu tambahkan aliran traffic sebagai nama aliran data.
- Untuk menambahkan aliran data ke grafik aplikasi, klik Tambahkan aliran data.
Menambahkan node pemrosesan data
- Untuk menambahkan node model jumlah tamu, pilih opsi analisis tingkat keterisian di bagian Model khusus pada menu samping.
- Biarkan pilihan default Orang dan Kendaraan.
- Menambahkan Garis pada Persilangan garis. Gunakan alat multi-garis titik untuk menggambar garis di tempat Anda perlu mendeteksi mobil atau orang yang keluar atau masuk.
- Gambar zona aktif untuk menghitung orang/kendaraan di zona tersebut.
- Tambahkan setelan untuk lama singgah guna mendeteksi kemacetan jika zona aktif digambar.
- (zona aktif dan perlintasan garis keduanya tidak didukung secara bersamaan. Gunakan hanya satu fitur dalam satu waktu.)
Menambahkan node penyimpanan data
- Untuk menambahkan node tujuan output (penyimpanan), pilih opsi Media Warehouse dari Vertex AI Vision di bagian Connectors pada menu samping.
- Di menu Media Warehouse dari Vertex AI Vision, klik Connect warehouse.
- Di menu Connect warehouse, pilih Create new warehouse. Beri nama gudang traffic gudang, dan biarkan durasi TTL pada 14 hari.
- Klik tombol Buat untuk menambahkan warehouse.
7. Mengonfigurasi Pengelolaan Peristiwa
Durasi 02:00
Kita akan menghubungkan model ke Cloud Function yang dibuat sebelumnya untuk pascapemrosesan, sehingga Cloud Function dapat dengan bebas mencerna output model dan menghasilkan peristiwa sesuai kebutuhan Anda. Kemudian, kita akan mengonfigurasi saluran peristiwa dengan mengonfigurasi Topik Pub/Sub yang telah dibuat sebelumnya sebagai target. Anda juga dapat menetapkan interval minimal, agar channel acara Anda tidak dibanjiri acara yang sama dalam waktu singkat.
Pilih Cloud Function untuk pascapemrosesan
- Klik node pemrosesan data(analisis tingkat keterisian) di grafik aplikasi Anda untuk membuka menu samping.
- Pilih Cloud Function Anda (diidentifikasi berdasarkan nama fungsinya) di drop-down Pasca-pemrosesan.
- Grafik aplikasi akan menyimpan perubahan Anda secara otomatis.
Mengonfigurasi Saluran Peristiwa
- Klik node pemrosesan data(analisis tingkat keterisian) di grafik aplikasi Anda untuk membuka menu samping.
- Klik "SIAPKAN NOTIFIKASI ACARA" di bagian Notifikasi Peristiwa.
- Pilih Topik Pub/Sub di menu drop-down.
- (opsional) tetapkan interval/frekuensi minimal untuk publikasi peristiwa.
8. Men-deploy aplikasi untuk digunakan
Setelah Anda membangun aplikasi end-to-end dengan semua komponen yang diperlukan, langkah terakhir untuk menggunakan aplikasi adalah men-deploy-nya.
- Buka tab Applications pada dasbor Vertex AI Vision. Buka tab Aplikasi
- Pilih Lihat grafik di samping aplikasi traffic aplikasi dalam daftar.
- Dari halaman pembuat grafik aplikasi, klik tombol Deploy.
- Dalam dialog konfirmasi berikut, pilih Deploy. Operasi deployment mungkin memerlukan waktu beberapa menit untuk diselesaikan. Setelah deployment selesai, tanda centang hijau akan muncul di samping node.
9. Memverifikasi Peristiwa/Pesan di langganan Pub/Sub
Setelah Anda menyerap data video ke dalam aplikasi pemrosesan, Cloud Function akan membuat peristiwa setelah model analisis tingkat keterisian menghasilkan anotasi. Maka peristiwa tersebut harus dipublikasikan sebagai pesan melalui topik Pub/Sub Anda & yang diterima oleh langganan Anda.
Langkah-langkah berikut mengasumsikan bahwa Anda memiliki langganan pull.
- Buka daftar Langganan Pub/Sub di project Anda & menemukan langganan yang sesuai. Buka halaman daftar langganan Pub/Sub
- Buka "Pesan" tab.
- Klik "tarik" tombol.
- Lihat pesan Anda dalam tabel.
Atau, Anda dapat mempelajari cara menerima pesan tanpa UI. Buka halaman langganan
10. Selamat
Selamat, kamu telah menyelesaikan lab!
Pembersihan
Agar tidak menimbulkan biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource, atau simpan project dan hapus resource satu per satu.
Menghapus project
Menghapus resource satu per satu
Referensi
https://cloud.google.com/vision-ai/docs/overview
https://cloud.google.com/vision-ai/docs/occupancy-count-tutorial
Masukan
Klik di sini untuk Memberikan Masukan