1. Objectifs
Présentation
Cet atelier de programmation se concentre sur la création d'une application Vertex AI Vision de bout en bout pour envoyer des événements avec la fonctionnalité de gestion des événements. Nous utiliserons les fonctionnalités intégrées du modèle spécialisé pré-entraîné Analyse de l'occupation pour générer des événements en fonction de la capture des éléments suivants :
- Comptez le nombre de véhicules et de personnes traversant une route à une certaine ligne.
- Comptez le nombre de véhicules/personnes dans une zone fixe de la route.
- Détecter les embouteillages sur n'importe quelle partie de la route.
Points abordés
- Ingérer des vidéos pour le streaming
- Créer une application dans Vertex AI Vision
- Les différentes fonctionnalités disponibles dans Occupancy Analytics et comment les utiliser
- Déployer l'application
- Découvrez comment rechercher des vidéos dans le Media Warehouse de Vertex AI Vision.
- Créer une fonction Cloud pour traiter les données du modèle Occupancy Analytics
- Découvrez comment créer un sujet et un abonnement Pub/Sub.
- Comment configurer la gestion des événements pour envoyer des événements via un sujet Pub/Sub.
2. Avant de commencer
- Dans la console Google Cloud, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud. Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu d'en sélectionner un existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées. Accéder au sélecteur de projet
- Assurez-vous que la facturation est activée pour votre projet Cloud. Découvrez comment vérifier si la facturation est activée sur un projet.
- Activez les API Compute Engine et Vision AI. Activer les API
Créez un compte de service :
- Dans la console Google Cloud, accédez à la page Créer un compte de service. Accéder à la page "Créer un compte de service"
- Sélectionnez votre projet.
- Dans le champ Nom du compte de service, saisissez un nom. La console Google Cloud remplit le champ ID du compte de service en fonction de ce nom. Dans le champ Description du compte de service, saisissez une description. Par exemple, "Compte de service pour le démarrage rapide".
- Cliquez sur Créer et continuer.
- Pour accorder l'accès à votre projet, attribuez le ou les rôles suivants à votre compte de service : Vision AI > Éditeur Vision AI, Compute Engine > Administrateur d'instances Compute (bêta), Storage > Lecteur des objets de l'espace de stockage† . Dans la liste Sélectionner un rôle, sélectionnez un rôle. Pour ajouter des rôles supplémentaires, cliquez sur Ajouter un autre rôle et ajoutez chaque rôle supplémentaire. Remarque : Le champ Rôle détermine les ressources auxquelles votre compte de service peut accéder dans votre projet. Vous pouvez révoquer ces rôles ou attribuer des rôles supplémentaires ultérieurement. Dans les environnements de production, n'attribuez pas les rôles Propriétaire, Éditeur et Lecteur. Attribuez plutôt un rôle prédéfini ou un rôle personnalisé répondant à vos besoins.
- Cliquez sur Continuer.
- Cliquez sur OK pour terminer la création du compte de service. Ne fermez pas la fenêtre de votre navigateur. Vous en aurez besoin lors de la tâche suivante.
Créez une clé de compte de service :
- Dans la console Google Cloud, cliquez sur l'adresse e-mail du compte de service que vous avez créé.
- Cliquez sur Keys (Clés).
- Cliquez sur Ajouter une clé, puis sur Créer une clé.
- Cliquez sur Create (Créer). Un fichier de clé JSON est téléchargé sur votre ordinateur.
- Cliquez sur Fermer.
- Installez et initialisez la Google Cloud CLI.
† Rôle requis uniquement si vous copiez un exemple de fichier vidéo à partir d'un bucket Cloud Storage.
3. Ingérer un fichier vidéo pour le streaming
Vous pouvez utiliser vaictl pour diffuser les données vidéo vers votre application d'analyse de l'occupation.
Commencez par activer l'API Vision AI dans la console Cloud.
Enregistrer un nouveau flux
- Cliquez sur l'onglet "Flux" dans le panneau de gauche de Vertex AI Vision.
- Cliquez sur "S'inscrire".
- Dans le champ "Nom du flux", saisissez "traffic-stream".
- Dans le champ "Région", saisissez "us-central1".
- Cliquez sur "S'inscrire".
L'enregistrement du flux prend quelques minutes.
Préparer un exemple de vidéo
- Vous pouvez copier un exemple de vidéo à l'aide de la commande gsutil cp suivante. Remplacez la variable suivante :
- SOURCE : emplacement du fichier vidéo à utiliser. Vous pouvez utiliser votre propre source de fichier vidéo (par exemple, gs://BUCKET_NAME/FILENAME.mp4) ou utiliser l'exemple de vidéo (gs://cloud-samples-data/vertex-ai-vision/street_vehicles_people.mp4)(vidéo avec des personnes et des véhicules, source).
export SOURCE=gs://cloud-samples-data/vertex-ai-vision/street_vehicles_people.mp4 gsutil cp $SOURCE .
Ingérer des données dans votre flux
- Pour envoyer ce fichier vidéo local au flux d'entrée de l'application, utilisez la commande suivante. Vous devez effectuer les substitutions de variables suivantes :
- PROJECT_ID : ID de votre projet Google Cloud.
- LOCATION_ID : votre ID d'établissement. Par exemple, us-central1. Pour en savoir plus, consultez Emplacements Cloud.
- LOCAL_FILE : nom d'un fichier vidéo local. Par exemple, street_vehicles_people.mp4.
- Option "–loop" : facultative. Boucle les données du fichier pour simuler le streaming.
export PROJECT_ID=<Your Google Cloud project ID> export LOCATION_ID=us-central1 export LOCAL_FILE=street_vehicles_people.mp4
- Cette commande diffuse un fichier vidéo dans un flux. Si vous utilisez l'indicateur "–loop", la vidéo est mise en boucle dans le flux jusqu'à ce que vous arrêtiez la commande. Nous exécuterons cette commande en tant que tâche en arrière-plan pour que le flux continue.
- ( ajoutez "nohup" au début et "&" à la fin pour en faire un job en arrière-plan)
nohup vaictl -p $PROJECT_ID \
-l $LOCATION_ID \
-c application-cluster-0 \
--service-endpoint visionai.googleapis.com \
send video-file to streams 'traffic-stream' --file-path $LOCAL_FILE --loop &
Il peut s'écouler environ 100 secondes entre le début de l'opération d'ingestion vaictl et l'affichage de la vidéo dans le tableau de bord.
Une fois l'ingestion de flux disponible, vous pouvez voir le flux vidéo dans l'onglet Flux du tableau de bord Vertex AI Vision en sélectionnant le flux de trafic.
Vue en direct de la vidéo ingérée dans le flux dans la console Google Cloud. Crédit vidéo : Elizabeth Mavor sur Pixabay (pixellisation ajoutée).
4. Créer une fonction Cloud
Nous aurons besoin d'une fonction Cloud Functions pour traiter les données du modèle et générer des événements qui seront ensuite envoyés via le canal d'événements.
Pour en savoir plus sur Cloud Functions, cliquez ici.
Créer une fonction Cloud qui écoute votre modèle
- Accédez à la page de création de l'interface utilisateur Cloud Functions.
- Définissez le nom de la fonction, qui sera utilisé ultérieurement pour faire référence à cette fonction Cloud dans les paramètres de gestion des événements.
- Assurez-vous que la région correspond à votre application.
- Ajustez, puis enregistrez les paramètres du déclencheur.
- Cliquez sur le bouton "Suivant" pour accéder à la partie "code".
- Modifiez votre fonction Cloud. Voici un exemple avec l'environnement d'exécution Node.js.
/**
* Responds to any HTTP request.
*
* @param {!express:Request} req HTTP request context.
* @param {!express:Response} res HTTP response context.
*/
exports.hello_http = (req, res) => {
// Logging statement can be read with cmd `gcloud functions logs read {$functionName}`.
// For more about logging, please see https://cloud.google.com/functions/docs/monitoring
// The processor output will be stored in req.body.
const messageString = constructMessage(req.body);
// Send your message to operator output with res HTTP response context.
res.status(200).send(messageString);
};
function constructMessage(data) {
/**
* Typically, your processor output should contains appPlatformMetadata & it's designed output.
* For example here, if your output is of tyoe OccupancyCountingPredictionResult, you will need
* to construct the return annotation as such.
*/
// access appPlatformMetat.
const appPlatformMetadata = data.appPlatformMetadata;
// access annotations.
const annotations = data.annotations.map(annotation => {
// This is a mock OccupancyCountingPredictionResult annotation.
return {"annotation" : {"track_info": {"track_id": "12345"}}};
});
const events = [];
for(const annotation of annotations) {
events.push({
"event_message": "Detection event",
"payload" : {
"description" : "object detected"
},
"event_id" : "track_id_12345"
});
}
/**
* Typically, your cloud function should return a string represent a JSON which has two fields:
* "annotations" must follow the specification of the target model.
* "events" should be of type "AppPlatformEventBody".
*/
const messageJson = {
"annotations": annotations,
"events": events,
};
return JSON.stringify(messageJson);
}
- Cliquez sur le bouton "Deploy" (Déployer) pour déployer la fonction.
5. Créer un sujet et un abonnement Pub/Sub
Nous devrons fournir un sujet Pub/Sub à l'application, auquel elle pourra envoyer l'événement. Pour recevoir les événements, un abonnement Pub/Sub doit s'abonner à l'option configurée.
Pour en savoir plus sur les sujets Pub/Sub, cliquez ici. Pour en savoir plus sur les abonnements, cliquez ici.
Créer un sujet Pub/Sub
Pour créer un sujet Pub/Sub, vous pouvez utiliser la gcloud CLI : (remplacez SUBSCRIPTION_ID par la valeur réelle de votre configuration)
gcloud pubsub topics create TOPIC_ID
Vous pouvez également utiliser l'interface utilisateur Pub/Sub.
Créer un abonnement Pub/Sub
Pour créer un abonnement Pub/Sub, vous pouvez utiliser la gcloud CLI : (vous devez remplacer SUBSCRIPTION_ID et TOPIC_ID par les valeurs réelles de votre configuration)
gcloud pubsub subscriptions create SUBSCRIPTION_ID \
--topic=TOPIC_ID \
Vous pouvez également utiliser l'interface utilisateur Pub/Sub.
6. Créer une application
La première étape consiste à créer une application qui traite vos données. Une application peut être considérée comme un pipeline automatisé qui relie les éléments suivants :
- Ingestion de données : un flux vidéo est ingéré dans un flux.
- Analyse des données : un modèle d'IA(vision par ordinateur) peut être ajouté après l'ingestion.
- Stockage des données : les deux versions du flux vidéo (le flux d'origine et le flux traité par le modèle d'IA) peuvent être stockées dans un entrepôt multimédia.
Dans la console Google Cloud, une application est représentée sous forme de graphique.
Créer une application vide
Avant de pouvoir remplir le graphique de l'application, vous devez d'abord créer une application vide.
Créez une application dans la console Google Cloud.
- Accédez à la console Google Cloud.
- Ouvrez l'onglet Applications du tableau de bord Vertex AI Vision.
Accéder à l'onglet "Applications"
- Cliquez sur le bouton Créer.
- Saisissez "traffic-app" comme nom d'application et choisissez votre région.
- Cliquez sur Créer.
Ajouter des nœuds de composant d'application
Une fois l'application vide créée, vous pouvez ajouter les trois nœuds au graphique de l'application :
- Nœud d'ingestion : ressource de flux qui ingère les données.
- Nœud de traitement : modèle d'analyse de l'occupation qui agit sur les données ingérées.
- Nœud de stockage : entrepôt multimédia qui stocke les vidéos traitées et sert de magasin de métadonnées. Les magasins de métadonnées incluent des informations analytiques sur les données vidéo ingérées et des informations inférées par les modèles d'IA.
Ajoutez des nœuds de composant à votre application dans la console.
- Ouvrez l'onglet Applications du tableau de bord Vertex AI Vision. Accéder à l'onglet "Applications"
- Sur la ligne "Trafic vers l'application", sélectionnez Afficher le graphique. Vous êtes alors redirigé vers la visualisation graphique du pipeline de traitement.
Ajouter un nœud d'ingestion de données
- Pour ajouter un nœud de flux d'entrée, sélectionnez l'option Flux dans la section Connecteurs du menu latéral.
- Dans la section Source du menu Flux qui s'affiche, sélectionnez Ajouter des flux.
- Dans le menu Ajouter des flux, sélectionnez Enregistrer les nouveaux flux et ajoutez "traffic-stream" comme nom de flux.
- Pour ajouter le flux au graphique de l'application, cliquez sur Ajouter des flux.
Ajouter un nœud de traitement des données
- Pour ajouter le nœud de modèle de comptage d'occupation, sélectionnez l'option Analyse de l'occupation dans la section Modèles spécialisés du menu latéral.
- Laissez les sélections par défaut Personnes et Véhicules.
- Ajoutez des lignes dans le croisement de lignes. Utilisez l'outil Ligne multipoint pour dessiner les lignes où vous devez détecter les voitures ou les personnes qui entrent ou sortent.
- Dessinez les zones actives pour compter les personnes/véhicules dans cette zone.
- Ajoutez des paramètres pour le temps de séjour afin de détecter les embouteillages si une zone active est dessinée.
- (Les zones et les lignes actives ne sont pas compatibles simultanément. N'utilisez qu'une seule fonctionnalité à la fois.)
Ajouter un nœud de stockage de données
- Pour ajouter le nœud de destination de sortie (stockage), sélectionnez l'option Entrepôt de données multimédias Vertex AI Vision dans la section Connecteurs du menu latéral.
- Dans le menu Entrepôt de données multimédias de Vertex AI Vision, cliquez sur Connecter un entrepôt.
- Dans le menu Connecter un entrepôt, sélectionnez Créer un entrepôt. Nommez l'entrepôt "traffic-warehouse" et laissez la durée TTL à 14 jours.
- Cliquez sur le bouton Créer pour ajouter l'entrepôt.
7. Configurer la gestion des événements
Durée : 02:00
Nous allons connecter le modèle à la fonction Cloud créée précédemment pour le post-traitement. La fonction Cloud peut ainsi traiter librement la sortie du modèle et générer des événements adaptés à vos besoins. Nous allons ensuite configurer le canal d'événements en configurant le sujet Pub/Sub créé précédemment comme cible. Vous pouvez également définir un intervalle minimal pour éviter que votre canal d'événements ne soit inondé par le même événement sur une courte période.
Sélectionner une fonction Cloud pour le post-traitement
- Cliquez sur le nœud de traitement des données(analyse de l'occupation) dans le graphique de votre application pour ouvrir le menu latéral.
- Sélectionnez votre fonction Cloud (identifiée par son nom) dans le menu déroulant "Post-traitement".
- Le graphique de l'application enregistre automatiquement vos modifications.
Configurer le canal d'événements
- Cliquez sur le nœud de traitement des données(analyse de l'occupation) dans le graphique de votre application pour ouvrir le menu latéral.
- Cliquez sur "CONFIGURER UNE NOTIFICATION D'ÉVÉNEMENT" dans la section "Notification d'événement".
- Sélectionnez votre sujet Pub/Sub dans le menu déroulant.
- (Facultatif) Définissez l'intervalle/la fréquence minimale pour la publication des événements.
8. Déployer votre application pour l'utiliser
Une fois que vous avez créé votre application de bout en bout avec tous les composants nécessaires, la dernière étape pour l'utiliser consiste à la déployer.
- Ouvrez l'onglet Applications du tableau de bord Vertex AI Vision. Accéder à l'onglet "Applications"
- Sélectionnez Afficher le graphique à côté de l'application de trafic dans la liste.
- Sur la page du générateur de graphiques d'application, cliquez sur le bouton Deploy (Déployer).
- Dans la boîte de dialogue de confirmation suivante, sélectionnez Déployer. L'opération de déploiement peut prendre plusieurs minutes. Une fois le déploiement terminé, des coches vertes s'affichent à côté des nœuds.
9. Vérifier les événements/messages dans l'abonnement Pub/Sub
Une fois les données vidéo ingérées dans votre application de traitement, la fonction Cloud Functions doit générer des événements une fois que le modèle d'analyse de l'occupation a généré une annotation. Ces événements doivent ensuite être publiés sous forme de messages dans votre sujet Pub/Sub et reçus par votre abonnement.
Les étapes suivantes supposent que vous disposez d'un abonnement par extraction.
- Ouvrez la liste des abonnements Pub/Sub dans votre projet et recherchez l'abonnement correspondant. Accéder à la page de la liste des abonnements Pub/Sub
- Accédez à l'onglet "Message".
- Cliquez sur le bouton "pull" (extraire).
- Consultez votre message dans le tableau.
Vous pouvez également découvrir comment recevoir des messages sans interface utilisateur. Accéder à la page d'abonnement
10. Félicitations
Félicitations, vous avez terminé l'atelier.
Nettoyage
Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez chaque ressource individuellement.
Supprimer le projet
Supprimer des ressources individuelles
Ressources
https://cloud.google.com/vision-ai/docs/overview
https://cloud.google.com/vision-ai/docs/occupancy-count-tutorial
Commentaires
Cliquez ici pour nous faire part de vos commentaires