此页面由 Cloud Translation API 翻译。

使用 Vertex AI AutoML 进行电影评分预测

1. 简介

在此 Codelab 中，我们将使用 Vertex AI AutoML 创建一个电影得分预测模型，并从 Java Cloud Functions 触发已部署的模型端点。该模型是使用存储在 BigQuery 中并在 Vertex AI 中注册的数据进行训练的。服务列表可以分为两部分：

机器学习模型的创建和部署
使用 ML API 进行预测的触发器

机器学习模型创建：

从 CSV 到 BigQuery 的数据
集成到 Vertex AI 中的 BigQuery 数据，用于创建 AutoML 模型
Vertex AI Model Registry 中部署的用于生成端点 API 的模型

触发使用 ML API 进行预测：

Java Cloud Functions，用于触发对已部署 AutoML 模型的端点的调用，此端点接受电影详情作为来自界面的请求，返回预测电影得分

以下是该应用的高级架构概览：

5ae50607c0f2db20

上述架构的应用不在本 Codelab 的讨论范围内，但如果您也喜欢开发客户端应用，请参阅博客。

我们来深入了解一下实现步骤。

构建内容

您需要创建一个

一个包含表和模型组件的 BigQuery 数据集
Vertex AI AutoML 模型（创建和部署）
Java Cloud Functions 触发器，使用 ML API 进行预测

2. 要求

一个浏览器，例如 Chrome 或 Firefox
启用了结算功能的 Google Cloud 项目

以下是前提条件：

创建项目

在 Google Cloud Console 的项目选择器页面上，选择或创建一个 Google Cloud 项目。
确保您的 Cloud 项目已启用结算功能。了解如何检查项目是否已启用结算功能。
前往 BigQuery 以启用 API。您还可以在浏览器中输入以下网址，直接打开 BigQuery 网页界面：https://console.cloud.google.com/bigquery

激活 Cloud Shell

您将使用 Cloud Shell，这是一个在 Google Cloud 中运行的命令行环境，其中预装了 bq：在 Cloud 控制台中，点击右上角的“激活 Cloud Shell”：
在连接到 Cloud Shell 后，您应该会看到自己已通过身份验证，并且项目已设置为您的项目 ID。在 Cloud Shell 中运行以下命令，以确认您已通过身份验证：

gcloud auth list

在 Cloud Shell 中运行以下命令，以确认 gcloud 命令了解您的项目

gcloud config list project

如果项目未设置，请使用以下命令进行设置：

gcloud config set project <PROJECT_ID>

如需了解 gcloud 命令和用法，请参阅文档。

3. 准备训练数据

这是所有数据相关项目、产品和应用中的重要步骤，除了准备最佳数据集并使其为机器学习项目做好准备的技术之外，还需要丰富的领域专业知识。在此 Codelab 中，我们假设数据已经准备就绪，并使用以下已处理的 data 文件。

4. 创建和加载数据集

BigQuery 数据集是表的集合。数据集中的所有表都存储在相同的数据位置。您还可以附加自定义访问权限控制，限制对数据集及其表的访问权限。

在 Cloud Shell 中，使用 bq mk 命令创建一个名为“movies”的数据集。

bq mk --location=<<LOCATION>> movies

将 location 设置为区域 (asia-south1)。请务必也将其设为 VERTEX AI 步骤的区域（两个实例应位于同一区域）。

确保您已准备好数据文件 (.csv)。在 Cloud Shell 中执行以下命令，以克隆代码库并导航到项目：

git clone <<repository link>>

cd movie-score

使用 bq load 命令可以将 CSV 文件加载到 BigQuery 表中（请注意，您也可以直接从 BigQuery 界面上传）：

bq load --source_format=CSV --skip_leading_rows=1 movies.movies_score \
./movies_bq_src.csv \ Id:numeric,name:string,rating:string,genre:string,year:numeric,released:string,score:string,director:string,writer:string,star:string,country:string,budget:numeric,company:string,runtime:numeric,data_cat:string

使用以下 3 种方式之一进行查询：

我们可以通过三种方式与 BigQuery 交互，我们将尝试其中两种：a.BigQuery 网页界面 b.bq 命令 c.API

SELECT name, rating, genre, runtime FROM movies.movies_score limit 3;

我使用 BigQuery Web SQL 工作区运行查询。SQL 工作区如下所示：

109a0b2c7155e9b3

使用 bq 命令：

bq query --use_legacy_sql=false \
SELECT name, rating, genre, runtime FROM movies.movies_score limit 3;

5. 在 Vertex AI AutoML 中使用 BigQuery 数据

使用 BigQuery 中的数据直接通过 Vertex AI 创建 AutoML 模型。请记住，我们也可以从 BigQuery 本身执行 AutoML，向 VertexAI 注册模型并公开端点。请参阅 BigQuery AutoML 的文档。但在本示例中，我们将使用 Vertex AI AutoML 来创建模型。

创建 Vertex AI 数据集

从 Google Cloud 控制台前往 Vertex AI，启用 Vertex AI API（如果尚未启用），展开数据并选择“数据集”，点击“创建数据集”，选择“标签页”数据类型，然后选择“回归 / 分类”选项，然后点击“创建”：

4104c75c34cbd2d9