使用机器学习套件检测图片中的对象：Android

1. 准备工作

机器学习套件是一个移动 SDK，将 Google 的设备端机器学习专业知识融入到 Android 和 iOS 应用中。您可以使用 Vision API 和 Natural Language API 强大而易用的功能，解决应用中的常见挑战，或打造全新的用户体验。所有这些功能均由 Google 一流的机器学习模型提供支持，并免费为您提供。

机器学习套件的 API 均在设备上运行，支持您要处理实时相机数据流的实时用例。这也意味着该功能可离线使用。

此 Codelab 会引导您完成将给定图片的对象检测和跟踪 (ODT) 添加到现有 Android 应用的简单步骤。请注意，此 Codelab 会利用一些快捷键来突出显示机器学习套件 ODT 用法。

构建内容

在此 Codelab 中，您将使用机器学习套件构建一个 Android 应用。您的应用将使用机器学习套件的对象检测和跟踪 API 来检测给定图片中的对象。最终，您应该在右侧看到类似图片的内容。

学习内容

• 如何将机器学习套件 SDK 集成到 Android 应用中
• 机器学习套件的对象检测和跟踪 API

所需条件

• 最新版本的 Android Studio (v4.1.2+)
• Android Studio 模拟器或实体 Android 设备
• 示例代码
• 使用 Kotlin 进行 Android 开发的基础知识

此 Codelab 重点介绍机器学习套件。对于不相关的概念，我们仅会略作介绍，但是会提供不相关的代码块供您复制和粘贴。

2. 进行设置

下载代码

点击下面的链接可下载本 Codelab 的所有代码：

下载源代码

解压下载的 ZIP 文件。此操作会解压缩一个根文件夹 (mlkit-android-main)，其中包含您需要的所有资源。在本 Codelab 中，您只需要 object-detection 子目录中的源代码。

mlkit-android 代码库中的对象检测子目录包含两个目录：

• starter - 本 Codelab 的起始代码。
• final - 完成后的示例应用的完整代码。

3.将机器学习套件的对象检测和跟踪 API 添加到项目中

将应用导入 Android Studio

首先，将入门应用导入 Android Studio。

打开 Android Studio，选择 Import Project（Gradle、Eclipse ADT 等），然后选择之前下载的源代码中的 starter 文件夹。

为机器学习套件的对象检测和跟踪添加依赖项

借助机器学习套件依赖项，您可以将机器学习套件 ODT SDK 集成到您的应用中。将以下几行代码添加到项目的 app/build.gradle 文件末尾：

build.gradle

dependencies {
  // ...
  implementation 'com.google.mlkit:object-detection:16.2.4'
}

将项目与 Gradle 文件同步

为了确保所有依赖项对您的应用都可用，此时应将项目与 gradle 文件同步。

从 Android Studio 工具栏中选择 Sync Project with Gradle Files ( )。

（如果此按钮已停用，请确保仅导入 starter/app/build.gradle，而非整个代码库。）

4.运行入门级应用

现在，您已将项目导入 Android Studio 并为机器学习套件的对象检测和跟踪添加了依赖项，接下来就可以首次运行应用了。

通过 USB 将 Android 设备连接到主机，或启动 Android Studio 模拟器，然后点击 Android Studio 工具栏中的 Run ( )。

运行和探索应用

应用应该会在 Android 设备上启动。它包含一些样板代码，您可以使用它来拍摄照片或选择预设图片，然后将其提供给您将在此 Codelab 中构建的对象检测和跟踪管道。让我们在编写代码之前探索一下应用。

首先，底部有一个 Button ( )，用于执行以下操作：

• 显示设备/模拟器中集成的相机应用
• 在相机应用中拍摄照片
• 在起始应用中接收拍摄的图片
• 显示图片

试用拍照按钮，按照提示拍摄照片，接受照片，然后观察它是否显示在起始应用中。

请重复几次，看看效果如何：

其次，有 3 个预设图片可供选择。如果您在 Android 模拟器上运行，可以稍后使用这些映像测试对象检测代码。

从 3 张预设图片中选择一张图片。看到该图片显示在较大的视图中：

5. 添加设备端对象检测

在此步骤中，您将向起始应用添加用于检测图片中的对象的功能。如上一步所示，入门应用包含使用设备上的相机应用拍摄照片的样板代码。如果您是在 Android 模拟器上运行 Codelab，还可在应用中使用 3 个预设图片进行对象检测。

从预设图片中选择或通过相机应用拍摄照片后，样板代码会将其解码为Bitmap该实例显示在屏幕上并调用runObjectDetection方法。

在此步骤中，您将向 runObjectDetection 方法添加用于执行对象检测的代码！

对图片设置并运行设备端对象检测

只需 3 个简单步骤，即可通过 3 个 API 设置机器学习套件 ODT：

• 准备图片：InputImage
• 创建检测器对象：ObjectDetection.getClient(options)
• 连接上述 2 个对象：process(image)

您可以在 MainActivity.kt 文件内的 runObjectDetection(bitmap: Bitmap) 函数中实现这些函数。

/**
 * ML Kit Object Detection Function
 */
private fun runObjectDetection(bitmap: Bitmap) {
}

目前，该函数是空的。继续执行后续步骤，实现机器学习套件 ODT！ 在此过程中，Android Studio 会提示您添加必要的 import：

• com.google.mlkit.vision.common.InputImage
• com.google.mlkit.vision.objects.ObjectDetection
• com.google.mlkit.vision.objects.defaults.ObjectDetectorOptions

第 1 步：创建 InputImage

机器学习套件提供了一个简单的 API，用于从 Bitmap 创建 InputImage。然后，您可以将 InputImage 提供给 ML Kit API。

// Step 1: create ML Kit's InputImage object
val image = InputImage.fromBitmap(bitmap, 0)

将上述代码添加到 runObjectDetection(bitmap:Bitmap) 的顶部。

第 2 步：创建检测器实例

机器学习套件遵循构建器设计模式。您将此配置传递给构建器，然后从中获取一个检测器。您可以配置 3 个选项（此 Codelab 中使用粗体的选项）：

• 检测器模式（单图 或信息流）
• 检测模式（单个或 多个 对象检测）
• 分类模式 (已开启 或关闭）

此 Codelab 适用于单张图片（多对象检测和分类）。立即添加以下代码：

// Step 2: acquire detector object
val options = ObjectDetectorOptions.Builder()
   .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE)
   .enableMultipleObjects()
   .enableClassification()
   .build()
val objectDetector = ObjectDetection.getClient(options)

第 3 步：将图片馈送到检测器

对象检测和分类是异步处理：

• 您通过 process() 向检测器发送图片。
• 检测器非常实用。
• 检测器通过回调将结果报告给您。

以下代码只是这样做（复制并附加它到 fun runObjectDetection(bitmap:Bitmap)): 内的现有代码中）

// Step 3: feed given image to detector and setup callback
objectDetector.process(image)
   .addOnSuccessListener {
       // Task completed successfully
        debugPrint(it)
   }
   .addOnFailureListener {
       // Task failed with an exception
       Log.e(TAG, it.message.toString())
   }

完成后，检测器会通知您：

• 检测到的对象总数。检测到的每个对象的说明如下：
• trackingId：用于跟踪所有帧的整数（未在此 Codelab 中使用）。
• boundingBox：对象的边界框。
• labels: 检测到的对象的标签列表（仅当启用了分类时）：
• index（获取此标签的索引）
• text（获取此标签的文字，包括“时尚商品”、“食品”、“家居用品”、“地点”、“植物”）
• confidence（介于 0.0 和 1.0 之间，且为 1.0 表示 100%）

您可能已经注意到，此代码使用 debugPrint() 对检测到的结果执行了 printf 处理。

将以下代码添加到 MainActivity 类中：

private fun debugPrint(detectedObjects: List<DetectedObject>) {
   detectedObjects.forEachIndexed { index, detectedObject ->
       val box = detectedObject.boundingBox

       Log.d(TAG, "Detected object: $index")
       Log.d(TAG, " trackingId: ${detectedObject.trackingId}")
       Log.d(TAG, " boundingBox: (${box.left}, ${box.top}) - (${box.right},${box.bottom})")
       detectedObject.labels.forEach {
           Log.d(TAG, " categories: ${it.text}")
           Log.d(TAG, " confidence: ${it.confidence}")
       }
   }
}

现在，您可以接受要检测的图片了！

点击 Android Studio 工具栏中的 Run ( ) 以运行 Codelab。请尝试选择预设的图片，或拍摄照片，然后查看Logcat 窗口（） 。

您应该会看到如下所示的内容：

D/MLKit Object Detection: Detected object: 0
D/MLKit Object Detection:  trackingId: null
D/MLKit Object Detection:  boundingBox: (481, 2021) - (2426,3376)
D/MLKit Object Detection:  categories: Food
D/MLKit Object Detection:  confidence: 0.90234375
D/MLKit Object Detection: Detected object: 1
D/MLKit Object Detection:  trackingId: null
D/MLKit Object Detection:  boundingBox: (2639, 2633) - (3058,3577)
D/MLKit Object Detection: Detected object: 2
D/MLKit Object Detection:  trackingId: null
D/MLKit Object Detection:  boundingBox: (3, 1816) - (615,2597)
D/MLKit Object Detection:  categories: Home good
D/MLKit Object Detection:  confidence: 0.75390625

...这意味着检测器检测到 3 个对象：

• 类别是食品和家居用品。
• 第二个类没有返回任何类别，因为它是一个未知类。
• 无 trackingId（因为这是单一图片检测模式）。
• boundingBox 矩形内的位置（例如：(481, 2021) - (2426, 3376)）
• 检测器很有把握地认为第 1 是美食（置信度为 90% -是沙拉）。

从技术上讲，使用机器学习套件的对象检测功能正常运行所需的一切功能都已准备就绪：此时您已准备就绪！恭喜！

在界面端，您仍然处于启动的阶段，但可以利用界面上检测到的结果（例如绘制边界框）来打造更好的体验：让我们转到下一步 - 后处理检测到的结果！

6.对检测结果进行后处理

在前面的步骤中，您将检测到的结果输出到 logcat 中：简单快速。

在本部分中，您将使用结果到图片中：

• 在图片上绘制边界框
• 在边界框内绘制类别名称和置信度

了解可视化实用程序

此 Codelab 中有一些样板代码，可帮助您直观呈现检测结果。利用这些实用程序来简化可视化代码：

• data class BoxWithText(val box: Rect, val text: String)。这是一个数据类，用于存储要直观呈现的对象检测结果。box 是对象所在的边界框，text 是与对象的边界框一起显示的检测结果字符串。
• fun drawDetectionResult(bitmap: Bitmap, detectionResults: List<BoxWithText>): Bitmap 此方法会在输入 bitmap 上绘制 detectionResults 的对象检测结果，并返回修改后的副本。

以下是 drawDetectionResult 实用程序方法的输出示例：

直观呈现机器学习套件的检测结果

使用可视化实用程序在输入图片上绘制机器学习套件的对象检测结果。

转到调用 debugPrint() 的位置，然后在其下方添加以下代码段：

// Parse ML Kit's DetectedObject and create corresponding visualization data
val detectedObjects = it.map { obj ->
    var text = "Unknown"

    // We will show the top confident detection result if it exist
    if (obj.labels.isNotEmpty()) {
        val firstLabel = obj.labels.first()
        text = "${firstLabel.text}, ${firstLabel.confidence.times(100).toInt()}%"
    }
    BoxWithText(obj.boundingBox, text)
}

// Draw the detection result on the input bitmap
val visualizedResult = drawDetectionResult(bitmap, detectedObjects)

// Show the detection result on the app screen
runOnUiThread {
    inputImageView.setImageBitmap(visualizedResult)
}

• 首先，解析机器学习套件的 DetectedObject，然后创建一个 BoxWithText 对象列表以显示可视化图表结果。
• 然后，使用 drawDetectionResult 实用程序方法在输入图像上绘制检测结果，并将其显示在屏幕上。

运行应用

现在，点击 Android Studio 工具栏中的 Run ( )。

应用加载后，按下带有相机图标的按钮、将相机镜头对准某个对象、拍摄照片、接受照片（在“相机”应用中），您也可以轻松地点按任何预设图片。您应该会看到检测结果；再次按下 Button 或选择另一张图片重复几次来体验最新的机器学习套件 ODT！

7. 恭喜！

您已使用机器学习套件向应用添加对象检测功能：

• 使用 3 个 API 执行 3 个步骤
• 创建输入图片
• 创建检测器
• 将图片发送到检测器

您只需完成此步骤便可开始投放广告！

在处理过程中，您可能需要改进该模型：您可以看到，默认模型只能识别 5 个类别，因为模型甚至不知道刀、叉子和瓶子。查看设备端机器学习 - 对象检测学习衔接课程中的其他 Codelab，了解如何训练自定义模型。

所学内容

• 如何将机器学习套件的对象检测和跟踪添加到您的 Android 应用
• 如何使用机器学习套件中的设备端对象检测和跟踪功能来检测图片中的对象

后续步骤

• 利用 ML Kit ODT 和更多图像和实时视频探索更多内容，体验检测和分类的准确性和性能
• 查看设备端机器学习 - 对象检测学习衔接课程，了解如何训练自定义模型
• 在您自己的 Android 应用中应用机器学习套件 ODT

了解详情

• https://developers.google.com/ml-kit/vision/object-detection