1. 概述
欢迎来到使用 TensorFlow Lite 和 Firebase 进行文本分类 Codelab。在此 Codelab 中,您将学习如何使用 TensorFlow Lite 和 Firebase 训练文本分类模型并将其部署到您的应用。此 Codelab 基于此 TensorFlow Lite示例。
文本分类是根据文本内容为其分配标签或类别的过程。它是自然语言处理 (NLP) 的基本任务之一,具有广泛的应用,例如情感分析、主题标记、垃圾邮件检测和意图检测。
情感分析是使用文本分析技术对文本数据中的情感(积极、消极和中性)进行解释和分类。情绪分析使企业能够在在线对话和反馈中识别客户对产品、品牌或服务的情绪。
本教程展示了如何构建用于情感分析的机器学习模型,特别是将文本分类为正面或负面。这是二元分类(或二类分类)的一个示例,是一种重要且广泛适用的机器学习问题。
你将学到什么
- 使用 TF Lite Model Maker 训练 TF Lite 情感分析模型
- 将 TF Lite 模型部署到 Firebase ML 并从您的应用访问它们
- 使用 TF Lite 任务库将 TF Lite 情感分析模型集成到您的应用程序
你需要什么
- 最新的Android Studio版本。
- 示例代码。
- 配备 Android 5.0+ 和 Google Play 服务 9.8 或更高版本的测试设备,或者配备 Google Play 服务 9.8 或更高版本的模拟器
- 如果使用设备,则需要连接电缆。
您将如何使用本教程?
您如何评价您构建 Android 应用程序的体验?
2. 获取示例代码
从命令行克隆 GitHub 存储库。
$ git clone https://github.com/FirebaseExtended/codelab-textclassification-android.git
如果您没有安装 git,您还可以从其 GitHub 页面或单击此链接下载示例项目。
3. 导入入门应用程序
从 Android Studio 中,选择codelab-textclassification-android-master
目录 ( )从示例代码下载(文件>打开> .../codelab-textclassification-android-master/start)。
您现在应该在 Android Studio 中打开启动项目。
4. 运行启动应用程序
现在您已将项目导入 Android Studio,您可以首次运行该应用程序了。连接您的 Android 设备,然后单击运行( )在 Android Studio 工具栏中。
该应用程序应该在您的设备上启动。它仅包含一个简单的 UI,可以轻松地在后续步骤中集成和测试文本分类模型。此时,如果您尝试预测情绪,应用程序将仅返回一些虚拟结果。
5.创建Firebase控制台项目
将 Firebase 添加到项目中
- 转到Firebase 控制台。
- 选择添加项目。
- 选择或输入项目名称。
- 按照 Firebase 控制台中的其余设置步骤进行操作,然后单击“创建项目”(如果您使用的是现有 Google 项目,则单击“添加 Firebase”)。
6. 将 Firebase 添加到应用程序
- 在新项目的概述屏幕中,单击 Android 图标以启动设置工作流程。
- 输入Codelab的包名称:
org.tensorflow.lite.codelabs.textclassification
将 google-services.json 文件添加到您的应用程序
添加包名称并选择注册**后,单击下载 google-services.json** 以获取您的 Firebase Android 配置文件,然后将google-services.json
文件复制到项目中的 * app
* 目录中。
将 google-services 插件添加到您的应用程序
按照 Firebase 控制台上的说明更新build.gradle.kts
文件,将 Firebase 添加到您的应用。
google-services 插件使用 google-services.json 文件将您的应用程序配置为使用 Firebase。
将您的项目与 gradle 文件同步
为了确保所有依赖项都可供您的应用程序使用,此时您应该将项目与 gradle 文件同步。从 Android Studio 工具栏中选择“文件”>“将项目与 Gradle 文件同步” 。
7. 使用 Firebase 运行应用程序
现在您已经使用 JSON 文件配置了google-services
插件,您就可以使用 Firebase 运行该应用了。连接您的 Android 设备,然后单击运行( )在 Android Studio 工具栏中。
该应用程序应该在您的设备上启动。此时,您的应用程序应该仍然可以成功构建。
8. 训练情感分析模型
我们将使用 TensorFlow Lite Model Maker 训练文本分类模型来预测给定文本的情绪。
此步骤以 Python 笔记本形式呈现,您可以在 Google Colab 中打开。您可以选择“运行时”>“全部运行”以立即执行所有笔记本。
在 Colab 中打开
完成此步骤后,您将拥有一个可以部署到移动应用程序的 TensorFlow Lite 情感分析模型。
9. 将模型部署到 Firebase ML
将模型部署到 Firebase ML 非常有用,主要原因有两个:
- 我们可以保持应用程序安装较小,仅在需要时下载模型
- 该模型可以定期更新,并且发布周期与整个应用程序不同
该模型可以通过控制台部署,也可以使用 Firebase Admin SDK 以编程方式部署。在此步骤中,我们将通过控制台进行部署。
首先,打开Firebase 控制台并单击左侧导航面板中的“机器学习”。如果您是第一次打开,请单击“开始”。然后导航到“自定义”并单击“添加模型”按钮。
出现提示时,将模型命名sentiment_analysis
并上传您在上一步中从 Colab 下载的文件。
10.从 Firebase ML 下载模型
选择何时将远程模型从 Firebase 下载到您的应用程序中可能很棘手,因为 TFLite 模型可能会变得相对较大。理想情况下,我们希望避免在应用程序启动时立即加载模型,因为如果我们的模型仅用于一项功能并且用户从不使用该功能,那么我们将无缘无故地下载大量数据。我们还可以设置下载选项,例如仅在连接到 WiFi 时获取模型。如果您想确保模型即使在没有网络连接的情况下也可用,那么在没有应用程序的情况下将其捆绑作为备份也很重要。
为了简单起见,我们将删除默认的捆绑模型,并在应用首次启动时始终从 Firebase 下载模型。这样,在运行情感分析时,您可以确保推理是使用 Firebase 提供的模型运行的。
在app/build.gradle.kts
文件中,添加 Firebase 机器学习依赖项。
应用程序/build.gradle.kts
找到这条评论:
// TODO 1: Add Firebase ML dependency
然后加:
implementation(platform("com.google.firebase:firebase-bom:32.0.0"))
implementation("com.google.firebase:firebase-ml-modeldownloader:24.1.2")
当 Android Studio 要求同步您的项目时,选择Sync Now 。
然后,我们添加一些代码以从 Firebase 下载模型。
MainActivity.java
找到这条评论:
// TODO 2: Implement a method to download TFLite model from Firebase
然后加:
/** Download model from Firebase ML. */
private synchronized void downloadModel(String modelName) {
CustomModelDownloadConditions conditions = new CustomModelDownloadConditions.Builder()
.requireWifi()
.build();
FirebaseModelDownloader.getInstance()
.getModel("sentiment_analysis", DownloadType.LOCAL_MODEL, conditions)
.addOnSuccessListener(model -> {
try {
// TODO 6: Initialize a TextClassifier with the downloaded model
predictButton.setEnabled(true);
} catch (IOException e) {
Log.e(TAG, "Failed to initialize the model. ", e);
Toast.makeText(
MainActivity.this,
"Model initialization failed.",
Toast.LENGTH_LONG)
.show();
predictButton.setEnabled(false);
}
})
.addOnFailureListener(e -> {
Log.e(TAG, "Failed to download the model. ", e);
Toast.makeText(
MainActivity.this,
"Model download failed, please check your connection.",
Toast.LENGTH_LONG)
.show();
}
);
}
接下来,在 Activity 的onCreate
方法中调用downloadModel
方法。
MainActivity.java
找到这条评论:
// TODO 3: Call the method to download TFLite model
然后加:
downloadModel("sentiment_analysis");
11. 将模型集成到您的应用程序中
Tensorflow Lite 任务库可帮助您只需几行代码即可将 TensorFlow Lite 模型集成到您的应用程序中。我们将使用从 Firebase 下载的 TensorFlow Lite 模型初始化NLClassifier
实例。然后我们将使用它对应用程序用户输入的文本进行分类,并将结果显示在 UI 上。
添加依赖
转到应用程序的 Gradle 文件并在应用程序的依赖项中添加 TensorFlow Lite 任务库(文本)。
应用程序/build.gradle
找到这条评论:
// TODO 4: Add TFLite Task API (Text) dependency
然后加:
implementation("org.tensorflow:tensorflow-lite-task-text:0.3.0")
当 Android Studio 要求同步您的项目时,选择Sync Now 。
初始化文本分类器
然后我们将使用任务库的NLClassifier
加载从 Firebase 下载的情感分析模型。
MainActivity.java
让我们声明一个 NLClassifier 实例变量。找到这条评论:
// TODO 5: Define a NLClassifier variable
然后加:
private NLClassifier textClassifier;
使用从 Firebase 下载的情感分析模型初始化textClassifier
变量。找到这条评论:
// TODO 6: Initialize a TextClassifier with the downloaded model
然后加:
textClassifier = NLClassifier.createFromFile(model.getFile());
对文本进行分类
设置textClassifier
实例后,您可以通过单个方法调用来运行情感分析。
MainActivity.java
找到这条评论:
// TODO 7: Run sentiment analysis on the input text
然后加:
List<Category> results = textClassifier.classify(text);
实施后处理
最后,我们将模型的输出转换为描述性文本以显示在屏幕上。
MainActivity.java
找到这条评论:
// TODO 8: Convert the result to a human-readable text
删除生成虚拟结果文本的代码:
String textToShow = "Dummy classification result.\n";
然后加:
String textToShow = "Input: " + text + "\nOutput:\n";
for (int i = 0; i < results.size(); i++) {
Category result = results.get(i);
textToShow += String.format(" %s: %s\n", result.getLabel(),
result.getScore());
}
textToShow += "---------\n";
12. 运行最终的应用程序
您已将情感分析模型集成到应用程序中,所以我们来测试一下。连接您的 Android 设备,然后单击运行( )在 Android Studio 工具栏中。
该应用程序应该能够正确预测您输入的电影评论的情绪。
13. 使用更多 Firebase 功能为应用程序提供支持
除了托管您的 TFLite 模型之外,Firebase 还提供了其他几个功能来增强您的机器学习用例:
- Firebase 性能监控,用于测量在用户设备上运行的模型推理速度。
- Firebase Analytics 通过测量用户反应来衡量模型在生产中的表现如何。
- Firebase A/B 测试可测试模型的多个版本
- 您还记得我们之前训练了两个版本的 TFLite 模型吗? A/B 测试是找出哪个版本在生产中表现更好的好方法!
要了解有关如何在应用程序中利用这些功能的更多信息,请查看以下代码实验室:
14. 恭喜!
在此 Codelab 中,您学习了如何训练情绪分析 TFLite 模型并使用 Firebase 将其部署到您的移动应用。要了解有关 TFLite 和 Firebase 的更多信息,请查看其他 TFLite示例和 Firebase入门指南。
我们涵盖的内容
- TensorFlow Lite
- Firebase 机器学习
下一步
- 使用 Firebase 性能监控衡量模型推理速度。
- 通过 Firebase ML 模型管理 API 将模型从 Colab 直接部署到 Firebase。
- 添加允许用户反馈预测结果的机制,并使用 Firebase Analytics 跟踪用户反馈。
- 使用 Firebase A/B 测试对平均词向量模型和 MobileBERT 模型进行 A/B 测试。