1. 准备工作
在此 Codelab 中，您将应用新版“人 + AI 研究 (PAIR) 指南”中的最佳实践，设计一款包含 AI 技术的新产品，重点在于以人为本的数据实践和适当调整的用户信任度。
前提条件
- 对 AI 有基本的了解。
- 了解产品开发工作流程。
学习内容
在此 Codelab 中，您将学习如何使用 Google Research 的《人与 AI 指南》来构建值得信赖且以用户为中心的 AI 产品。
具体而言，您将：
- 了解 PAIR 指南第二版的新变化。
- 通过一系列练习，重点关注数据和面向用户的可解释性，突出显示 AI 开发过程中可用于校准用户信任度的机会。
- 简要介绍可供进一步探索的更广泛的材料和资源工具包。
所需条件
- 浏览器
- 用于查看 Colaboratory 笔记本的 Google 账号（例如，使用 BERT 进行情感分析）
2. 开始
我们将在今年的 Google I/O 大会上推出第二版 PAIR 指南！第一版于两年前发布，此后，全球各地超过 25 万人（包括开发者、设计师、产品经理、学生等）都在使用该课程。现在，我们很高兴地宣布推出一系列更新，让这些数据更具实用性。
具体而言，在第二版中，我们提供了一种新的方式来浏览指南并按任务查找内容。我们列出了一些关键问题，这些问题是您和您的团队在以用户为中心的方法开发 AI 产品时可能会遇到的，有助于您在需要时找到所需的内容：
- 何时以及如何在产品中使用 AI？
- 如何负责任地构建数据集？
- 如何帮助用户建立和校准对我的 AI 系统的信任？
- 如何引导用户使用新的 AI 功能？
- 如何向用户说明我的 AI 系统？
- 用户控制与自动化之间的平衡点在哪里？
- 如果出现问题，我该如何为用户提供支持？
选择问题后，您将获得以更小、更实用的单元呈现的相关内容。
我们还使用新内容更新了 PAIR 指南：
- 一组 AI 设计模式
- 案例研究
- 更新后的章节
- 新练习和研讨会套件
在此 Codelab 中，您将通过 AI 开发新功能，并在工作流程中看到其中一些设计模式的实际应用。
让我们开始吧！
3. 将用户需求转化为 AI 问题
不妨想象一下以下场景：
您正在开发一款电影观看应用，希望为用户提供更出色的自定义体验，帮助他们找到更多自己喜欢的电影。
应用的着陆页目前包含以下部分：
- 按上映日期排序的新电影列表
- 按类型整理的所有电影的目录
- 一个搜索框，用户可以在其中按电影名称、演员等信息进行搜索。
不提供个性化推荐的影视应用
您想添加一个新部分，其中包含面向用户的电影推荐，并且您认为 AI 可能是实现此功能的好选择。在深入了解任何实现之前，您需要执行以下操作：
- 查看现有工作流程：用户目前如何与应用互动，您认为他们的体验可以如何改进？
- 确定 AI 是否能带来独特的价值：您的问题是否可以通过 AI 很好地解决？AI 是否有可能改善您产品的用户体验？
您使用 PAIR 指南的“用户需求 + 定义成功”一章，查看了 AI 可能是一个不错的解决方案的用例列表，发现用户的需求属于以下类型的问题：
- 向不同的用户推荐不同的内容
- 个性化有助于改善用户体验
- 显示动态内容比可预测的界面更高效
请务必查看 AI 可能不是更好解决方案的案例列表。
现在，您可以看到，AI 赋能的解决方案似乎是满足此用户需求的理想选择，接下来您需要评估它是否真的能提供更好的用户体验。
模式：
在开始使用 AI 构建产品之前，请确保您想到的产品或功能需要 AI，或者能够通过 AI 得到增强。
AI 非常适合以下应用：
- 向不同用户推荐不同的内容，例如影视内容建议
- 预测未来事件，例如天气事件或机票价格变化
- 自然语言理解
- 图像识别
在以下情况下，基于规则或启发式的 解决方案可能更合适：
- 保持可预测性非常重要
- 用户、客户或开发者需要完全透明
- 用户不希望任务自动化
如需详细了解何时使用（或不使用）AI，请参阅“用户需求”一章。
完整模式的链接：https://pair.withgoogle.com/guidebook/patterns#determine-if-ai-adds-value
您可以向每位用户重点推荐他们可能会喜欢的电影，从而为应用增添价值，并为他们提供比仅展示最新或总体评分最高的电影更丰富的用户体验。您还怀疑，借助此功能，他们或许可以节省一些时间来探索快速增长的电影目录。
既然您已决定采用 AI 赋能的解决方案，接下来就可以开始规划后续步骤了。
4. 为任务构建数据集
为了训练推荐系统向用户提供电影建议，您需要整理一个 AI 模型将从中学习的数据集。
首先，您需要将用户需求与数据需求相匹配。
通过 PAIR 指南第 数据收集与评估章中的配对练习，您确定了以下内容：
- 用户：电影观看者（电影应用用户）
- 用户需求：更轻松、更快速地找到更多自己喜欢的电影
- 用户操作：通过应用选择和观看电影
- AI 系统输出：建议哪些电影以及原因（情感标签或标记）
- AI 系统学习：接受电影推荐、观看完整电影、撰写电影评价以及为电影给出高评分等行为模式
- 所需数据集：来自应用的电影观看数据、电影信息以及电影评分和评价
- 数据集所需的主要特征：观看者的电影偏好和观看记录、电影信息（例如，类型、演员）、电影星级评分、电影评价
- 数据集中所需的主要标签：观看者对应用建议的接受或拒绝率、观看者电影完播率、观看者评分和评价，以及观看者关于拒绝建议的原因的反馈
现在，您已完成此练习，可以开始看到一些潜在的数据源：
在了解所需的数据类型后，您可以参考 Google 的 AI 原则和负责任的 AI 实践，这些框架可帮助您考虑关键因素，例如隐私权（例如，“提供通知和用户意见征求机制”）和公平性（例如“在开发周期内，执行迭代的用户测试，兼顾不同用户的多样化需求。”）
最后，在准备训练数据集时，请务必收集真实反映现实世界中“嘈杂”的数据。例如，请务必添加包含拼写错误、缩写、表情符号以及不寻常或意外字符的电影评论，因为您的应用用户将来很可能会提供类似真实且“嘈杂”的评论，而不是格式完美的评论！
模式：
在开发训练数据集时，不必追求完美精选。相反，允许一些“噪声”，使数据尽可能接近您预计会从用户那里获得的真实数据。这有助于在您将模型发布到实际应用中后，避免出现错误和低质量的推荐。
为此，请考虑您希望从用户那里获取的数据类型，然后确保训练集中包含这些数据。
例如，对于图片识别系统，请考虑您可能会从用户那里获得哪些数据。如果他们可能没有时间拍摄高质量的照片，并且您的模型必须处理模糊的智能手机照片，请在训练数据中包含模糊的照片。
完整模式的链接：https://pair.withgoogle.com/guidebook/patterns#embrace-noisy-data
将用户需求映射到 AI 问题和数据集需求后，您就可以训练 AI 为应用的用户提供推荐内容和标记电影了。虽然我们不会在此 Codelab 中介绍流程的这一部分，但您可以通过以下资源详细了解推荐系统和情感分析：
- Google Developers 上的推荐系统自学课程
- TensorFlow.org 上的使用 BERT 进行情感分析的文本分类教程
5. 说明系统功能和限制
在设计应用的用户体验时，您需要规划如何引导用户使用新的 AI 赋能功能，并帮助他们合理设定预期。用户不应在所有情况下都完全信任您的 AI 系统，而应正确调整信任度。
与用户建立预期是一个深思熟虑的过程，甚至在用户首次与您的产品互动之前就开始了。您需要通过多种方式在整个产品体验过程中以及产品体验之外提供说明：
- 即时说明。在适当的时候，提供给定推理、建议等的理由。
- 在产品中提供更多说明。利用其他产品内时刻（例如新手入门）来解释 AI 系统。
- 超越产品体验。产品内信息可能不够充分，但您可以使用各种其他资源来补充，例如提高认知度的营销活动，以及用于开发心理模型的教育材料和素养宣传活动。
举例来说，某用户已登录应用，并从其着陆页上新添加的列表中选择了一部推荐电影。除了他们可以在该页面上找到的有关电影的常规信息之外，您可能还需要说明为什么他们会在推荐列表中看到这部特定的电影。
使用 PAIR 指南的按问题搜索功能，选择“如何向用户解释我的 AI 系统？”，您会发现以下模式：解释是为了让用户理解，而不是为了完整性。
模式：
在解释 AI 系统的建议时，请重点分享用户做出决策并继续操作所需的信息。请勿尝试解释系统中发生的所有情况。
通常，特定预测背后的理由是未知的，或者过于复杂，无法用简单的短语或句子来概括。用户在使用您的产品时，可能也不希望被多余的说明所困扰或分心。
“可解释性 + 信任”一章 提供了多种方法示例，可用于打造简洁明了、方便用户理解的说明，其中包括部分说明、逐步披露和模型置信度显示。
如果您想更详细地说明整个系统的工作方式，请在活跃用户流程之外进行说明，例如在营销材料或初始配置内容中进行说明。
完整模式的链接：https://pair.withgoogle.com/guidebook/patterns#explain-for-understanding
应用此模式中概述的最佳实践后，您决定显示如下说明：
电影推荐，包括推荐理由
在此示例说明中，您将应用 PAIR 指南中可解释性 + 信任度的指导，并使用数据源向用户提供包含三条最受好评的用户评价的说明。
此外，您还突出显示了对这部电影的正面评价贡献最大的特定字词，这些因素对用户选择电影至关重要。如需详细了解如何在 PAIR 的语言可解释性工具 (LIT) 中探索情感分类器，请观看此演示视频。
Learning Interpretability Tool (LIT) 的屏幕截图
LIT 可通过可视化、交互式和可扩展工具帮助您检查自然语言处理 (NLP) 模型行为，从而让您能够测试假设并通过相关指标和本地解释（例如，显著性地图和预测可视化图表）在数据集上验证假设。产品团队可以在以下示例使用情形中使用 LIT：
- 部署模型前的准备工作
- 测试公平性时
- 调试单个预测
- 比较新旧型号时
6. 确定如何显示置信度
另一种与用户建立预期的方式是显示推荐中的模型置信度。模型置信度显示功能不会说明 AI 做出特定决策的原因或方式，而是显示 AI 对其预测的确定程度以及它考虑过的替代方案。由于大多数模型都可以输出 n-best 分类和置信度分数，因此模型置信度显示通常是一种现成的解释。
在向用户显示的推荐电影页面中添加置信度之前，您需要确定此置信度是否对用户有帮助，如果有，那么显示它的最佳方式是什么。
模式：
在某些情况下，您可以借助模型置信度 显示来帮助用户评估对 AI 输出的信任程度，这些显示会说明 AI 对其预测的确定程度以及考虑的替代方案。
不过，在其他情况下，用户可能难以理解置信度显示。
如果您决定使用它们，请在产品开发过程的早期测试不同类型的显示屏，以找到最适合用户的显示屏。
完整模式的链接：https://pair.withgoogle.com/guidebook/patterns#how-to-show-model-confidence
在 PAIR 指南中关于可解释性 + 信任度的章节中，您可以找到以下建议的置信度显示方法：
- N 个最可能的分类
- 数值置信度
鉴于您要在应用中的着陆页上向用户显示推荐电影列表，因此您选择使用有序列表，其中按顺序显示最有可能的 n 部电影。
推荐电影轮播界面，最有可能符合您喜好的推荐内容会优先显示
7. 为用户提供从错误中继续操作的方式
在最后几个步骤中，您学习了一些最佳实践，以便在帮助用户建立和校准对产品的信任时，设定预期并向用户提供说明。
您需要回答的另一个重要问题是：发生错误时，用户体验会是怎样的？用户如何继续前进同样重要。重点关注用户在系统故障后可以执行的操作，这样既能让用户安心，又能保持产品的实用性。
如 PAIR 指南中关于错误和正常失败的章节所述，您需要先定义产品中的错误是什么，以及错误类型（用户、系统或情境）。
请看以下示例：
- 用户收到了一部他们之前在电影院看过的电影的推荐。虽然此建议可能未关闭，但对用户来说也并非真正有用。
- 用户收到了一部电影的推荐，但这部电影是用户之前在影院看过的，而且用户不喜欢这部电影。根据用户对电影的偏好，此推荐可能被用户视为错误。
- 用户收到了一部自己通常不喜欢的类型的电影的推荐。用户可能会认为这是一个错误。
- 用户收到了一部已不再托管在应用中的电影的推荐。这是一个明显的系统错误。
在上面列出的第二和第三个示例中，AI 提供的建议对相应用户没有帮助。如果发生此类错误，您需要为用户提供机会来针对预测结果提供反馈，并告知用户预测结果的影响时间，如 PAIR 指南中关于反馈 + 控制的章节中所建议的那样。
模式：
当启用 AI 的系统以用户不希望或不期望的方式运行时，请确保用户可以选择分享反馈。并尽可能利用这些反馈来改进模型。
AI 系统中的反馈可以采用多种形式，包括
- 对建议表示“我喜欢”或“不喜欢”
- 隐藏不需要的推荐内容
- 标记或举报有问题的推荐内容
- 更传统的反馈流程，即用户通过表单或其他机制手动报告问题
用户提供反馈后，请确认您已收到反馈。如果可以，请告知他们系统将如何处理反馈。
完整模式的链接：https://pair.withgoogle.com/guidebook/patterns#let-users-give-feedback
对于您的应用，这可能如下所示：
用户可以针对推荐内容提供反馈...
...并收到有关后续步骤的通知
8. 恭喜
恭喜！您刚刚浏览了一个示例工作流，其中展示了如何使用 PAIR 指南的一些新资源。
摘要
在本 Codelab 中，你学习了如何：
- 将用户需求转化为 AI 问题
- 为任务构建数据集
- 引导用户使用新功能
- 说明系统并设定用户预期
- 为用户提供解决错误的方法
- 收集反馈以改进产品
后续操作
您可以通过以下链接找到本 Codelab 中重点介绍的所有资源以及更多资源：