1. 事前準備
在本程式碼研究室中，您將運用新版 People + AI Research (PAIR) 指南的最佳做法，設計新的 AI 產品，著重以人為本的資料做法，並適當調整使用者信任度。
必要條件
- 基本瞭解什麼是 AI。
- 熟悉產品開發工作流程。
課程內容
在本程式碼研究室中，您將瞭解如何使用 Google Research 的「人與 AI 指南」，建構值得信賴且以使用者為中心的 AI 產品。
具體來說，這個管道應能完成以下工作：
- 瞭解 PAIR 指南第二版的新內容。
- 透過一系列練習，瞭解 AI 開發過程中的機會，校正使用者信任度，重點在於資料和使用者可理解的說明。
- 進一步瞭解更多教材和資源。
軟硬體需求
- 瀏覽器
- 用來查看 Colaboratory 筆記本的 Google 帳戶 (例如 使用 BERT 進行情緒分析)
2. 開始操作
我們將在今年的 Google I/O 大會上，推出 PAIR 指南第二版！第一版於兩年前發布，此後全球各地有超過 25 萬人 (包括開發人員、設計師、產品經理和學生等) 使用這項工具。我們很高興推出一系列更新，讓這項功能更加實用。
具體來說，在第二版中，我們提供了一種新的方式來瀏覽指南，並依工作尋找內容。我們整理了一份重要問題清單，協助您和團隊以使用者為中心開發 AI 產品，並在需要時找到所需內容：
- 我應該在何時及如何將 AI 整合到產品中？
- 如何負責任地建構資料集？
- 如何協助使用者建立及校正對 AI 系統的信任感？
- 如何協助使用者開始使用新的 AI 功能？
- 如何向使用者說明我的 AI 系統？
- 如何兼顧使用者控制權和自動化功能？
- 如果發生問題，該如何為使用者提供支援？
選取問題後，系統會以更小、更實用的單元顯示相關內容。
我們也更新了 PAIR 指南，新增以下內容：
- 一組 AI 設計模式
- 個案研究
- 已更新章節
- 全新練習和工作坊套件
在本程式碼研究室中，您將使用 AI 開發新功能，並在工作流程中實際運用這些設計模式。
立即開始！
3. 將使用者需求轉化為 AI 問題
假設有以下情境：
您正在開發電影觀看應用程式，希望提供更優質的個人化體驗，協助使用者找到更多喜歡的電影。
應用程式的到達網頁目前包含下列區段：
- 依上映日期排序的新電影清單
- 所有電影的目錄，依類型分類
- 搜尋框，使用者可依電影名稱、演員等搜尋。
電影應用程式 (不含個人化推薦內容)
您想新增一個專為使用者推薦電影的專區，並認為 AI 是實作這項功能的好選擇。在開始實作前，請先完成下列事項：
- 檢視現有工作流程：使用者目前如何與應用程式互動？您認為可以如何改善他們的使用體驗？
- 判斷 AI 是否能帶來獨特價值：您要解決的問題是否適合使用 AI，且 AI 是否可能改善產品的使用者體驗？
您使用《PAIR 指南》的「使用者需求 + 定義成功」一章，查看 AI 可能是良好解決方案的用途清單，發現使用者的需求屬於下列問題類型：
- 向不同使用者推薦不同內容
- 個人化功能可提升使用者體驗
- 顯示動態內容比可預測的介面更有效率
請務必一併查看 AI 可能不是較佳解決方案的案例清單。
現在您可以看到，AI 輔助解決方案似乎是滿足這項使用者需求的合適選擇，接下來請評估這項解決方案是否真的能提供更優質的使用者體驗。
模式：
開始運用 AI 建構產品前，請確認您想開發的產品或功能需要 AI，或能透過 AI 提升效能。
AI 非常適合用於下列應用程式：
- 向不同使用者推薦不同內容，例如電影建議
- 預測未來事件，例如天氣事件或航班價格變動
- 自然語言理解
- 圖片辨識
在下列情況下，以規則或啟發式為基礎的解決方案 可能更合適：
- 維持可預測性很重要
- 使用者、消費者或開發人員需要完全透明的資訊
- 使用者不希望工作自動化
如要進一步瞭解何時該使用 (或不該使用) AI，請參閱「使用者需求」一章。
完整模式連結：https://pair.withgoogle.com/guidebook/patterns#determine-if-ai-adds-value
您可以向每位使用者推薦他們可能會喜歡的電影，提供比只顯示最新或整體評分最高的電影更豐富的使用者體驗，進而提升應用程式價值。此外，你認為這項功能可以節省他們的時間，不必在快速成長的電影目錄中慢慢尋找。
決定採用 AI 輔助解決方案後，您就可以開始規劃後續步驟。
4. 為工作建立資料集
如要訓練推薦系統為使用者提供電影建議，您需要彙整 AI 模型可從中學習的資料集。
首先，您要做的就是比對使用者需求與資料需求。
使用 PAIR 指南「資料收集 + 評估」章節中的配對練習，判斷下列事項：
- 使用者：電影觀眾 (電影應用程式使用者)
- 使用者需求：更輕鬆快速地找到更多喜歡的電影
- 使用者動作：透過應用程式選取及觀看電影
- AI 系統輸出內容：建議哪些電影及原因 (情緒標籤或標記)
- AI 系統學習：接受電影推薦、觀看完整電影、撰寫電影評論，以及給予電影高評分等行為模式
- 所需資料集：應用程式的電影觀看資料、電影資訊，以及電影評分和評論
- 資料集所需的主要特徵：觀眾的電影偏好和觀看記錄、電影資訊 (例如類型、演員)、電影星等評分、電影評論
- 資料集中需要的主要標籤：觀眾接受或拒絕應用程式建議的比率、觀眾電影觀看完成率、觀眾評分和評論，以及觀眾拒絕建議的原因
完成這項練習後，您會發現幾個潛在的資料來源：
瞭解所需資料類型後，請參考 Google 的 AI 原則和負責任的 AI 技術做法，這些架構可協助您處理隱私權等重要考量 (例如 「提供通知並徵求同意的機會」) 和公平性 (例如 「進行疊代使用者測試，在開發週期融入各種使用者需求。」)
最後，準備訓練資料集時，請務必收集真實資料，反映現實世界中的「雜訊」資料。舉例來說，請務必加入有錯別字、縮寫、表情符號和不尋常或非預期字元的電影評論，因為應用程式使用者日後很可能會提供類似的真實「雜訊」評論，而不是格式完美的評論！
模式：
開發訓練資料集時，請勿追求完美。請允許一些「雜訊」，盡可能讓資料與您預期從使用者取得的實際資料相似。這有助於在模型發布後，避免發生錯誤和提供品質不佳的建議。
如要達成這個目標，請先考量您預期從使用者取得的資料類型，然後確保訓練集中包含這些資料。
舉例來說，如果是圖片辨識系統，請考量您可能會從使用者取得的資料。如果使用者可能沒有時間拍攝高品質相片，而模型必須處理模糊的手機相片，請在訓練資料中加入模糊的相片。
完整模式的連結：https://pair.withgoogle.com/guidebook/patterns#embrace-noisy-data
將使用者需求對應至 AI 問題和資料集需求後，您就可以訓練 AI，為應用程式使用者提供建議並標記電影。在本程式碼研究室中，我們不會介紹這部分程序，但您可以參閱下列資源，進一步瞭解推薦系統和情緒分析：
- Google Developers 上的推薦系統自學課程
- TensorFlow.org 上的「使用 BERT 進行情緒分析的文字分類」教學課程
5. 說明系統功能和限制
設計應用程式的使用者體驗時，請規劃如何引導使用者瞭解新的 AI 輔助功能，並協助他們適當調整期望。使用者不應在所有情況下都隱含信任 AI 系統，而是應正確校準信任度。
在使用者與產品互動前，您就應開始設定期望。建議在產品體驗期間和之外，以各種方式提供說明：
- 說明當下情況。視情況提供特定推論、建議等背後的原因。
- 在產品中提供額外說明。在產品內的其他時機 (例如新手上路) 說明 AI 系統。
- 提供超越產品體驗的價值。產品內資訊可能不足，但您可以透過各種額外資源輔助，例如提高認知度的行銷活動，以及開發心智模型的教育教材和素養活動。
舉例來說，使用者登入應用程式後，從新增至到達網頁的清單中選取推薦電影。除了電影的常見資訊外，您也可以說明為何推薦這部電影。
使用 PAIR 指南的「依問題搜尋」功能，選取「如何向使用者說明我的 AI 系統？」，您會找到以下模式：說明時應著重理解，而非完整性。
模式：
說明 AI 系統的建議時，請著重於分享使用者做出決策和繼續進行所需的資訊。請勿嘗試說明系統中發生的所有情況。
通常，特定預測背後的理由不明，或太過複雜，無法用簡單的詞組或句子歸納。使用者在使用產品時，可能也不希望被多餘的說明干擾或分散注意力。
「 可解釋性 + 信賴」章節 提供各種方法範例，協助您製作簡潔易懂的說明，包括部分說明、逐步揭露和模型信賴度顯示。
如要分享更長或更詳細的整體系統運作說明，請在活躍使用者流程以外的地方進行，例如行銷宣傳品或新手上路內容。
完整模式的連結：https://pair.withgoogle.com/guidebook/patterns#explain-for-understanding
您決定採用這個模式中列出的最佳做法，顯示如下說明：
電影推薦，包括推薦理由
在這個範例說明中，您會套用 PAIR 指南的「可解釋性 + 信任感」指引，並使用資料來源，向使用者提供獲得最多票數的三則使用者評論。
此外，您也醒目顯示了對這部電影正面情緒貢獻最大的特定字詞，這些都是使用者選片時會考量的因素。如要進一步瞭解如何探索情緒分類器，請參閱 PAIR 的語言可解釋性工具 (LIT) 的這個示範。
學習技術可解釋性工具 (LIT) 的螢幕截圖
LIT 是一種視覺化、互動式且可擴充的工具，可協助您檢查自然語言處理 (NLP) 模型行為，並透過相關指標和局部說明 (例如顯著性地圖和預測結果視覺化)，在資料集上測試及驗證假設。產品團隊可以在下列範例用途中使用 LIT：
- 部署模型前的準備
- 測試公平性時
- 如要偵錯個別預測結果
- 比較新舊機型時
6. 決定如何顯示信賴度
您也可以在建議中顯示模型信心度，讓使用者瞭解模型預測結果的準確度。模型信心值顯示 AI 對預測結果的確定程度，以及考慮的替代方案，而非說明 AI 做出特定決策的原因或方式。由於大多數模型都能輸出 n 個最佳分類和信賴分數，模型信賴度顯示畫面通常是現成的說明。
在向使用者顯示建議電影頁面時加入信賴度之前，請先判斷這項信賴度是否對使用者有幫助，以及顯示信賴度的最佳方式。
模式：
在某些情況下，您可以透過模型信賴度 顯示內容，說明 AI 預測的確定程度，以及考慮的替代方案，協助使用者評估 AI 輸出內容的可靠程度。
不過，在其他情況下，使用者可能難以理解信賴度顯示。
如果您決定使用這些技術，請在產品開發初期測試不同類型的螢幕，找出最適合使用者的螢幕。
完整模式連結：https://pair.withgoogle.com/guidebook/patterns#how-to-show-model-confidence
在 PAIR 指南的「可解釋性 + 信任度」一章中，您會看到下列建議做法，可供您參考：
- 最有可能的 N 個分類
- 信賴水準 (數值)
您要在應用程式的到達網頁上向使用者顯示建議電影清單，因此選擇使用有序清單，依序顯示最有可能的 n 部電影。
推薦電影輪播介面，最有可能符合你喜好的電影會優先顯示
7. 讓使用者能從錯誤中繼續操作
在最後幾個步驟中，您已瞭解如何設定預期目標，並向使用者提供說明，協助他們建立及校正對產品的信任感。
另一個重要問題是：發生錯誤時，使用者體驗如何？使用者如何前進也同樣重要。著重於系統故障後使用者可以執行的操作，不僅能賦予使用者能力，還能維持產品的實用性。
如 PAIR 指南「錯誤 + 正常失敗」一章所述，首先請定義產品的錯誤，以及錯誤類型 (使用者、系統或環境)。
請參考下列範例：
- 使用者在電影院看過某部電影，但系統仍推薦該片。雖然這項建議可能不會關閉，但對使用者來說也沒什麼幫助。
- 使用者收到推薦的電影，但這部電影他們已經在電影院看過，而且不喜歡。根據使用者的電影偏好設定，這項推薦內容可能會被視為錯誤。
- 使用者收到自己不常觀看的電影類型推薦。使用者可能會認為這是錯誤。
- 使用者收到應用程式中已下架電影的推薦內容。這顯然是系統錯誤。
在上述第二和第三個例子中，AI 提供的建議對使用者沒有幫助。如果發生這類錯誤，建議您按照 PAIR 指南「意見回饋 + 控制項」一章的建議，讓使用者提供預測意見回饋，並告知影響時間。
模式：
如果 AI 輔助系統的行為與使用者預期或需求不符，請務必提供意見回饋選項。並盡可能根據意見回饋改善模型。
AI 系統中的意見回饋形式多樣，包括：
- 對建議內容表示喜歡或不喜歡
- 隱藏不想要的推薦內容
- 檢舉或回報有問題的建議
- 更傳統的意見回饋流程，使用者透過表單或其他機制手動回報問題
使用者提供意見回饋後，請確認您已收到。請盡可能讓他們瞭解系統會如何處理意見回饋。
完整模式的連結：https://pair.withgoogle.com/guidebook/patterns#let-users-give-feedback
以您的應用程式為例，這可能如下所示：
使用者可以針對建議提供意見...
...並收到後續處理通知
8. 恭喜
恭喜！您剛才已完成範例工作流程，瞭解如何使用 PAIR 指南中的新資源。
摘要
在本程式碼研究室中，您已瞭解如何：
- 將使用者需求轉化為 AI 問題
- 為工作建立資料集
- 引導使用者瞭解新功能
- 說明系統並設定使用者期望
- 讓使用者能從錯誤中繼續操作
- 收集意見回饋，提升產品品質
後續步驟
如要查看本程式碼研究室中強調的所有資源，以及更多資源，請點選下列連結：