1. 簡介
進行問卷調查的原因有很多,例如評估顧客滿意度、進行市場研究、改善產品或服務,或評估員工參與度。不過,如果您曾嘗試處理問卷調查資料,可能就會知道標準格式難以處理。在本指南中,我們會建構自動化管道,擷取 Google 表單結果、使用 Cloud Dataprep 準備資料以進行分析、將資料載入 BigQuery,並讓團隊使用 Looker 或數據分析等工具執行視覺化分析。
建構項目
在本程式碼實驗室中,您將使用 Dataprep,將 Google 表單問卷調查範例的回覆轉換為適合資料分析的格式。您會將轉換後的資料推送至 BigQuery,以便使用 SQL 提出更深入的問題,並將資料加入其他資料集,進行更強大的分析。最後,您可以探索預先建立的資訊主頁,或將自己的商業智慧工具連結至 BigQuery,建立新報表。
課程內容
- 如何使用 Dataprep 轉換問卷調查資料
- 如何將問卷調查資料推送至 BigQuery
- 如何從問卷調查資料中取得更多洞察資訊
軟硬體需求
- 已啟用計費功能、BigQuery 和 Dataprep 的 Google Cloud 專案
- 具備 Dataprep 的基本知識會有幫助,但並非必要
- 具備 BigQuery 和 SQL 的基本知識會有幫助,但並非必要
2. 管理 Google 表單回覆
首先,我們來仔細查看範例問卷的 Google 表單回覆。

如要匯出問卷調查結果,請在「回覆」分頁中點選 Google 試算表圖示,然後建立新試算表或將結果載入現有試算表。只要作答者提交回覆,Google 表單就會繼續將回覆新增至試算表,直到你取消選取「接受回覆」按鈕為止。


現在,我們來看看每種回應類型,以及在 Google 試算表檔案中的呈現方式。
3. 轉換問卷調查回覆
問卷調查問題可分為四個系列,每個系列都有特定的匯出格式。視問題類型而定,您需要以特定方式重組資料。我們將逐一介紹各個群組,以及需要套用的轉換類型。
單選題:簡答、詳答、下拉式選單、線性刻度等。
- 問題名稱:資料欄名稱
- 回應:儲存格值
- 轉換需求:不需要轉換,回應會依原樣載入。

選擇題:選擇題、核取方塊
- 問題名稱:資料欄名稱
- 回應:以分號分隔的值清單 (例如「Resp 1; Resp 4; Resp 6」)
- 轉換需求:需要擷取值清單並進行透視,讓每則回覆成為新的一列。

選擇方格題
以下是選擇題範例。使用者必須從每一列中選取一個值。

- 問題名稱:每個問題都會成為資料欄名稱,格式為「問題 [選項]」。
- 回應:格狀選單中的每個回應都會變成具有不重複值的資料欄。
- 轉換需求:每個問題/答案都必須成為表格中的新資料列,並分成兩個資料欄。一欄列出問題選項,另一欄列出回覆。

選擇題和核取方塊格題型
以下是核取方塊格線的範例。每列可選取零到多個值。

- 問題名稱:每個問題都會成為資料欄名稱,格式為「問題 [選項]」。
- 回應:格狀問題中的每個回應都會變成一欄,並以分號分隔值清單。
- 轉換需求:這些題型結合了「核取方塊」和「複選題格線」類別,必須依此順序解決。
首先,必須擷取每則回覆的值清單並進行透視,讓每個答案成為特定問題的新資料列。
第二:每則回覆都必須成為表格中的新資料列,並分成兩欄。一欄列出問題選項,另一欄列出答案。

接下來,我們會說明如何使用 Cloud Dataprep 處理這些轉換作業。
4. 建構 Cloud Dataprep 流程
在 Cloud Dataprep 匯入「Google 表單 Analytics Design Pattern」
下載 Google 表單 Analytics Design Pattern 流程套件 (不解壓縮)。在 Cloud Dataprep 應用程式中,按一下左側導覽列中的「Flows」圖示。接著在「Flows」(流程) 頁面中,從內容選單選取「Import」(匯入)。

匯入流程後,請選取匯入的流程進行編輯,畫面應如下所示:

連結 Google 試算表問卷調查結果試算表
在流程左側,資料來源必須重新連結至含有 Google 表單結果的 Google 試算表。在 Google 試算表資料集物件上按一下滑鼠右鍵,然後選取「取代」。

然後點選互動視窗底部的「Import Datasets」連結。按一下「編輯路徑」鉛筆圖示。
接著,將目前的值替換為這個連結,該連結指向包含 Google 表單結果的 Google 試算表。您可以使用我們的範例或自己的副本:https://docs.google.com/spreadsheets/d/1DgIlvlLceFDqWEJs91F8rt1B-X0PJGLY6shkKGBPWpk/edit?usp=sharing
依序點選「Go」和右下方的「匯入及新增至流程」。返回互動視窗後,按一下右下方的「取代」按鈕。
連結 BigQuery 資料表
在流程右側,您需要將輸出內容連結至自己的 BigQuery 執行個體。針對每個輸出,按一下圖示,然後按照下列方式編輯其屬性。
首先,請編輯「手動目的地」

在接下來的「發布設定」畫面中,按一下編輯按鈕

看到「Publishing Action」畫面時,請點選 BigQuery 連線並編輯屬性,變更連線設定。
選取要載入 Google 表單結果的 BigQuery 資料集。如果您尚未建立任何 BigQuery 資料集,可以選取「default」。

編輯「手動目的地」後,請以相同方式處理「排定目的地」輸出內容。

按照相同步驟,反覆調整各項輸出內容。您總共需要編輯 8 個目的地。
5. Cloud Dataprep 流程說明
「Google 表單數據分析設計模式」流程的基本概念,是按照先前所述對問卷調查回覆執行轉換,方法是將每個問題類別細分為特定的 Cloud Dataprep 資料轉換 recipe。
這個流程會將問題分成 4 個資料表 (為求簡單,對應 4 個問題類別)

建議您逐一探索各個方案,先從「Clean Headers」開始,接著是「SingleChoiceSELECT-Questions」,然後是下方的其他方案。
所有食譜都附有註解,說明各項轉換步驟。在食譜中,您可以編輯步驟,並預覽特定資料欄的前後狀態。


6. 執行 Cloud Dataprep 流程
來源和目的地都已設定妥當,現在可以執行流程,轉換回覆並載入 BigQuery。選取各個輸出內容,然後點選「執行」按鈕。如果指定的 BigQuery 資料表存在,Dataprep 會附加新資料列,否則會建立新資料表。

點選左側窗格中的「工作記錄」圖示,即可監控工作。系統應該會在幾分鐘內處理完畢,並載入 BigQuery 資料表。

所有工作完成後,問卷調查結果會以乾淨、結構化且標準化的格式載入 BigQuery,準備進行分析。
7. 在 BigQuery 分析問卷調查資料
在 BigQuery 的 Google 控制台中,您應該能看到每個新資料表的詳細資料

問卷調查資料匯入 BigQuery 後,您就能輕鬆提出更全面的問題,深入瞭解問卷調查回覆。舉例來說,假設您想瞭解不同職稱的人最常使用哪種程式設計語言,可以編寫如下查詢:
SELECT
programming_answers.Language AS programming_answers_language,
project_answers.Title AS project_answers_title,
AVG((case when programming_answers.Level='None' then 0
when programming_answers.Level='beginner' then 1
when programming_answers.Level='competent' then 2
when programming_answers.Level='proficient' then 3
when programming_answers.Level='expert' then 4
else null end) ) AS programming_answers_average_level_value
FROM `my-project.DesignPattern.A000111_ProjectAnswers` AS project_answers
INNER JOIN `my-project.A000111_ProgrammingAnswers` AS programming_answers
ON programming_answers.RESPONSE_ID = project_answers.RESPONSE_ID
GROUP BY 1,2
ORDER BY 3 DESC
如要進一步強化分析,您可以將問卷調查回覆與客戶關係管理 (CRM) 資料彙整,查看參與者是否對應到資料倉儲中已有的任何帳戶。這有助於貴商家做出更明智的決策,例如提供客戶服務,或針對新推出的產品/服務指定使用者。
以下說明如何根據作答者的網域和帳戶網站,將問卷調查資料彙整至帳戶資料表。現在,您可以查看回覆在各帳戶類型的分布情形,瞭解有多少回覆者屬於現有客戶帳戶。
SELECT
account.TYPE AS account_type,
COUNT(DISTINCT project_answers.Domainname) AS project_answers_count_domains
FROM `my-project.A000111_ProjectAnswers` AS project_answers
LEFT JOIN `my-project.testing.account` AS account
ON project_answers.Domainname=account.website
GROUP BY 1
8. 執行視覺分析
問卷調查資料集中在資料倉儲後,您就能輕鬆使用商業智慧工具分析資料。我們在數據分析和 Looker 中建立了一些範例報表。
Looker
如果您已有 Looker 執行個體,可以使用這個資料夾中的 LookML,開始分析這個模式的問卷調查和 CRM 範例資料。只要建立新的 Looker 專案、新增 LookML,並替換檔案中的連線和資料表名稱,使其與 BigQuery 設定相符即可。如果您沒有 Looker 執行個體,但想瞭解詳情,可以在這裡預約示範。

數據分析
或者,如要在數據分析中建立報表,請點選有 Google 十字圖示的「空白報表」框架,然後連結至 BigQuery。請按照數據分析的所有指示操作。如要進一步瞭解,請參閱這篇文章,查看快速入門指南和數據分析的主要功能簡介。您也可以在這裡找到預先建立的數據分析資訊主頁。

9. 清除
如要避免付費,最簡單的方法就是刪除您為了本教學課程所建立的雲端專案。或者,您也可以刪除個別資源。
- 在 Cloud 控制台中,前往「管理資源」頁面
- 在專案清單中選取要刪除的專案,然後點按「刪除」。
- 在對話方塊中輸入專案 ID,然後按一下「Shut down」(關閉) 刪除專案。
