Google Forms के सर्वे के जवाबों को BigQuery में बदलना और लोड करें

1. परिचय

सर्वे कराने की कई वजहें हो सकती हैं. जैसे, ग्राहक की संतुष्टि का आकलन करना, मार्केट रिसर्च करना, किसी प्रॉडक्ट या सेवा को बेहतर बनाना या कर्मचारी के जुड़ाव का आकलन करना. हालांकि, अगर आपने पहले कभी सर्वे के डेटा के साथ काम किया है, तो शायद आपको पता होगा कि स्टैंडर्ड फ़ॉर्मैट में काम करना मुश्किल होता है. इस गाइड में, हम एक ऐसा ऑटोमेटेड पाइपलाइन बनाते हैं जो Google Forms के नतीजों को कैप्चर करता है. साथ ही, Cloud Dataprep की मदद से डेटा को विश्लेषण के लिए तैयार करता है. इसके बाद, डेटा को BigQuery में लोड करता है. इससे आपकी टीम, Looker या Data Studio जैसे टूल का इस्तेमाल करके, विज़ुअल ऐनलिटिक्स कर सकती है.

आप क्या बनाएंगे

इस कोडलैब में, Dataprep का इस्तेमाल करके, Google Forms के हमारे उदाहरण वाले सर्वे से मिले जवाबों को ऐसे फ़ॉर्मैट में बदला जाएगा जो डेटा ऐनलिटिक्स के लिए काम का हो. बदले गए डेटा को BigQuery में पुश किया जाएगा. यहां SQL की मदद से, ज़्यादा मुश्किल सवाल पूछे जा सकते हैं. साथ ही, बेहतर विश्लेषण के लिए इसे अन्य डेटासेट के साथ जोड़ा जा सकता है. आखिर में, पहले से बने डैशबोर्ड एक्सप्लोर किए जा सकते हैं या नई रिपोर्ट बनाने के लिए, अपने कारोबार की अहम जानकारी देने वाले टूल को BigQuery से कनेक्ट किया जा सकता है.

आपको क्या सीखने को मिलेगा

  • Dataprep का इस्तेमाल करके, सर्वे के डेटा को बदलना
  • सर्वे के डेटा को BigQuery में पुश करना
  • सर्वे के डेटा से ज़्यादा अहम जानकारी पाना

आपको किन चीज़ों की ज़रूरत होगी

2. Google Forms के जवाब मैनेज करना

हम अपने उदाहरण वाले सर्वे के लिए, Google Forms के जवाबों को बारीकी से देखकर शुरू करेंगे.

f3d25efd2cc923f5.png

सर्वे के नतीजों को "जवाब" टैब से एक्सपोर्ट किया जा सकता है. इसके लिए, Google Sheets के आइकॉन पर क्लिक करके, नई स्प्रेडशीट बनाएं या नतीजों को किसी मौजूदा स्प्रेडशीट में लोड करें. जब तक जवाब देने वाले लोग अपने जवाब सबमिट करते रहेंगे, तब तक Google Forms, स्प्रेडशीट में जवाब जोड़ता रहेगा. हालांकि, ऐसा तब तक होगा, जब तक "जवाब स्वीकार किए जा रहे हैं" बटन को चुना गया हो.

d499e5a4dccdf5fd.png

4939332a5d8f9f19.png

अब हम जवाब के हर टाइप और Google Sheets फ़ाइल में उसके अनुवाद की समीक्षा करेंगे.

3. सर्वे के जवाबों को बदलना

सर्वे के सवालों को चार ग्रुप में बांटा जा सकता है. हर ग्रुप के लिए, एक्सपोर्ट का फ़ॉर्मैट अलग होगा. सवाल के टाइप के हिसाब से, आपको डेटा को किसी खास तरीके से फिर से व्यवस्थित करना होगा. यहां हम हर ग्रुप और उन बदलावों के टाइप की समीक्षा करते हैं जिन्हें हमें लागू करना है.

एक विकल्प वाले सवाल: छोटा जवाब, पैराग्राफ़, ड्रॉपडाउन, लीनियर स्केल वगैरह

  • सवाल का नाम: कॉलम का नाम
  • जवाब: सेल की वैल्यू
  • बदलाव की ज़रूरत: इसमें कोई बदलाव करने की ज़रूरत नहीं है. जवाब को उसी तरह लोड किया जाता है.

3eeedc50b0fd54fd.png

एक से ज़्यादा विकल्प वाले सवाल: एक से ज़्यादा विकल्प, चेकबॉक्स

  • सवाल का नाम: कॉलम का नाम
  • जवाब: सेमीकोलन से अलग की गई वैल्यू की सूची (उदाहरण के लिए, "जवाब 1; जवाब 4; जवाब 6")
  • बदलाव की ज़रूरत: वैल्यू की सूची को एक्सट्रैक्ट और पिवट करने की ज़रूरत होती है, ताकि हर जवाब एक नई लाइन बन जाए.

cab8a38a96a13ce4.png

एक से ज़्यादा विकल्प वाले ग्रिड से जुड़े सवाल

यहां एक से ज़्यादा विकल्प वाले सवाल का एक उदाहरण दिया गया है. इसमें हर लाइन से एक वैल्यू चुननी होती है.

c6ea3d47d4dd5e78.png

  • सवाल का नाम: हर सवाल, इस फ़ॉर्मैट में कॉलम का नाम बन जाता है: "सवाल [विकल्प]".
  • जवाब: ग्रिड में मौजूद हर जवाब, एक यूनीक वैल्यू वाला कॉलम बन जाता है.
  • बदलाव की ज़रूरत: हर सवाल/जवाब, टेबल में एक नई लाइन बननी चाहिए और इसे दो कॉलम में बांटा जाना चाहिए. एक कॉलम में सवाल का विकल्प और दूसरे कॉलम में जवाब होना चाहिए.

9223d0271516c58d.png

एक से ज़्यादा विकल्प वाले चेकबॉक्स ग्रिड से जुड़े सवाल

यहां चेकबॉक्स ग्रिड का एक उदाहरण दिया गया है. इसमें हर लाइन से एक या एक से ज़्यादा वैल्यू चुनी जा सकती हैं.

4e3189b8cc2d4a8b.png

  • सवाल का नाम: हर सवाल, इस फ़ॉर्मैट में कॉलम का नाम बन जाता है: "सवाल [विकल्प]"..
  • जवाब: ग्रिड में मौजूद हर जवाब, सेमीकोलन से अलग की गई वैल्यू की सूची वाला कॉलम बन जाता है.
  • बदलाव की ज़रूरत: सवाल के इन टाइप में, "चेकबॉक्स" और "एक से ज़्यादा विकल्प वाले ग्रिड" कैटगरी को शामिल किया जाता है. इन्हें इसी क्रम में हल किया जाना चाहिए.

सबसे पहले, हर जवाब की वैल्यू की सूची को एक्सट्रैक्ट और पिवट करने की ज़रूरत होती है, ताकि हर जवाब, उस सवाल के लिए एक नई लाइन बन जाए.

दूसरा: हर जवाब, टेबल में एक नई लाइन बननी चाहिए और इसे दो कॉलम में बांटा जाना चाहिए. एक कॉलम में सवाल का विकल्प और दूसरे कॉलम में जवाब होना चाहिए.

3c3c2bd098e03003.png

इसके बाद, हम दिखाएंगे कि Cloud Dataprep की मदद से इन बदलावों को कैसे मैनेज किया जाता है.

4. Cloud Dataprep फ़्लो बनाना

Cloud Dataprep में "Google Forms Analytics Design Pattern" इंपोर्ट करना

Google Forms Analytics Design Pattern फ़्लो पैकेज डाउनलोड करें. इसे अनज़िप न करें. Cloud Dataprep ऐप्लिकेशन में, बाईं ओर मौजूद नेविगेशन बार में, फ़्लो आइकॉन पर क्लिक करें. इसके बाद, फ़्लो वाले पेज पर, कॉन्टेक्स्ट मेन्यू से इंपोर्ट करें को चुनें.

ba7c0cb0eec398df.png

फ़्लो इंपोर्ट करने के बाद, उसमें बदलाव करने के लिए इंपोर्ट किए गए फ़्लो को चुनें. आपकी स्क्रीन इस तरह दिखनी चाहिए:

44978861eb34ec71.png

Google Sheets में मौजूद सर्वे के नतीजों वाली स्प्रेडशीट को कनेक्ट करना

फ़्लो की बाईं ओर, डेटा सोर्स को Google Sheets से फिर से कनेक्ट करना होगा. इसमें Google Forms के नतीजे शामिल होते हैं. Google Sheet के डेटासेट ऑब्जेक्ट पर राइट क्लिक करें और "बदलें" को चुनें.

55c16f0c04366f0c.png

इसके बाद, मॉडल में सबसे नीचे मौजूद, "डेटासेट इंपोर्ट करें" लिंक पर क्लिक करें. "पाथ में बदलाव करें" पेंसिल पर क्लिक करें.

8afeef260c96277f.png

यहां से, मौजूदा वैल्यू को इस लिंक से बदलें. यह लिंक, Google Forms के कुछ नतीजों वाली Google Sheets की ओर ले जाता है. हमारे उदाहरण या अपनी कॉपी का इस्तेमाल किया जा सकता है: https://docs.google.com/spreadsheets/d/1DgIlvlLceFDqWEJs91F8rt1B-X0PJGLY6shkKGBPWpk/edit?usp=sharing

"आगे बढ़ें" पर क्लिक करें. इसके बाद, सबसे नीचे दाईं ओर मौजूद, "इंपोर्ट करें और फ़्लो में जोड़ें" पर क्लिक करें. मॉडल में वापस आने पर, सबसे नीचे दाईं ओर मौजूद, "बदलें" बटन पर क्लिक करें.

BigQuery टेबल कनेक्ट करना

फ़्लो की दाईं ओर, आपको आउटपुट को अपने BigQuery इंस्टेंस से कनेक्ट करना होगा. हर आउटपुट के लिए, आइकॉन पर क्लिक करें. इसके बाद, इसकी प्रॉपर्टी में इस तरह बदलाव करें.

सबसे पहले, "मैन्युअल डेस्टिनेशन" में बदलाव करें

a3fc2cb80153ec25.png

इसके बाद, "पब्लिश करने की सेटिंग" स्क्रीन पर, बदलाव करें बटन पर क्लिक करें

85791e6162a370de.png

"पब्लिश करने की कार्रवाई" स्क्रीन दिखने पर, आपको BigQuery कनेक्शन पर क्लिक करके और इसकी प्रॉपर्टी में बदलाव करके, कनेक्शन की सेटिंग बदलनी होगी.

1f3e4887baaeaffd.png

वह BigQuery डेटासेट चुनें जिसमें Google Forms के नतीजों को लोड करना है. अगर आपने अब तक कोई BigQuery डेटासेट नहीं बनाया है, तो "डिफ़ॉल्ट" को चुना जा सकता है.

f4eaa05ecf9de162.png

"मैन्युअल डेस्टिनेशन" में बदलाव करने के बाद, "शेड्यूल किए गए डेस्टिनेशन" आउटपुट के लिए भी यही तरीका अपनाएं.

46edea1b8ca63270.png

हर आउटपुट के लिए, एक ही तरीका अपनाएं. कुल मिलाकर, आपको आठ डेस्टिनेशन में बदलाव करना होगा.

5. Cloud Dataprep फ़्लो के बारे में जानकारी

"Google Forms Analytics Design Pattern" फ़्लो का बुनियादी मकसद, सर्वे के जवाबों में पहले बताए गए तरीके से बदलाव करना है. इसके लिए, सवाल की हर कैटगरी को Cloud Dataprep के डेटा में बदलाव करने के खास फ़ॉर्मूले में बांटा जाता है.

यह फ़्लो, सवालों को चार टेबल में बांटता है. ये टेबल, सवाल की चार कैटगरी के हिसाब से होती हैं. ऐसा सिर्फ़ आसानी के लिए किया जाता है

afa421849b1bd398.png

हमारा सुझाव है कि आप हर फ़ॉर्मूले को एक-एक करके एक्सप्लोर करें. इसके लिए, सबसे पहले "Clean Headers" को एक्सप्लोर करें. इसके बाद, "SingleChoiceSELECT-Questions" और फिर इसके नीचे मौजूद अन्य फ़ॉर्मूले को एक्सप्लोर करें.

बदलाव के अलग-अलग चरणों के बारे में बताने के लिए, सभी फ़ॉर्मूले में टिप्पणी की गई है. किसी फ़ॉर्मूले में, किसी चरण में बदलाव किया जा सकता है और किसी खास कॉलम की पहले/बाद की स्थिति का प्रीव्यू देखा जा सकता है.

449da06d96cd520e.png

4ac6e14f578d0707.png

6. Cloud Dataprep फ़्लो चलाना

सोर्स और डेस्टिनेशन को सही तरीके से कॉन्फ़िगर करने के बाद, फ़्लो को चलाकर जवाबों को बदला जा सकता है और उन्हें BigQuery में लोड किया जा सकता है. हर आउटपुट को चुनें और "चलाएं" बटन पर क्लिक करें. अगर बताई गई BigQuery टेबल मौजूद है, तो Dataprep नई लाइनें जोड़ेगा. ऐसा न होने पर, वह नई टेबल बनाएगा.

47cf50f6d17a5b1e.png

जॉब की निगरानी करने के लिए, बाईं ओर मौजूद पैन में "जॉब का इतिहास" आइकॉन पर क्लिक करें. इसमें कुछ मिनट लग सकते हैं. इसके बाद, BigQuery टेबल लोड हो जाएंगी.

afc79eeb27202fb4.png

सभी जॉब पूरी होने के बाद, सर्वे के नतीजों को BigQuery में साफ़, स्ट्रक्चर्ड, और सामान्य फ़ॉर्मैट में लोड किया जाएगा. इसके बाद, उनका विश्लेषण किया जा सकेगा.

7. BigQuery में सर्वे के डेटा का विश्लेषण करना

BigQuery के लिए Google Console में, आपको हर नई टेबल की जानकारी दिखनी चाहिए

df370873572511ac.png

BigQuery में सर्वे का डेटा होने पर, सर्वे के जवाबों को बेहतर तरीके से समझने के लिए, ज़्यादा मुश्किल सवाल आसानी से पूछे जा सकते हैं. उदाहरण के लिए, मान लें कि आपको यह समझना है कि अलग-अलग पेशेवर टाइटल वाले लोग, प्रोग्रामिंग की कौनसी भाषा सबसे ज़्यादा इस्तेमाल करते हैं. इसके लिए, इस तरह की क्वेरी लिखी जा सकती है:

SELECT
   programming_answers.Language  AS programming_answers_language,
   project_answers.Title  AS project_answers_title,
   AVG((case when programming_answers.Level='None' then 0 
when programming_answers.Level='beginner' then 1
when programming_answers.Level='competent' then 2 
when programming_answers.Level='proficient' then 3
when programming_answers.Level='expert' then 4 
else null end) ) AS programming_answers_average_level_value
FROM `my-project.DesignPattern.A000111_ProjectAnswers` AS project_answers
INNER JOIN `my-project.A000111_ProgrammingAnswers` AS programming_answers
ON programming_answers.RESPONSE_ID = project_answers.RESPONSE_ID
GROUP BY 1,2
ORDER BY 3 DESC

अपने विश्लेषण को और भी बेहतर बनाने के लिए, सर्वे के जवाबों को सीआरएम डेटा के साथ जोड़ा जा सकता है. इससे यह देखा जा सकता है कि क्या सर्वे में हिस्सा लेने वाले लोग, आपके डेटा वेयरहाउस में पहले से शामिल किसी खाते से जुड़े हैं. इससे आपके कारोबार को ग्राहक सहायता या नए लॉन्च के लिए उपयोगकर्ताओं को टारगेट करने के बारे में बेहतर फ़ैसले लेने में मदद मिल सकती है.

यहां हम दिखाते हैं कि सर्वे के डेटा को, जवाब देने वाले व्यक्ति के डोमेन और खाते की वेबसाइट के आधार पर, खाते की टेबल के साथ कैसे जोड़ा जा सकता है. अब खाते के टाइप के हिसाब से, जवाबों का डिस्ट्रिब्यूशन देखा जा सकता है. इससे यह समझने में मदद मिलती है कि कितने जवाब देने वाले लोग, मौजूदा ग्राहक खातों से जुड़े हैं.

SELECT
   account.TYPE  AS account_type,
   COUNT(DISTINCT project_answers.Domainname) AS project_answers_count_domains
FROM `my-project.A000111_ProjectAnswers` AS project_answers
LEFT JOIN `my-project.testing.account` AS account 
ON project_answers.Domainname=account.website
GROUP BY 1

8. विज़ुअल ऐनलिटिक्स करना

सर्वे का डेटा, डेटा वेयरहाउस में इकट्ठा हो गया है. इसलिए, कारोबार की अहम जानकारी देने वाले टूल में डेटा का विश्लेषण आसानी से किया जा सकता है. हमने Data Studio और Looker में, रिपोर्ट के कुछ उदाहरण बनाए हैं.

Looker

अगर आपके पास पहले से Looker इंस्टेंस है, तो इस फ़ोल्डर में मौजूद LookML का इस्तेमाल करके, इस पैटर्न के लिए सर्वे और सीआरएम के सैंपल डेटा का विश्लेषण शुरू किया जा सकता है. इसके लिए, Looker का नया प्रोजेक्ट बनाएं. इसके बाद, LookML जोड़ें. साथ ही, अपनी BigQuery कॉन्फ़िगरेशन से मेल खाने के लिए, फ़ाइल में कनेक्शन और टेबल के नाम बदलें. अगर आपके पास Looker इंस्टेंस नहीं है, लेकिन आपको इसके बारे में ज़्यादा जानना है, तो यहां डेमो शेड्यूल किया जा सकता है.

129db05d6f85f484.png

Data Studio

इसके अलावा, Data Studio में रिपोर्ट बनाने के लिए, Google के क्रॉस "खाली रिपोर्ट" वाले फ़्रेम पर क्लिक करें और BigQuery से कनेक्ट करें. Data Studio के सभी निर्देशों का पालन करें. ज़्यादा जानने के लिए, यहां Data Studio की मुख्य सुविधाओं के बारे में शुरुआती जानकारी और परिचय देखें यहां. यहां, Data Studio के पहले से बने डैशबोर्ड भी देखे जा सकते हैं.

5e744869e3fe3f8f.png

9. सफ़ाई करना

बिलिंग से बचने का सबसे आसान तरीका है कि ट्यूटोरियल के लिए बनाया गया Cloud प्रोजेक्ट मिटा दिया जाए. इसके अलावा, अलग-अलग संसाधन मिटाए जा सकते हैं.

  1. Cloud Console में, संसाधन मैनेज करें पर जाएं
  2. प्रोजेक्ट की सूची में, वह प्रोजेक्ट चुनें जिसे मिटाना है. इसके बाद, मिटाएं पर क्लिक करें.
  3. डायलॉग में, प्रोजेक्ट आईडी डालें. इसके बाद, प्रोजेक्ट को मिटाने के लिए बंद करें पर क्लिक करें.