Google Forms के सर्वे के जवाबों को BigQuery में बदलना और लोड करें

1. परिचय

सर्वे कराने की कई वजहें हो सकती हैं: ग्राहक संतुष्टि का आकलन करना, मार्केट रिसर्च करना, किसी प्रॉडक्ट या सेवा को बेहतर बनाना या कर्मचारियों के जुड़ाव का आकलन करना. हालांकि, अगर आपने पहले सर्वे डेटा के साथ काम करने की कोशिश की है, तो आपको शायद पता होगा कि स्टैंडर्ड फ़ॉर्मैट के साथ काम करना मुश्किल होता है. इस गाइड में, हम एक ऑटोमेटेड पाइपलाइन बनाते हैं, जो Google Forms के नतीजों को कैप्चर करती है. साथ ही, Cloud Dataprep की मदद से डेटा को विश्लेषण के लिए तैयार करती है और उसे BigQuery में लोड करती है. इससे आपकी टीम, Looker या Data Studio जैसे टूल का इस्तेमाल करके विज़ुअल विश्लेषण कर पाती है.

आपको क्या बनाना होगा

इस कोडलैब में, Dataprep का इस्तेमाल करके, Google Forms के सर्वे से मिले जवाबों को ऐसे फ़ॉर्मैट में बदला जाएगा जो डेटा ऐनलिटिक्स के लिए काम का हो. बदले गए डेटा को BigQuery में पुश किया जाएगा. यहां SQL की मदद से ज़्यादा गहराई से सवाल पूछे जा सकते हैं. साथ ही, ज़्यादा बेहतर विश्लेषण के लिए, इसे अन्य डेटासेट से जोड़ा जा सकता है. आखिर में, पहले से बने डैशबोर्ड एक्सप्लोर किए जा सकते हैं. इसके अलावा, नई रिपोर्ट बनाने के लिए, अपने बिज़नेस इंटेलिजेंस टूल को BigQuery से कनेक्ट किया जा सकता है.

आपको क्या सीखने को मिलेगा

  • Dataprep का इस्तेमाल करके, सर्वे के डेटा को ट्रांसफ़ॉर्म करने का तरीका
  • सर्वे के डेटा को BigQuery में पुश करने का तरीका
  • सर्वे के डेटा से ज़्यादा अहम जानकारी पाने का तरीका

आपको किन चीज़ों की ज़रूरत होगी

  • एक ऐसा Google Cloud प्रोजेक्ट जिसमें बिलिंग, BigQuery, और Dataprep की सुविधा चालू हो
  • Dataprep की बुनियादी जानकारी होना मददगार होता है, लेकिन ज़रूरी नहीं है
  • BigQuery और एसक्यूएल की बुनियादी जानकारी होना मददगार होता है, लेकिन ज़रूरी नहीं है

2. Google Forms में मिले जवाबों को मैनेज करना

सबसे पहले, हम उदाहरण के तौर पर बनाए गए सर्वे के लिए, Google Forms में मिले जवाबों को ध्यान से देखेंगे.

f3d25efd2cc923f5.png

सर्वे के नतीजों को "जवाब" टैब से एक्सपोर्ट किया जा सकता है. इसके लिए, Google Sheets के आइकॉन पर क्लिक करें और नई स्प्रेडशीट बनाएं या नतीजों को किसी मौजूदा स्प्रेडशीट में लोड करें. Google Forms, स्प्रेडशीट में जवाब जोड़ना जारी रखेगा. ऐसा तब तक होगा, जब तक जवाब देने वाले लोग अपने जवाब सबमिट करते रहेंगे या जब तक "जवाब स्वीकार किए जा रहे हैं" बटन से चुने हुए का निशान नहीं हटाया जाता.

d499e5a4dccdf5fd.png4939332a5d8f9f19.png

आइए, अब हर तरह के जवाब और Google Sheets फ़ाइल में उसके अनुवाद के तरीके को देखें.

3. सर्वे के जवाबों को ट्रांसफ़ॉर्म करना

सर्वे के सवालों को चार ग्रुप में बांटा जा सकता है. हर ग्रुप के लिए, एक्सपोर्ट करने का एक खास फ़ॉर्मैट होगा. सवाल के टाइप के आधार पर, आपको डेटा को किसी खास तरीके से फिर से व्यवस्थित करना होगा. यहां हम हर ग्रुप और उन बदलावों की समीक्षा करते हैं जिन्हें हमें लागू करना है.

एक विकल्प वाले सवाल: छोटे जवाब, पैराग्राफ़, ड्रॉपडाउन, लीनियर स्केल वगैरह.

  • सवाल का नाम: कॉलम का नाम
  • जवाब: सेल की वैल्यू
  • ट्रांसफ़ॉर्मेशन की ज़रूरी शर्तें: किसी ट्रांसफ़ॉर्मेशन की ज़रूरत नहीं है; रिस्पॉन्स को पहले की तरह ही लोड किया जाता है.

3eeedc50b0fd54fd.png

जवाबों के कई विकल्पों वाले सवाल: कई विकल्प, चेकबॉक्स

  • सवाल का नाम: कॉलम का नाम
  • जवाब: सेमीकोलन सेपरेटर वाली वैल्यू की सूची (उदाहरण के लिए, "Resp 1; Resp 4; Resp 6")
  • डेटा को बदलने से जुड़ी ज़रूरी शर्तें: वैल्यू की सूची को निकालना और पिवट करना ज़रूरी है, ताकि हर जवाब एक नई लाइन बन जाए.

cab8a38a96a13ce4.png

जवाबों के कई विकल्पों वाले ग्रिड से जुड़े सवाल

यहां जवाबों के कई विकल्पों वाले सवाल का एक उदाहरण दिया गया है. हर लाइन से एक वैल्यू चुननी होगी.

c6ea3d47d4dd5e78.png

  • सवाल का नाम: हर सवाल, "सवाल [विकल्प]" फ़ॉर्मैट में कॉलम का नाम बन जाता है.
  • जवाब: ग्रिड में मौजूद हर जवाब, यूनीक वैल्यू वाले कॉलम में बदल जाता है.
  • ट्रांसफ़ॉर्मेशन से जुड़ी ज़रूरी शर्तें: हर सवाल/जवाब को टेबल में एक नई लाइन में रखना होगा और उसे दो कॉलम में बांटना होगा. एक कॉलम में सवाल का विकल्प और दूसरे कॉलम में जवाब.

9223d0271516c58d.png

जवाबों के कई विकल्पों वाले चेकबॉक्स ग्रिड सवाल

यहां चेकबॉक्स ग्रिड का एक उदाहरण दिया गया है. हर लाइन से, कोई भी वैल्यू नहीं या कई वैल्यू चुनी जा सकती हैं.

4e3189b8cc2d4a8b.png

  • सवाल का नाम: हर सवाल, "सवाल [विकल्प]" फ़ॉर्मैट में कॉलम का नाम बन जाता है..
  • जवाब: ग्रिड में मौजूद हर जवाब, एक कॉलम बन जाता है. इसमें वैल्यू की सूची होती है, जो सेमी-कोलन से अलग होती है.
  • बदलाव करने से जुड़ी ज़रूरी शर्तें: इस तरह के सवालों में, "चेकबॉक्स" और "जवाबों के कई विकल्पों वाली ग्रिड" कैटगरी शामिल होती हैं. इन्हें इसी क्रम में हल किया जाना चाहिए.

सबसे पहले, हर जवाब की वैल्यू की सूची को निकालना और उसे पिवट करना होगा. इससे हर जवाब, उस सवाल के लिए एक नई लाइन बन जाएगा.

दूसरा: हर जवाब को टेबल में एक नई लाइन में डालना होगा और उसे दो कॉलम में बांटना होगा. एक कॉलम में सवाल का विकल्प और दूसरे कॉलम में जवाब.

3c3c2bd098e03003.png

इसके बाद, हम बताएंगे कि Cloud Dataprep की मदद से, इन ट्रांसफ़ॉर्मेशन को कैसे मैनेज किया जाता है.

4. Cloud Dataprep फ़्लो बनाना

Cloud Dataprep में "Google Forms Analytics Design Pattern" को इंपोर्ट करना

Google Forms Analytics Design Pattern फ़्लो पैकेज डाउनलोड करें. इसे अनज़िप न करें. Cloud Dataprep ऐप्लिकेशन में, बाईं ओर मौजूद नेविगेशन बार में फ़्लो आइकॉन पर क्लिक करें. इसके बाद, Flows पेज पर, कॉन्टेक्स्ट मेन्यू से Import को चुनें.

ba7c0cb0eec398df.png

फ़्लो इंपोर्ट करने के बाद, उसमें बदलाव करने के लिए इंपोर्ट किए गए फ़्लो को चुनें. आपकी स्क्रीन कुछ इस तरह दिखनी चाहिए:

44978861eb34ec71.png

Google Sheets में मौजूद, सर्वे के नतीजों की स्प्रेडशीट को कनेक्ट करना

फ़्लो की बाईं ओर, डेटा सोर्स को Google Forms के नतीजों वाली Google Sheets से फिर से कनेक्ट करना होगा. Google शीट के डेटासेट ऑब्जेक्ट पर राइट क्लिक करें और "बदलें" को चुनें.

55c16f0c04366f0c.png

इसके बाद, मॉडल में सबसे नीचे मौजूद "डेटासेट इंपोर्ट करें" लिंक पर क्लिक करें. "पाथ में बदलाव करें" पेंसिल पर क्लिक करें.

8afeef260c96277f.png

इसके बाद, मौजूदा वैल्यू को इस लिंक से बदलें. यह लिंक, Google Sheets की उस स्प्रेडशीट पर ले जाता है जिसमें Google Forms के कुछ नतीजे मौजूद हैं. इसके लिए, हमारे उदाहरण या अपनी कॉपी का इस्तेमाल किया जा सकता है: https://docs.google.com/spreadsheets/d/1DgIlvlLceFDqWEJs91F8rt1B-X0PJGLY6shkKGBPWpk/edit?usp=sharing

"Go" पर क्लिक करें. इसके बाद, सबसे नीचे दाईं ओर मौजूद "Import & Add to Flow" पर क्लिक करें. इसके बाद, वापस मोडल पर जाएं और सबसे नीचे दाईं ओर मौजूद, "बदलें" बटन पर क्लिक करें.

BigQuery टेबल कनेक्ट करना

फ़्लो की दाईं ओर, आपको आउटपुट को अपने BigQuery इंस्टेंस से कनेक्ट करना होगा. हर आउटपुट के लिए, आइकॉन पर क्लिक करें. इसके बाद, उसकी प्रॉपर्टी में इस तरह बदलाव करें.

सबसे पहले, "मैन्युअल डेस्टिनेशन" में बदलाव करें

a3fc2cb80153ec25.png

इसके बाद, "पब्लिश करने की सेटिंग" स्क्रीन पर, 'बदलाव करें' बटन पर क्लिक करें

85791e6162a370de.png

"पब्लिश करने की कार्रवाई" स्क्रीन दिखने पर, आपको कनेक्शन की सेटिंग बदलनी होंगी. इसके लिए, BigQuery कनेक्शन पर क्लिक करें और उसकी प्रॉपर्टी में बदलाव करें.

1f3e4887baaeaffd.png

वह BigQuery डेटासेट चुनें जिसमें आपको Google Forms के नतीजे लोड करने हैं. अगर आपने अब तक कोई BigQuery डेटासेट नहीं बनाया है, तो "डिफ़ॉल्ट" को चुना जा सकता है.

f4eaa05ecf9de162.png

"मैन्युअल डेस्टिनेशन" में बदलाव करने के बाद, "शेड्यूल किए गए डेस्टिनेशन" आउटपुट के लिए भी यही तरीका अपनाएं.

46edea1b8ca63270.png

इसी तरीके का इस्तेमाल करके, हर आउटपुट को बेहतर बनाएं. आपको कुल आठ डेस्टिनेशन में बदलाव करना होगा.

5. Cloud Dataprep फ़्लो के बारे में जानकारी

"Google Forms Analytics Design Pattern" फ़्लो का बुनियादी आइडिया, सर्वे के जवाबों में बदलाव करना है. इसके बारे में पहले बताया जा चुका है. इसके लिए, हर सवाल की कैटगरी को Cloud Dataprep के डेटा ट्रांसफ़ॉर्मेशन रेसिपी में बांटा जाता है.

इस फ़्लो में, सवालों को चार टेबल में बांटा गया है. ये टेबल, सवालों की चार कैटगरी के हिसाब से हैं, ताकि उन्हें आसानी से समझा जा सके

afa421849b1bd398.png

हमारा सुझाव है कि आप एक-एक करके हर रेसिपी को एक्सप्लोर करें. इसकी शुरुआत "क्लीन हेडर" से करें. इसके बाद, "SingleChoiceSELECT-Questions" और फिर नीचे दी गई अन्य रेसिपी को एक्सप्लोर करें.

सभी रेसिपी पर टिप्पणी की गई है, ताकि ट्रांसफ़ॉर्मेशन के अलग-अलग चरणों के बारे में बताया जा सके. रेसिपी में मौजूद किसी चरण में बदलाव किया जा सकता है. साथ ही, किसी कॉलम की पहले और बाद की स्थिति की झलक देखी जा सकती है.

449da06d96cd520e.png4ac6e14f578d0707.png

6. Cloud Dataprep फ़्लो चलाना

अब आपका सोर्स और डेस्टिनेशन सही तरीके से कॉन्फ़िगर हो गया है. इसलिए, जवाबों को BigQuery में ट्रांसफ़ॉर्म और लोड करने के लिए, फ़्लो को चलाया जा सकता है. हर आउटपुट को चुनें और "Run" बटन पर क्लिक करें. अगर BigQuery टेबल मौजूद है, तो Dataprep उसमें नई लाइनें जोड़ देगा. अगर टेबल मौजूद नहीं है, तो वह नई टेबल बनाएगा.

47cf50f6d17a5b1e.png

जॉब को मॉनिटर करने के लिए, बाएं पैनल में मौजूद "जॉब का इतिहास" आइकॉन पर क्लिक करें. BigQuery टेबल को लोड होने में कुछ मिनट लग सकते हैं.

afc79eeb27202fb4.png

सभी जॉब पूरे होने के बाद, सर्वे के नतीजे BigQuery में लोड हो जाएंगे. ये नतीजे साफ़, स्ट्रक्चर्ड, और नॉर्मलाइज़ किए गए फ़ॉर्मैट में होंगे, ताकि इनका विश्लेषण किया जा सके.

7. BigQuery में सर्वे के डेटा का विश्लेषण करना

BigQuery के लिए Google Console में, आपको हर नई टेबल की जानकारी दिखेगी

df370873572511ac.png

BigQuery में मौजूद सर्वे के डेटा की मदद से, सर्वे के जवाबों को गहराई से समझने के लिए, आसानी से ज़्यादा जानकारी वाले सवाल पूछे जा सकते हैं. उदाहरण के लिए, मान लें कि आपको यह जानना है कि अलग-अलग प्रोफ़ेशनल टाइटल वाले लोग, आम तौर पर किस प्रोग्रामिंग लैंग्वेज का इस्तेमाल करते हैं. इसके लिए, इस तरह की क्वेरी लिखी जा सकती है:

SELECT
   programming_answers.Language  AS programming_answers_language,
   project_answers.Title  AS project_answers_title,
   AVG((case when programming_answers.Level='None' then 0 
when programming_answers.Level='beginner' then 1
when programming_answers.Level='competent' then 2 
when programming_answers.Level='proficient' then 3
when programming_answers.Level='expert' then 4 
else null end) ) AS programming_answers_average_level_value
FROM `my-project.DesignPattern.A000111_ProjectAnswers` AS project_answers
INNER JOIN `my-project.A000111_ProgrammingAnswers` AS programming_answers
ON programming_answers.RESPONSE_ID = project_answers.RESPONSE_ID
GROUP BY 1,2
ORDER BY 3 DESC

अपने विश्लेषण को और बेहतर बनाने के लिए, सर्वे के जवाबों को सीआरएम डेटा में शामिल किया जा सकता है. इससे यह देखा जा सकता है कि सर्वे में हिस्सा लेने वाले लोग, आपके डेटा वेयरहाउस में पहले से शामिल किसी खाते से जुड़े हैं या नहीं. इससे आपके कारोबार को ग्राहक सहायता या नए प्रॉडक्ट लॉन्च करने के लिए, उपयोगकर्ताओं को टारगेट करने के बारे में ज़्यादा सोच-समझकर फ़ैसले लेने में मदद मिल सकती है.

यहां हमने बताया है कि सर्वे के डेटा को खाते की टेबल में कैसे जोड़ा जा सकता है. इसके लिए, जवाब देने वाले व्यक्ति के डोमेन और खाते की वेबसाइट का इस्तेमाल किया जाता है. अब आपको खाता टाइप के हिसाब से जवाबों का डिस्ट्रिब्यूशन दिखेगा. इससे आपको यह समझने में मदद मिलेगी कि जवाब देने वाले कितने लोग, मौजूदा ग्राहक खातों से जुड़े हैं.

SELECT
   account.TYPE  AS account_type,
   COUNT(DISTINCT project_answers.Domainname) AS project_answers_count_domains
FROM `my-project.A000111_ProjectAnswers` AS project_answers
LEFT JOIN `my-project.testing.account` AS account 
ON project_answers.Domainname=account.website
GROUP BY 1

8. विज़ुअल ऐनलिटिक्स करना

अब आपका सर्वे डेटा, डेटा वेयरहाउस में इकट्ठा हो गया है. इसलिए, बिज़नेस इंटेलिजेंस टूल में डेटा का आसानी से विश्लेषण किया जा सकता है. हमने Data Studio और Looker में कुछ उदाहरण रिपोर्ट बनाई हैं.

Looker

अगर आपके पास पहले से ही Looker इंस्टेंस है, तो इस पैटर्न के लिए सैंपल सर्वे और सीआरएम डेटा का विश्लेषण शुरू करने के लिए, इस फ़ोल्डर में मौजूद LookML का इस्तेमाल किया जा सकता है. बस एक नया Looker प्रोजेक्ट बनाएं, LookML जोड़ें, और फ़ाइल में कनेक्शन और टेबल के नामों को बदलकर, अपने BigQuery कॉन्फ़िगरेशन से मैच करें. अगर आपके पास Looker इंस्टेंस नहीं है, लेकिन आपको इसके बारे में ज़्यादा जानना है, तो यहां डेमो शेड्यूल करें.

129db05d6f85f484.png

Data Studio

इसके अलावा, Data Studio में रिपोर्ट बनाने के लिए, Google क्रॉस "खाली रिपोर्ट" वाले फ़्रेम पर क्लिक करें और BigQuery से कनेक्ट करें. Data Studio के सभी निर्देशों का पालन करें. अगर आपको इस बारे में ज़्यादा जानना है, तो Data Studio की मुख्य सुविधाओं के बारे में क्विक स्टार्ट और परिचय यहां मिल सकता है. यहां आपको पहले से बने Data Studio डैशबोर्ड भी मिल सकते हैं.

5e744869e3fe3f8f.png

9. जगह खाली की जा रही है

बिलिंग से बचने का सबसे आसान तरीका है कि आपने ट्यूटोरियल के लिए जो क्लाउड प्रोजेक्ट बनाया था उसे मिटा दें. इसके अलावा, अलग-अलग संसाधनों को मिटाया जा सकता है.

  1. Cloud Console में, संसाधन मैनेज करें पर जाएं
  2. प्रोजेक्ट की सूची में, वह प्रोजेक्ट चुनें जिसे आपको मिटाना है. इसके बाद, मिटाएं पर क्लिक करें.
  3. डायलॉग बॉक्स में, प्रोजेक्ट आईडी टाइप करें. इसके बाद, प्रोजेक्ट को मिटाने के लिए, बंद करें पर क्लिक करें.