تحويل ردود الاستطلاعات من "نماذج Google" وتحميلها إلى BigQuery

1. مقدمة

هناك العديد من الأسباب لإجراء الاستطلاعات: تقييم رضا العملاء أو إجراء أبحاث السوق أو تحسين منتج أو خدمة أو تقييم تفاعل الموظفين. ومع ذلك، إذا حاولت العمل على بيانات الاستطلاع من قبل، فمن المحتمل أنك تعرف أن التنسيق العادي يصعب التعامل معه. في هذا الدليل، سننشئ مسارًا آليًا يسجّل نتائج "نماذج Google" ويُعدّ البيانات للتحليل باستخدام Cloud Dataprep ويحمّلها إلى BigQuery ويتيح لفريقك إجراء تحليلات مرئية باستخدام أدوات مثل Looker أو "مركز البيانات".

ما ستنشئه

في هذا الدرس التطبيقي حول الترميز، ستستخدم Dataprep لتحويل الردود من نموذج استطلاع "نماذج Google" إلى تنسيق مفيد لتحليلات البيانات. ستنقل البيانات المحوَّلة إلى BigQuery حيث يمكنك طرح أسئلة أكثر تفصيلاً باستخدام SQL ودمجها مع مجموعات بيانات أخرى لإجراء تحليلات أكثر فعالية. في النهاية، يمكنك استكشاف لوحات البيانات المُعدّة مسبقًا أو ربط أداة ذكاء الأعمال الخاصة بك بـ BigQuery لإنشاء تقارير جديدة.

ما ستتعلّمه

  • كيفية تحويل بيانات الاستطلاع باستخدام Dataprep
  • كيفية إرسال بيانات الاستطلاع إلى BigQuery
  • كيفية الحصول على المزيد من الإحصاءات من بيانات الاستطلاع

المتطلبات

  • مشروع على Google Cloud مع تفعيل الفوترة وBigQuery وDataprep
  • من المفيد أن تكون لديك معرفة أساسية بـ Dataprep، ولكنّها ليست ضرورية
  • من المفيد أن تكون لديك معرفة أساسية بـ BigQuery وSQL، ولكنّها ليست ضرورية

2. إدارة الردود على "نماذج Google"

سنبدأ بإلقاء نظرة عن كثب على الردود على نموذج الاستطلاع في "نماذج Google".

f3d25efd2cc923f5.png

يمكن تصدير نتائج الاستطلاع من علامة التبويب "الردود" من خلال النقر على رمز "جداول بيانات Google" وإنشاء جدول بيانات جديد أو تحميل النتائج في جدول بيانات حالي. ستواصل "نماذج Google" إضافة الردود إلى جدول البيانات عندما يرسل المجيبون ردودهم إلى أن تلغي اختيار الزر "قبول الردود".

d499e5a4dccdf5fd.png4939332a5d8f9f19.png

لنراجع الآن كل نوع من أنواع الردود وكيفية ترجمته في ملف "جداول بيانات Google".

3- تحويل الردود على الاستطلاعات

يمكن تجميع أسئلة الاستطلاع في أربع فئات سيكون لها تنسيق تصدير معيّن. بناءً على نوع السؤال، ستحتاج إلى إعادة هيكلة البيانات بطريقة معينة. في هذه المرحلة، نراجع كل مجموعة وأنواع عمليات التحويل التي نحتاج إلى تطبيقها.

الأسئلة ذات الخيار الواحد: الإجابة القصيرة والفقرة والقائمة المنسدلة والمقياس الخطي وما إلى ذلك

  • اسم السؤال: اسم العمود
  • الردّ: قيمة الخلية
  • متطلبات التحويل: لا يلزم إجراء أي تحويل، ويتم تحميل الرد كما هو.

3eeedc50b0fd54fd.png

أسئلة الخيارات المتعدّدة: خيارات متعدّدة، مربّع اختيار

  • اسم السؤال: اسم العمود
  • الردّ: قائمة بالقيم مفصولة بفاصلة منقوطة (مثل "الردّ 1؛ الردّ 4؛ الردّ 6")
  • متطلبات التحويل: يجب استخراج قائمة القيم وتحويلها، بحيث يصبح كل ردّ صفًا جديدًا.

cab8a38a96a13ce4.png

أسئلة شبكة الخيارات المتعدّدة

في ما يلي مثال على سؤال بخيارات متعدّدة. يجب اختيار قيمة واحدة من كل صف.

c6ea3d47d4dd5e78.png

  • اسم السؤال: يصبح كل سؤال فردي اسم عمود بهذا التنسيق "السؤال [الخيار]".
  • الردّ: يصبح كل ردّ فردي في الشبكة عمودًا بقيمة فريدة.
  • متطلبات التحويل: يجب أن يصبح كل سؤال/إجابة صفًا جديدًا في الجدول ويتم تقسيمه إلى عمودين. عمود واحد يذكر خيار السؤال والعمود الآخر يتضمّن الردّ.

9223d0271516c58d.png

أسئلة شبكة مربّعات الاختيار المتعدّدة

في ما يلي مثال على شبكة مربّعات اختيار. يمكن اختيار قيمة واحدة أو أكثر من كل صف.

4e3189b8cc2d4a8b.png

  • اسم السؤال: يصبح كل سؤال فردي اسم عمود بهذا التنسيق "السؤال [الخيار]".
  • الردّ: يصبح كل ردّ فردي في الشبكة عمودًا يتضمّن قائمة من القيم المفصولة بفاصلة منقوطة.
  • متطلبات التحويل: تجمع أنواع الأسئلة هذه بين فئتَي "مربّع الاختيار" و "شبكة الخيارات المتعدّدة" ويجب حلّها بهذا الترتيب.

أولاً، يجب استخراج قائمة القيم لكل ردّ وتحويلها، بحيث تصبح كل إجابة صفًا جديدًا للسؤال المعني.

ثانيًا: يجب أن يصبح كل رد فردي صفًا جديدًا في الجدول وأن يتم تقسيمه إلى عمودين. عمود واحد يذكر خيار السؤال والعمود الآخر يتضمّن الإجابة.

3c3c2bd098e03003.png

بعد ذلك، سنوضّح كيفية معالجة عمليات التحويل هذه باستخدام Cloud Dataprep.

4. إنشاء تدفق Cloud Dataprep

استيراد "نمط تصميم إحصاءات نماذج Google" في Cloud Dataprep

نزِّل حزمة تدفق نمط تصميم تحليلات "نماذج Google" (بدون فك ضغطها). في تطبيق Cloud Dataprep، انقر على رمز "التدفقات" في شريط التنقّل الأيمن. بعد ذلك، في صفحة "التدفقات" (Flows)، اختَر "استيراد" (Import) من قائمة السياق.

ba7c0cb0eec398df.png

بعد استيراد المسار، اختَر المسار المستورَد لتعديله، ومن المفترض أن تظهر شاشتك على النحو التالي:

44978861eb34ec71.png

ربط جدول بيانات نتائج الاستطلاع في "جداول بيانات Google"

على الجانب الأيمن من التدفق، يجب إعادة ربط مصدر البيانات بـ "جداول بيانات Google" التي تحتوي على نتائج "نماذج Google". انقر بزر الماوس الأيمن على عنصر مجموعات بيانات "جداول بيانات Google" واختَر "استبدال".

55c16f0c04366f0c.png

بعد ذلك، انقر على رابط "استيراد مجموعات البيانات" في أسفل النافذة المنبثقة. انقر على قلم "تعديل المسار".

8afeef260c96277f.png

من هناك، استبدِل القيمة الحالية بهذا الرابط الذي يشير إلى ملف في "جداول بيانات Google" يحتوي على بعض نتائج "نماذج Google". يمكنك استخدام المثال الذي نقدّمه أو نسختك الخاصة: https://docs.google.com/spreadsheets/d/1DgIlvlLceFDqWEJs91F8rt1B-X0PJGLY6shkKGBPWpk/edit?usp=sharing

انقر على "انتقال" (Go) ثم على "استيراد وإضافة إلى التدفق " (Import& Add to Flow) في أسفل يسار الصفحة. عند العودة إلى النافذة المنبثقة، انقر على الزر "استبدال" في أسفل يسار الصفحة.

ربط جداول BigQuery

على يسار التدفق، تحتاج إلى توصيل المخرجات بمثيل BigQuery الخاص بك. لكل من المخرجات، انقر على الرمز ثم عدّل خصائصه على النحو التالي.

أولاً، ابدأ بتعديل "الوجهات اليدوية"

a3fc2cb80153ec25.png

في شاشة "إعدادات النشر" التالية، انقر على زر التعديل

85791e6162a370de.png

عند ظهور شاشة "إجراء النشر"، عليك تغيير إعدادات الاتصال من خلال النقر على اتصال BigQuery وتعديل خصائصه.

1f3e4887baaeaffd.png

اختَر مجموعة بيانات BigQuery التي تريد تحميل نتائج "نماذج Google" إليها. يمكنك اختيار "تلقائي" إذا لم تكن قد أنشأت أي مجموعة بيانات في BigQuery بعد.

f4eaa05ecf9de162.png

بعد تعديل "الوجهات اليدوية"، اتّبِع الخطوات نفسها لملف الإخراج "الوجهات المُجدوَلة".

46edea1b8ca63270.png

كرِّر كل مخرجات باتّباع الخطوات نفسها. يجب تعديل 8 وجهات في المجموع.

5- شرح تدفق Cloud Dataprep

تتمثل الفكرة الأساسية لتدفق "نمط تصميم إحصاءات نماذج Google" في إجراء عمليات التحويل على ردود الاستطلاع كما هو موضح سابقًا، وذلك من خلال تقسيم كل فئة من فئات الأسئلة إلى وصفة محددة لتحويل البيانات في Cloud Dataprep.

يقسّم هذا المسار الأسئلة إلى 4 جداول (تتوافق مع فئات الأسئلة الأربع، لأغراض التبسيط)

afa421849b1bd398.png

نقترح عليك استكشاف كل وصفة من الوصفات واحدة تلو الأخرى بدءًا من "رؤوس نظيفة" ثم "أسئلة اختيار واحد" تليها كل وصفة أخرى أدناه.

يتم التعليق على جميع الوصفات لشرح خطوات التحويل المختلفة. عندما تكون في وصفة، يمكنك تعديل خطوة ومعاينة حالة عمود معيّن قبل وبعد التعديل.

449da06d96cd520e.png4ac6e14f578d0707.png

6. تشغيل مسار Cloud Dataprep

بعد ضبط المصدر والوجهات بشكل صحيح، يمكنك تشغيل التدفق لتحويل الردود وتحميلها إلى BigQuery. اختَر كل مخرَج وانقر على الزر "تشغيل". إذا كان جدول BigQuery المحدّد متوفّرًا، ستُضيف Dataprep صفوفًا جديدة، وإلا ستُنشئ جدولاً جديدًا.

47cf50f6d17a5b1e.png

انقر على رمز "سجلّ المهام" في اللوحة اليمنى لمراقبة المهام. من المفترض أن يستغرق تحميل جداول BigQuery بضع دقائق.

afc79eeb27202fb4.png

عند اكتمال جميع المهام، سيتم تحميل نتائج الاستطلاع في BigQuery بتنسيق نظيف ومنظَّم وموحّد جاهز للتحليل.

7. تحليل بيانات الاستطلاع في BigQuery

في Google Console for BigQuery، من المفترض أن تتمكّن من الاطّلاع على تفاصيل كل جدول من الجداول الجديدة

df370873572511ac.png

باستخدام بيانات الاستطلاع في BigQuery، يمكنك بسهولة طرح أسئلة فهم أكثر شمولاً لفهم الردود على الاستطلاع على مستوى أعمق. على سبيل المثال، لنفترض أنّك تحاول فهم لغة البرمجة الأكثر استخدامًا من قِبل أشخاص يحملون مسميات وظيفية مختلفة، يمكنك كتابة طلب مثل:

SELECT
   programming_answers.Language  AS programming_answers_language,
   project_answers.Title  AS project_answers_title,
   AVG((case when programming_answers.Level='None' then 0 
when programming_answers.Level='beginner' then 1
when programming_answers.Level='competent' then 2 
when programming_answers.Level='proficient' then 3
when programming_answers.Level='expert' then 4 
else null end) ) AS programming_answers_average_level_value
FROM `my-project.DesignPattern.A000111_ProjectAnswers` AS project_answers
INNER JOIN `my-project.A000111_ProgrammingAnswers` AS programming_answers
ON programming_answers.RESPONSE_ID = project_answers.RESPONSE_ID
GROUP BY 1,2
ORDER BY 3 DESC

لجعل تحليلاتك أكثر قوة، يمكنك دمج الردود على الاستطلاع مع بيانات إدارة علاقات العملاء لمعرفة ما إذا كان المشاركون يطابقون أي حسابات مضمّنة في مستودع البيانات. يمكن أن يساعد ذلك مؤسستك في اتّخاذ قرارات مدروسة أكثر بشأن دعم العملاء أو استهداف المستخدمين لعمليات الإطلاق الجديدة.

في ما يلي، نوضّح كيف يمكنك دمج بيانات الاستطلاع في جدول حسابات استنادًا إلى نطاق المجيب والموقع الإلكتروني للحساب. يمكنك الآن الاطّلاع على توزيع الردود حسب نوع الحساب، ما يساعدك في معرفة عدد المجيبين الذين ينتمون إلى حسابات العملاء الحالية.

SELECT
   account.TYPE  AS account_type,
   COUNT(DISTINCT project_answers.Domainname) AS project_answers_count_domains
FROM `my-project.A000111_ProjectAnswers` AS project_answers
LEFT JOIN `my-project.testing.account` AS account 
ON project_answers.Domainname=account.website
GROUP BY 1

8. إجراء تحليلات مرئية

بعد أن أصبحت بيانات الاستطلاع مركزية في مستودع بيانات، يمكنك بسهولة تحليل البيانات في أداة ذكاء الأعمال. لقد أنشأنا بعض التقارير النموذجية في مركز البيانات وفي Looker.

Looker

إذا كان لديك مثيل Looker، يمكنك استخدام LookML في هذا المجلد لبدء تحليل نموذج الاستطلاع وبيانات إدارة علاقات العملاء لهذا النمط. ما عليك سوى إنشاء مشروع Looker جديد، وإضافة LookML، واستبدال أسماء الاتصال والجدول في الملف لتتطابق مع إعدادات BigQuery. إذا لم يكن لديك مثيل Looker ولكن يهمّك معرفة المزيد، يمكنك تحديد موعد لعرض توضيحي هنا.

129db05d6f85f484.png

مركز البيانات

بدلاً من ذلك، لإنشاء تقرير في مركز البيانات، انقر على الإطار الذي يتضمّن علامة الجمع من Google "تقرير فارغ" واربطه بخدمة BigQuery. اتّبِع جميع التعليمات من "مركز البيانات". إذا أردت معرفة المزيد، يمكنك الاطّلاع على دليل البدء السريع ومقدمة حول ميزات "مركز البيانات" الرئيسية هنا. يمكنك أيضًا العثور على لوحات بيانات "مركز البيانات" المُعدّة مسبقًا هنا.

5e744869e3fe3f8f.png

9. جارٍ التنظيف

أسهل طريقة لإلغاء الفوترة هي حذف مشروع على السحابة الإلكترونية الذي أنشأته للدليل التعليمي. بدلاً من ذلك، يمكنك حذف الموارد الفردية.

  1. في Cloud Console، انتقِل إلى إدارة الموارد
  2. في قائمة المشاريع، اختَر المشروع الذي تريد حذفه، ثم انقر على حذف.
  3. في مربّع الحوار، اكتب رقم تعريف المشروع، ثم انقر على إيقاف لحذف المشروع.