تحويل ردود الاستطلاعات من "نماذج Google" وتحميلها إلى BigQuery

1. مقدمة

هناك العديد من الأسباب لإجراء الاستطلاعات، مثل تقييم رضا العملاء أو إجراء أبحاث السوق أو تحسين منتج أو خدمة أو تقييم تفاعل الموظفين. ومع ذلك، إذا سبق لك محاولة العمل مع بيانات الاستطلاع، من المحتمل أنّك تعرف أنّ التنسيق العادي يصعب التعامل معه. في هذا الدليل، سننشئ مسارًا آليًا يجمع نتائج "نماذج Google"، ويعدّ البيانات للتحليل باستخدام Cloud Dataprep، ويحمّلها إلى BigQuery، ويتيح لفريقك إجراء تحليلات مرئية باستخدام أدوات مثل Looker أو "مركز البيانات".

ما ستنشئه

في هذا الدرس التطبيقي حول الترميز، ستستخدم Dataprep لتحويل الردود من نموذج الاستطلاع في "نماذج Google" إلى تنسيق مفيد لتحليل البيانات. ستنقل البيانات المحوَّلة إلى BigQuery حيث يمكنك طرح أسئلة أكثر تعمّقًا باستخدام SQL ودمجها مع مجموعات بيانات أخرى لإجراء تحليلات أكثر فعالية. في النهاية، يمكنك استكشاف لوحات البيانات المُعدّة مسبقًا أو ربط أداة ذكاء الأعمال الخاصة بك بـ BigQuery لإنشاء تقارير جديدة.

ما ستتعلمه

  • كيفية تحويل بيانات الاستطلاع باستخدام Dataprep
  • كيفية نقل بيانات الاستطلاع إلى BigQuery
  • كيفية الحصول على المزيد من الإحصاءات من بيانات الاستطلاع

المتطلبات

  • مشروع على السحابة الإلكترونية من Google تم فيه تفعيل الفوترة وBigQuery وDataprep
  • يُفضّل الإلمام بأساسيات Dataprep، ولكنّه ليس شرطًا
  • يُفضّل أن يكون لديك معرفة أساسية بـ BigQuery وSQL، ولكنّ ذلك ليس شرطًا

2. إدارة الردود في "نماذج Google"

سنبدأ بإلقاء نظرة فاحصة على الردود في "نماذج Google" على الاستطلاع النموذجي.

f3d25efd2cc923f5.png

يمكن تصدير نتائج الاستطلاع من علامة التبويب "الردود" من خلال النقر على رمز "جداول بيانات Google" وإنشاء جدول بيانات جديد أو تحميل النتائج إلى جدول بيانات حالي. ستواصل "نماذج Google" إضافة الردود إلى جدول البيانات عندما يرسل المجيبون ردودهم إلى أن تزيل العلامة من المربّع بجانب الزر "قبول الردود".

d499e5a4dccdf5fd.png

4939332a5d8f9f19.png

لنراجع الآن كل نوع من الردود وكيفية ترجمته في ملف "جداول بيانات Google".

3- تحويل الردود على الاستطلاعات

يمكن تجميع أسئلة الاستطلاع في أربع مجموعات سيكون لها تنسيق تصدير معيّن. استنادًا إلى نوع السؤال، عليك إعادة هيكلة البيانات بطريقة معيّنة. في هذا القسم، نراجع كل مجموعة وأنواع عمليات التحويل التي نحتاج إلى تطبيقها.

أسئلة الاختيار الفردي: إجابة قصيرة، فقرة، قائمة منسدلة، مقياس خطي، إلخ.

  • اسم السؤال: اسم العمود
  • الردّ: قيمة الخلية
  • متطلبات التحويل: لا يلزم إجراء أي تحويل، ويتم تحميل الرد كما هو.

3eeedc50b0fd54fd.png

أسئلة الخيارات المتعدّدة: خيارات متعدّدة، مربّع اختيار

  • اسم السؤال: اسم العمود
  • الردّ: قائمة قيم مفصولة بفواصل منقوطة (مثلاً "الردّ 1؛ الردّ 4؛ الردّ 6")
  • متطلبات التحويل: يجب استخراج قائمة القيم وتدويرها، ليصبح كل ردّ صفًا جديدًا.

cab8a38a96a13ce4.png

أسئلة شبكة الخيارات المتعدّدة

في ما يلي مثال على سؤال بخيارات متعدّدة. يجب اختيار قيمة واحدة من كل صف.

c6ea3d47d4dd5e78.png

  • اسم السؤال: يصبح كل سؤال فردي اسم عمود بهذا التنسيق "السؤال [الخيار]".
  • الاستجابة: تصبح كل استجابة فردية في الشبكة عمودًا بقيمة فريدة.
  • متطلبات التحويل: يجب أن يصبح كل سؤال/إجابة صفًا جديدًا في الجدول وأن يتم تقسيمه إلى عمودَين. عمود واحد يذكر الخيار الخاص بالسؤال والعمود الآخر يتضمّن الردّ.

9223d0271516c58d.png

أسئلة شبكة مربّعات الاختيار المتعدّد

في ما يلي مثال على شبكة مربّعات اختيار. يمكن اختيار قيمة واحدة أو عدّة قيم من كل صف.

4e3189b8cc2d4a8b.png

  • اسم السؤال: يصبح كل سؤال فردي اسم عمود بهذا التنسيق "السؤال [الخيار]".
  • الاستجابة: تصبح كل استجابة فردية في الشبكة عمودًا يتضمّن قائمة بالقيم مفصولة بفواصل منقوطة.
  • متطلبات التحويل: تجمع أنواع الأسئلة هذه بين فئتَي "مربّع الاختيار" و "شبكة الخيارات المتعدّدة"، ويجب حلّها بهذا الترتيب.

أولاً، يجب استخراج قائمة القيم لكل ردّ وتغيير ترتيبها، ليصبح كل ردّ صفًا جديدًا للسؤال المحدّد.

ثانيًا: يجب أن يصبح كل ردّ فردي صفًا جديدًا في الجدول ويتم تقسيمه إلى عمودَين. عمود واحد يتضمّن الخيار الخاص بالسؤال والعمود الآخر يتضمّن الإجابة

3c3c2bd098e03003.png

بعد ذلك، سنوضّح كيفية التعامل مع عمليات التحويل هذه باستخدام Cloud Dataprep.

4. إنشاء سير عمل Cloud Dataprep

استيراد "نمط تصميم إحصاءات نماذج Google" في Cloud Dataprep

نزِّل حزمة سير العمل نمط تصميم "إحصاءات نماذج Google" (بدون فك ضغطها). في تطبيق Cloud Dataprep، انقر على رمز "عمليات نقل البيانات" في شريط التنقّل الأيمن. بعد ذلك، في صفحة "عمليات التحويل"، اختَر "استيراد" من قائمة السياق.

ba7c0cb0eec398df.png

بعد استيراد التدفق، اختَر التدفق المستورَد لتعديله، ويجب أن تبدو شاشتك على النحو التالي:

44978861eb34ec71.png

ربط جدول بيانات نتائج الاستطلاع في "جداول بيانات Google"

على الجانب الأيمن من المسار، يجب إعادة ربط مصدر البيانات بـ "جداول بيانات Google" التي تحتوي على نتائج "نماذج Google". انقر بزر الماوس الأيمن على عنصر مجموعات بيانات "جداول بيانات Google" واختَر "استبدال".

55c16f0c04366f0c.png

بعد ذلك، انقر على الرابط "استيراد مجموعات البيانات" في أسفل النافذة المشروطة. انقر على رمز القلم الرصاص "تعديل المسار".

8afeef260c96277f.png

بعد ذلك، استبدِل القيمة الحالية بهذا الرابط الذي يشير إلى "جدول بيانات Google" يتضمّن بعض نتائج "نماذج Google". يمكنك استخدام مثالنا أو نسختك الخاصة: https://docs.google.com/spreadsheets/d/1DgIlvlLceFDqWEJs91F8rt1B-X0PJGLY6shkKGBPWpk/edit?usp=sharing

انقر على "انتقال" (Go)، ثم على "استيراد وإضافة إلى المسار " (Import& Add to Flow) في أسفل يسار الصفحة. عند الرجوع إلى النافذة المنبثقة، انقر على الزر "استبدال" في أسفل يسار الصفحة.

ربط جداول BigQuery

على الجانب الأيسر من مسار البيانات، عليك ربط النواتج بمثيل BigQuery الخاص بك. بالنسبة إلى كل ناتج من النواتج، انقر على الرمز ثم عدِّل خصائصه على النحو التالي.

ابدأ أولاً بتعديل "الوجهات اليدوية".

a3fc2cb80153ec25.png

في شاشة "إعدادات النشر" التالية، انقر على زر التعديل

85791e6162a370de.png

عند ظهور شاشة "إجراء النشر"، عليك تغيير إعدادات الربط من خلال النقر على عملية الربط بـ BigQuery وتعديل خصائصها.

1f3e4887baaeaffd.png

اختَر مجموعة بيانات BigQuery التي تريد تحميل نتائج "نماذج Google" إليها. يمكنك اختيار "تلقائي" إذا لم يسبق لك إنشاء أي مجموعة بيانات في BigQuery.

f4eaa05ecf9de162.png

بعد تعديل "الوجهات اليدوية"، يمكنك المتابعة بالطريقة نفسها لإخراج "الوجهات المجدوَلة".

46edea1b8ca63270.png

كرِّر كل ناتج باتّباع الخطوات نفسها. عليك تعديل 8 وجهات إجمالاً.

5- شرح سير عمل Cloud Dataprep

الفكرة الأساسية لمسار "نمط تصميم إحصاءات نماذج Google" هي إجراء عمليات التحويل على ردود الاستطلاع كما هو موضّح سابقًا، وذلك من خلال تقسيم كل فئة أسئلة إلى وصفة محدّدة لتحويل البيانات في Cloud Dataprep.

يقسّم هذا المسار الأسئلة إلى 4 جداول (تتطابق مع فئات الأسئلة الأربع، وذلك لتبسيط العملية).

afa421849b1bd398.png

ننصحك باستكشاف كل وصفة من الوصفات واحدة تلو الأخرى، بدءًا من "تنظيف العناوين" ثم "أسئلة SingleChoiceSELECT"، ثم كل الوصفات الأخرى أدناه.

تمت إضافة تعليقات إلى جميع الوصفات لشرح خطوات التحويل المختلفة. عندما تكون في وصفة، يمكنك تعديل خطوة ومعاينة حالة عمود معيّن قبل التعديل وبعده.

449da06d96cd520e.png

4ac6e14f578d0707.png

6. تشغيل تدفق Cloud Dataprep

بعد ضبط المصدر والوجهات بشكلٍ صحيح، يمكنك تشغيل عملية التحويل والتحميل لنقل الردود إلى BigQuery. اختَر كل النواتج وانقر على الزر "تشغيل". إذا كان جدول BigQuery المحدّد متوفّرًا، ستضيف Dataprep صفوفًا جديدة، وإلا ستنشئ جدولاً جديدًا.

47cf50f6d17a5b1e.png

انقر على رمز "سجلّ المهام" في اللوحة اليمنى لتتبُّع المهام. يجب أن يستغرق ذلك بضع دقائق للمتابعة وتحميل جداول BigQuery.

afc79eeb27202fb4.png

عند اكتمال جميع المهام، سيتم تحميل نتائج الاستطلاع في BigQuery بتنسيق نظيف ومنظَّم وموحَّد وجاهز للتحليل.

7. تحليل بيانات الاستطلاع في BigQuery

في وحدة تحكّم Google في BigQuery، من المفترض أن تتمكّن من الاطّلاع على تفاصيل كل جدول من الجداول الجديدة.

df370873572511ac.png

باستخدام بيانات الاستطلاع في BigQuery، يمكنك بسهولة طرح أسئلة أكثر شمولاً لفهم ردود الاستطلاع بشكل أعمق. على سبيل المثال، لنفترض أنّك تحاول معرفة لغة البرمجة الأكثر استخدامًا من قِبل الأشخاص الذين يشغلون مناصب مهنية مختلفة، يمكنك كتابة طلب بحث على النحو التالي:

SELECT
   programming_answers.Language  AS programming_answers_language,
   project_answers.Title  AS project_answers_title,
   AVG((case when programming_answers.Level='None' then 0 
when programming_answers.Level='beginner' then 1
when programming_answers.Level='competent' then 2 
when programming_answers.Level='proficient' then 3
when programming_answers.Level='expert' then 4 
else null end) ) AS programming_answers_average_level_value
FROM `my-project.DesignPattern.A000111_ProjectAnswers` AS project_answers
INNER JOIN `my-project.A000111_ProgrammingAnswers` AS programming_answers
ON programming_answers.RESPONSE_ID = project_answers.RESPONSE_ID
GROUP BY 1,2
ORDER BY 3 DESC

لتعزيز فعالية تحليلاتك، يمكنك ربط الردود على الاستطلاع ببيانات نظام إدارة علاقات العملاء لمعرفة ما إذا كان المشاركون مرتبطين بأي حسابات مضمّنة في مستودع البيانات. يمكن أن يساعد ذلك نشاطك التجاري في اتّخاذ قرارات مدروسة أكثر بشأن دعم العملاء أو استهداف المستخدمين بإطلاق منتجات جديدة.

في ما يلي، نوضّح كيف يمكنك ربط بيانات الاستطلاع بجدول حساب استنادًا إلى نطاق المجيب والموقع الإلكتروني للحساب. يمكنك الآن الاطّلاع على توزيع الردود حسب نوع الحساب، ما يساعدك في معرفة عدد المجيبين الذين ينتمون إلى حسابات العملاء الحاليين.

SELECT
   account.TYPE  AS account_type,
   COUNT(DISTINCT project_answers.Domainname) AS project_answers_count_domains
FROM `my-project.A000111_ProjectAnswers` AS project_answers
LEFT JOIN `my-project.testing.account` AS account 
ON project_answers.Domainname=account.website
GROUP BY 1

8. إجراء "تحليلات مرئية"

بعد أن يتم تجميع بيانات الاستطلاع في مستودع بيانات، يمكنك تحليل البيانات بسهولة باستخدام إحدى أدوات ذكاء الأعمال. لقد أنشأنا بعض التقارير النموذجية في مركز البيانات وLooker.

Looker

إذا كان لديك مثيل Looker، يمكنك استخدام LookML في هذا المجلد لبدء تحليل بيانات الاستطلاع ونظام إدارة علاقات العملاء النموذجية لهذا النمط. ما عليك سوى إنشاء مشروع Looker جديد وإضافة LookML واستبدال أسماء الربط والجداول في الملف لتتطابق مع إعدادات BigQuery. إذا لم يكن لديك نسخة Looker ولكنك مهتم بمعرفة المزيد، يمكنك تحديد موعد لإجراء عرض توضيحي هنا.

129db05d6f85f484.png

مركز البيانات

بدلاً من ذلك، لإنشاء تقرير في مركز البيانات، انقر على الإطار الذي يتضمّن علامة Google "تقرير فارغ" واربطه بخدمة BigQuery. اتّبِع جميع التعليمات الواردة من "مركز البيانات". إذا أردت معرفة المزيد، يمكنك الاطّلاع على دليل البدء السريع ومقدمة عن الميزات الرئيسية في Data Studio هنا. يمكنك أيضًا العثور على لوحات بيانات "مركز البيانات" المُعدّة مسبقًا هنا.

5e744869e3fe3f8f.png

9- تنظيف

أسهل طريقة لإيقاف الفوترة هي حذف مشروع على السحابة الإلكترونية الذي أنشأته لتنفيذ دليل توجيهي/تعليمي. يمكنك بدلاً من ذلك حذف المراجع الفردية.

  1. في Cloud Console، انتقِل إلى "إدارة الموارد".
  2. في قائمة المشاريع، اختَر المشروع الذي تريد حذفه، ثم انقر على حذف.
  3. في مربّع الحوار، اكتب رقم تعريف المشروع، ثم انقر على إيقاف لحذف المشروع.