إعداد البيانات باستخدام موظّفي الذكاء الاصطناعي في ورشة عمل BigQuery للترميز

1. مقدمة

تخيَّل أنّه بإمكانك إعداد بياناتك للتحليل بشكل أسرع وأكثر فعالية بدون الحاجة إلى أن تكون خبيرًا في الترميز. مع أداة إعداد بيانات BigQuery، يصبح ذلك ممكنًا. تسهّل هذه الميزة الفعّالة عملية نقل البيانات وتحويلها وتنظيفها، ما يتيح لجميع خبراء البيانات في مؤسستك إعداد البيانات.

هل أنت مستعد للكشف عن الأسرار المخفية في بيانات منتجاتك؟

المتطلبات الأساسية

• فهم أساسي لـ Google Cloud وConsole
• فهم أساسي للغة SQL

ما ستتعلمه

• كيف يمكن أن تساعد عملية إعداد البيانات في BigQuery في تنظيف بياناتك الأولية وتحويلها إلى ذكاء أعمال قابل للتنفيذ، وذلك باستخدام مثال واقعي من مجال الأزياء والجمال
• كيفية تشغيل عملية إعداد البيانات المجدوَلة للبيانات التي تم إصلاحها

المتطلبات

• حساب على Google Cloud ومشروع على Google Cloud
• متصفّح ويب، مثل Chrome

2. الإعداد الأساسي والمتطلبات

إعداد البيئة بالسرعة التي تناسبك

1. سجِّل الدخول إلى Google Cloud Console وأنشِئ مشروعًا جديدًا أو أعِد استخدام مشروع حالي. إذا لم يكن لديك حساب على Gmail أو Google Workspace، عليك إنشاء حساب.

• اسم المشروع هو الاسم المعروض للمشاركين في هذا المشروع. وهي سلسلة أحرف لا تستخدمها Google APIs. ويمكنك تعديلها في أي وقت.
• رقم تعريف المشروع هو معرّف فريد في جميع مشاريع Google Cloud ولا يمكن تغييره (لا يمكن تغييره بعد ضبطه). تنشئ Cloud Console سلسلة فريدة تلقائيًا، ولا يهمّك عادةً ما هي. في معظم دروس البرمجة، عليك الرجوع إلى رقم تعريف مشروعك (يُشار إليه عادةً باسم PROJECT_ID). إذا لم يعجبك رقم التعريف الذي تم إنشاؤه، يمكنك إنشاء رقم آخر عشوائي. يمكنك بدلاً من ذلك تجربة اسم مستخدم من اختيارك ومعرفة ما إذا كان متاحًا. لا يمكن تغيير هذا الخيار بعد هذه الخطوة ويظل ساريًا طوال مدة المشروع.
• للعلم، هناك قيمة ثالثة، وهي رقم المشروع، وتستخدمها بعض واجهات برمجة التطبيقات. يمكنك الاطّلاع على مزيد من المعلومات عن كل هذه القيم الثلاث في المستندات.

تنبيه: رقم تعريف المشروع فريد على مستوى العالم ولا يمكن لأي شخص آخر استخدامه بعد اختياره. أنت المستخدم الوحيد لهذا المعرّف. حتى إذا تم حذف مشروع، لا يمكن استخدام المعرّف مرة أخرى.

ملاحظة: إذا كنت تستخدم حساب Gmail، يمكنك ترك الموقع الجغرافي التلقائي مضبوطًا على بدون مؤسسة. إذا كنت تستخدم حسابًا على Google Workspace، اختَر موقعًا جغرافيًا مناسبًا لمؤسستك.

2. بعد ذلك، عليك تفعيل الفوترة في Cloud Console لاستخدام موارد/واجهات برمجة تطبيقات Cloud. لن تكلفك تجربة هذا الدرس البرمجي الكثير، إن وُجدت أي تكلفة. لإيقاف الموارد وتجنُّب تحمّل تكاليف فوترة تتجاوز هذا البرنامج التعليمي، يمكنك حذف الموارد التي أنشأتها أو حذف المشروع. يمكن لمستخدمي Google Cloud الجدد الاستفادة من برنامج الفترة التجريبية المجانية بقيمة 300 دولار أمريكي.

3- قبل البدء

تفعيل واجهة برمجة التطبيقات

لاستخدام Gemini في BigQuery، يجب تفعيل واجهة برمجة التطبيقات "Gemini في Google Cloud". عادةً ما ينفّذ هذه الخطوة مشرف خدمة أو صاحب مشروع لديه serviceusage.services.enableإذن "إدارة الهوية وإمكانية الوصول" (IAM).

1. لتفعيل واجهة برمجة التطبيقات Gemini for Google Cloud API، انتقِل إلى صفحة Gemini في Google Cloud في Google Cloud Marketplace. الانتقال إلى "Gemini في Google Cloud"
2. في أداة اختيار المشاريع، اختَر مشروعًا.
3. انقر على تفعيل. يتم تعديل الصفحة وعرض الحالة مفعَّل. أصبح Gemini في BigQuery متاحًا الآن في مشروع Google Cloud المحدّد لجميع المستخدمين الذين لديهم أذونات IAM المطلوبة.

إعداد الأدوار والأذونات لتطوير عمليات إعداد البيانات

1. في "إدارة الهوية وإمكانية الوصول"، اختَر "إدارة الهوية وإمكانية الوصول".

2. اختَر المستخدم وانقر على رمز القلم الرصاص "تعديل الأساسي"

لاستخدام "إعداد بيانات BigQuery"، يجب أن يكون لديك الأدوار والأذونات التالية:

• محرِّر بيانات في BigQuery (roles/bigquery.dataEditor)
• مستخدم Service Usage (roles/serviceusage.serviceUsageConsumer)

4. العثور على بطاقة بيانات "عرض توضيحي لإعداد بيانات bq" والاشتراك فيها في BigQuery Analytics Hub

سنستخدم مجموعة بيانات bq data preparation demo في هذا البرنامج التعليمي. وهي مجموعة بيانات مرتبطة في BigQuery Analytics Hub سنقرأ منها.

لا تكتب عملية إعداد البيانات أبدًا في المصدر، وسنطلب منك تحديد جدول وجهة للكتابة فيه. لا يحتوي الجدول الذي سنتعامل معه في هذا التمرين إلا على 1,000 صف للحفاظ على الحد الأدنى من التكاليف، ولكن يتم تنفيذ عملية إعداد البيانات على BigQuery وسيتم توسيع نطاقها بالتوازي.

اتّبِع الخطوات التالية للعثور على مجموعة البيانات المرتبطة والاشتراك فيها:

1. الوصول إلى Analytics Hub: في Google Cloud Console، انتقِل إلى BigQuery.
2. في قائمة التنقّل في BigQuery، ضِمن "إدارة البيانات"، اختَر "مركز الإحصاءات".

3. ابحث عن البطاقة: في واجهة مستخدم "مركز إحصاءات التطبيقات"، انقر على البحث عن البطاقات.
4. اكتب bq data preparation demo في شريط البحث واضغط على Enter.

5. الاشتراك في "بطاقة بيانات المتجر": اختَر bq data preparation demo بطاقة البيانات من نتائج البحث.
6. في صفحة تفاصيل البطاقة، انقر على الزر اشتراك.
7. راجِع أي مربّعات حوار تأكيد وعدِّل المشروع أو مجموعة البيانات إذا لزم الأمر. يجب أن تكون الإعدادات التلقائية صحيحة.

8. الوصول إلى مجموعة البيانات في BigQuery: بعد الاشتراك بنجاح، سيتم ربط مجموعات البيانات ضِمن البطاقة بمشروعك على BigQuery.

ارجع إلى BigQuery Studio.

5- استكشاف البيانات وبدء عملية إعداد البيانات

1. تحديد موقع مجموعة البيانات والجدول: في لوحة "المستكشف"، اختَر مشروعك ثم ابحث عن مجموعة البيانات التي تم تضمينها في قائمة bq data preparation demo. اختَر جدول stg_product.
2. الفتح في "إعداد البيانات": انقر على النقاط الثلاث الرأسية بجانب اسم الجدول واختَر Open in Data Preparation.

إذا طُلب منك Enable data preparation، انقر على الزر لتفعيله واتّبِع التعليمات.

سيؤدي ذلك إلى فتح الجدول في واجهة "إعداد البيانات"، لتكون جاهزًا لبدء تحويل بياناتك.

كما هو موضّح في معاينة البيانات أدناه، لدينا بعض المشاكل المتعلقة بالبيانات التي سنتعامل معها، وتشمل ما يلي:

• يحتوي عمود السعر على كلّ من المبلغ والعملة، ما يصعّب عملية التحليل.
• يجمع عمود المنتج بين اسم المنتج وفئته (مع الفصل بينهما برمز الخط العمودي |).

يحلّل Gemini بياناتك على الفور ويقترح عدة عمليات تحويل. في هذا المثال، نرى عددًا من الاقتراحات. في الخطوات التالية، سنطبّق تلك التي نحتاج إليها.

6. التعامل مع عمود السعر

لنبدأ بعمود السعر. كما رأينا، يحتوي على العملة والمبلغ. هدفنا هو فصل هذه القيم إلى عمودَين منفصلَين:العملة والمبلغ.

حدّد Gemini عدة اقتراحات لعمود "السعر".

ملاحظة: إذا لم تتمكّن من العثور على بطاقة اقتراح تتضمّن التعليمات المذكورة أدناه، يمكنك إنشاء بطاقة من خلال اتّباع الخطوات التالية:

1. اختيار "إضافة خطوة" > "التحويل"
2. كتابة الوصف الذي كنت تبحث عنه في الحقل Description

1. ابحث عن اقتراح يتضمّن عبارة مشابهة لما يلي:

الوصف: "تزيل هذه العبارة "دولار أمريكي " من الحقل المحدّد"

REGEXP_REPLACE(Price,` `r'^USD\s',` `r'')

2. اختَر "معاينة"

3. انقر على "تطبيق"

بعد ذلك، بالنسبة إلى عمود السعر، لن حوّل نوع البيانات من STRING إلى NUMERIC.

1. ابحث عن اقتراح يتضمّن عبارة مشابهة لما يلي:

الوصف: "تحويل عمود السعر من نوع السلسلة إلى float64"

SAFE_CAST(Price AS float64)

2. اختَر "تطبيق".

من المفترض أن تظهر لك الآن ثلاث خطوات تم تطبيقها في قائمة الخطوات.

ملاحظة: إذا لم تتمكّن من العثور على الاقتراحات أعلاه، استخدِم سير عمل Add Step الموضّح في الملاحظة أعلاه لإضافتها وتطبيقها.

7. التعامل مع عمود المنتج

يحتوي عمود المنتج على اسم المنتج وفئته، مع الفصل بينهما بعلامة الشرطة العمودية (|).

مع أنّه يمكننا استخدام اللغة الطبيعية مرة أخرى، لنستكشف ميزة أخرى من ميزات Gemini الفعّالة.

تنظيف اسم المنتج

1. اختَر جزء الفئة من إدخال المنتج، بما في ذلك الحرف |، ثم احذفه.

سيتعرّف Gemini بذكاء على هذا النمط ويقترح عملية تحويل لتطبيقها على العمود بأكمله.

2. انقر على "تعديل".

اقتراح Gemini دقيق: يزيل كل ما يلي الحرف "|"، ما يؤدي إلى عزل اسم المنتج بشكل فعّال.

لكننا لا نريد هذه المرة استبدال بياناتنا الأصلية.

3. في القائمة المنسدلة لعمود الاستهداف، اختَر "إنشاء عمود جديد".
4. اضبط الاسم على ProductName.

4. يُرجى معاينة التغييرات للتأكّد من أنّ كل شيء يبدو على ما يرام.
5. طبِّق عملية التحويل.

استخراج فئة المنتج

باستخدام اللغة الطبيعية، سنطلب من Gemini استخراج الكلمة التي تلي علامة الأنابيب (|) في عمود "المنتج". سيتم استبدال هذه القيمة المستخرَجة في العمود الحالي المسمّى "المنتج".

1. انقر على Add Step لإضافة خطوة تحويل جديدة.

2. اختَر Transformation من القائمة المنسدلة
3. في حقل طلب اللغة العادية، أدخِل "استخرِج الكلمة بعد علامة الأنابيب (|) في عمود المنتج"، ثم اضغط على مفتاح الرجوع لإنشاء لغة الاستعلامات البنيوية.

4. اترك عمود "الاستهداف" على "المنتج".
5. انقر على تطبيق.

يجب أن يمنحك التحويل النتائج التالية.

8. الدمج لإثراء البيانات

في كثير من الأحيان، ستحتاج إلى إثراء بياناتك بمعلومات من مصادر أخرى. في مثالنا، سنربط بيانات منتجاتنا بسمات المنتجات الموسّعة، stg_extended_product، من جدول تابع لجهة خارجية. يتضمّن هذا الجدول تفاصيل مثل العلامة التجارية وتاريخ الإطلاق.

1. انقر على Add Step.
2. اختيار Join
3. انتقِل إلى الجدول stg_extended_product.

اختار "Gemini في BigQuery" تلقائيًا مفتاح الضمّ productid وحدّد الجانبين الأيمن والأيسر لأنّ اسم المفتاح مطابق.

ملاحظة: تأكَّد من أنّ حقل الوصف مكتوب فيه "الانضمام باستخدام productid". إذا كان يتضمّن مفاتيح دمج إضافية، استبدِل حقل الوصف بـ "الدمج حسب productid" وانقر على زر الإنشاء في حقل الوصف لإعادة إنشاء تعبير الدمج مع الشرط التالي L.

productid

= R.

productid.

4. اختياريًا، انقر على "معاينة" لمعاينة النتائج.
5. انقر على Apply.

تنظيف السمات الموسَّعة

على الرغم من نجاح عملية الربط، تتطلّب بيانات السمات الموسّعة بعض التنظيف. يحتوي العمود LaunchDate على تنسيقات تاريخ غير متسقة، ويحتوي العمود Brand على بعض القيم المفقودة.

سنبدأ بمعالجة العمود LaunchDate.

قبل إنشاء أي عمليات تحويل، راجِع اقتراحات Gemini.

1. انقر على اسم عمود LaunchDate. من المفترض أن تظهر لك بعض الاقتراحات المشابهة لتلك الواردة في الصورة أدناه.

2. إذا ظهر لك اقتراح مع عبارة SQL التالية، طبِّق الاقتراح وتخطَّ الخطوات التالية.

COALESCE(SAFE.PARSE_DATE('%Y-%m-%d',
LaunchDate),SAFE.PARSE_DATE('%Y/%m/%d', LaunchDate))

3. إذا لم تظهر لك توصية تطابق عبارة SQL أعلاه، انقر على Add Step.
4. انقر على Transformation.
5. في حقل SQL، أدخِل ما يلي:

COALESCE(SAFE.PARSE_DATE('%Y-%m-%d',
LaunchDate),SAFE.PARSE_DATE('%Y/%m/%d', LaunchDate))

6. اضبط السمة Target Columns على LaunchDate.
7. انقر على Apply.

يحتوي العمود LaunchDate الآن على تنسيق تاريخ ثابت.

9. إضافة جدول وجهة

أصبحت مجموعة البيانات الآن نظيفة وجاهزة للتحميل في جدول سمات في مستودع البيانات.

1. انقر على ADD STEP.
2. انقر على Destination.
3. املأ المَعلمات المطلوبة: مجموعة البيانات: bq_data_preparation_demo الجدول: DimProduct
4. انقر على Save.

لقد عملنا الآن باستخدام علامتَي التبويب "البيانات" و"المخطط". بالإضافة إلى ذلك، توفّر أداة "إعداد البيانات في BigQuery" طريقة عرض "رسم بياني" تعرض بشكل مرئي تسلسل خطوات التحويل في مسار البيانات.

ملاحظة: يمكنك عرض الرسم البياني من خلال النقر على اسم إعداد البيانات في العنوان.

10. المكافأة أ: التعامل مع عمود "الشركة المصنّعة" وإنشاء "جدول الأخطاء"

لقد رصدنا أيضًا قيمًا فارغة في العمود Manufacturer. بالنسبة إلى هذه السجلات، نريد تنفيذ عملية التحقّق من جودة البيانات ونقلها إلى جدول الأخطاء لإجراء مراجعة إضافية.

إنشاء جدول أخطاء

1. انقر على الزر More بجانب عنوان stg_product data preparation.
2. ضمن قسم Setting، انقروا على Error Table.
3. ضَع علامة في المربّع Enable error table، واضبط الإعدادات على النحو التالي:

• مجموعة البيانات: اختَر bq_data_preparation_demo
• الجدول: أدخِل err_dataprep
• ضمن Define duration for keeping errors، اختَر 30 days (default)

4. انقر على Save.

إعداد التحقّق من صحة البيانات في عمود "الشركة المصنّعة"

1. اختَر عمود "الشركة المصنّعة".
2. من المحتمل أنّ Gemini قد رصد عملية تحويل ذات صلة. ابحث عن الاقتراح الذي يحتفظ فقط بالصفوف التي لا يكون فيها حقل "الشركة المصنّعة" فارغًا. سيتضمّن SQL مشابهًا لما يلي:

Manufacturer IS NOT NULL

2.انقر على الزر "تعديل" في هذا الاقتراح لمراجعته.

3. ضَع علامة في المربّع بجانب الخيار "نقل الصفوف التي تعذّر التحقّق من صحتها إلى جدول الأخطاء" إذا لم يكن محدّدًا.
4. انقر على Apply.

في أي وقت، يمكنك مراجعة عمليات التحويل التي طبّقتها أو تعديلها أو حذفها من خلال النقر على الزر "الخطوات المطبّقة".

تنظيف عمود ProductID_1 المكرّر

يمكن الآن حذف العمود ProductID_1 الذي يكرّر ProductID من الجدول الذي تم دمجه.

1. انتقِل إلى علامة التبويب Schema
2. انقر على النقاط الثلاث بجانب عمود ProductID_1.
3. انقر على Drop.

نحن الآن جاهزون لتشغيل مهمة إعداد البيانات والتحقّق من صحة المسار بأكمله. بعد أن نكون راضين عن النتائج، يمكننا جدولة المهمة لتنفيذها تلقائيًا.

4. قبل الانتقال بعيدًا عن طريقة عرض إعداد البيانات، احفظ عمليات الإعداد. بجانب العنوان stg_product data preparation، من المفترض أن يظهر الزر Save. انقر على الزرّ للحفظ.

11. تنظيف البيئة

• حذف stg_product data preparation
• حذف مجموعة بيانات bq data preparation demo

12. تهانينا

تهانينا على إكمال درس البرمجة.

المواضيع التي تناولناها

• إعداد عملية إعداد البيانات
• فتح الجداول والتنقّل في عملية إعداد البيانات
• تقسيم الأعمدة التي تحتوي على بيانات وصفية رقمية ووحدات
• توحيد تنسيقات التاريخ
• تنفيذ عمليات إعداد البيانات