إنشاء نماذج Spark ML باستخدام Google Dataproc

1. مقدمة

أحد المكوّنات الأساسية في Apache Spark هو Spark ML، وهي مكتبة لإنشاء نماذج وتدفقات تعلُّم الآلة استنادًا إلى محرك Apache Spark. يتضمّن الموقع الإلكتروني أدوات مثل:

  • خوارزميات تعلُّم الآلة: خوارزميات التعلُّم الشائعة، مثل التصنيف والانحدار والتجميع العنقودي والفَلتَرة حسب الاهتمامات الجماعية
  • تحويل البيانات إلى ميزات: استخراج الميزات وتحويلها وخفض أبعادها واختيارها
  • عمليات نقل البيانات: أدوات لإنشاء عمليات نقل بيانات تعلُّم الآلة وتقييمها وضبطها
  • الثبات: حفظ الخوارزميات والنماذج وخطوط الإنتاج وتحميلها
  • الأدوات المساعدة: الجبر الخطي والإحصاء ومعالجة البيانات وما إلى ذلك

في هذا الدرس التطبيقي حول الترميز، ستتعرّف على كيفية إنشاء نموذج تعلُّم آلة في Spark باستخدام دفتر ملاحظات.

2. تفعيل واجهات برمجة التطبيقات

في هذا الدرس العملي، يجب تفعيل واجهات برمجة التطبيقات التالية:

انقر على هذا الرابط لتفعيل واجهات برمجة التطبيقات هذه في مشروعك. عندما يُطلب منك ذلك، أكِّد أنّه سيتم تفعيل واجهات برمجة التطبيقات في المشروع الصحيح.

3- إنشاء مثيل Vertex AI Workbench والاتصال به

في هذا القسم، ستنشئ مثيلاً من Vertex AI Workbench. بعد ذلك، ستتصل به وتستنسخ مستودع جيت هب وتشغّل دفترًا.

لإنشاء مثيل Vertex AI Workbench، يمكنك اتّباع التعليمات أو الخطوات أدناه.

  1. انتقِل إلى صفحة وحدة تحكّم "دفاتر الملاحظات المُدارة".
  2. انقر على دفتر ملاحظات جديد.
  3. أدخِل اسمًا واختَر منطقة، مثل us-central1 (آيوا). يجب أن تتطابق هذه المنطقة مع المنطقة التي تم اختيارها سابقًا في الدرس التطبيقي حول الترميز، ولكن هذا ليس إلزاميًا.
  4. ضمن الإذن، اختَر مستخدم واحد فقط.
  5. افتح القائمة المنسدلة الإعدادات المتقدّمة.
  6. ضمن الأمان، اختَر تفعيل nbconvert وتفعيل الوحدة الطرفية.
  7. انقر على إنشاء.

يجب توفير الجهاز الظاهري في غضون خمس دقائق تقريبًا. ستظهر علامة اختيار خضراء بجانب اسم دفتر الملاحظات عندما يكون الجهاز الظاهري جاهزًا.

عندما تصبح الآلة الافتراضية جاهزة، انقر على فتح JUPYTERLAB. إثبات الهوية عند المطالبة بذلك وتفعيل جميع الأذونات

4. إنشاء نماذج باستخدام Spark ML من دفتر ملاحظات

بعد تحميل نسخة JupyterLab، ستكون في علامة التبويب Launcher. في علامة التبويب هذه، ضِمن غير ذلك، انقر على الوحدة الطرفية لفتح وحدة طرفية جديدة.

في الوحدة الطرفية، استنسِخ مستودع عينات Vertex AI.

git clone https://github.com/GoogleCloudPlatform/vertex-ai-samples.git

في علامة التبويب متصفّح الملفات، انتقِل إلى vertex-ai-samples/notebooks/official/workbench/spark. افتح دفتر الملاحظات spark_ml.ipynb من خلال النقر عليه مرّتين. عندما يُطلب منك اختيار نواة، اختَر Python (محلية).

استعرِض خطوات ورقة الملاحظات من خلال تنفيذ كل خلية أثناء التقدّم، واتّبِع التعليمات الواردة في الخلايا.

5- تنظيف الموارد

لتجنُّب تكبّد رسوم غير ضرورية في حسابك على Google Cloud Platform بعد إكمال هذا الدرس التطبيقي حول الترميز، اتّبِع الخطوات التالية:

  1. احذف مثيل Workbench. من وحدة التحكّم، ضَع علامة في المربّع بجانب مثيلك وانقر على حذف.

إذا أنشأت مشروعًا لهذا الدرس التطبيقي حول الترميز فقط، يمكنك أيضًا حذف المشروع اختياريًا:

  1. في "وحدة تحكّم Google Cloud Platform"، انتقِل إلى صفحة المشاريع.
  2. في قائمة المشاريع، اختَر المشروع الذي تريد حذفه وانقر على "حذف".
  3. في المربّع، اكتب رقم تعريف المشروع، ثم انقر على "إيقاف" لحذف المشروع.