إنشاء نماذج Spark ML باستخدام Google Dataproc

1. مقدمة

يمثِّل Spark ML أحد المكوّنات الأساسية في Apache Spark، وهي مكتبة لإنشاء نماذج تعلُّم الآلة ومسارات حسابية مصمّمة على أساس محرّك Apache Spark. يحتوي الموقع الإلكتروني على أدوات مثل:

  • خوارزميات التعلم الآلي: خوارزميات التعلم الشائعة مثل التصنيف والانحدار والتجميع العنقودي والتصفية التعاونية
  • تحديد الأبعاد: استخراج الميزات وتحويلها وخفض الأبعاد وتحديدها
  • المسارات: أدوات لإنشاء مسارات تعلُّم الآلة وتقييمها وضبطها
  • الاستمرارية: حفظ وتحميل الخوارزميات والنماذج والمسارات
  • الأدوات المساعدة: الجبر الخطي، والإحصاءات، ومعالجة البيانات، وغير ذلك

في هذا الدرس التطبيقي حول الترميز، ستتعلم كيفية إنشاء نموذج Spark ML باستخدام دفتر ملاحظات.

2. تفعيل واجهات برمجة التطبيقات

عليك تفعيل واجهات برمجة التطبيقات التالية في هذا الدرس التطبيقي:

انقر على هذا الرابط لتفعيل واجهات برمجة التطبيقات هذه في مشروعك. تأكَّد من تفعيل واجهات برمجة التطبيقات في المشروع الصحيح عندما يُطلب منك ذلك.

3- إنشاء مثيل Vertex AI Workbench والربط به

في هذا القسم، ستنشئ مثيل Vertex AI Workbench. ستقوم بعد ذلك بالاتصال به، واستنساخ مستودع جيت هب وتشغيل دفتر ملاحظات.

لإنشاء مثيل Vertex AI Workbench، يمكنك اتّباع التعليمات أو المتابعة أدناه.

  1. انتقِل إلى صفحة وحدة تحكُّم دفاتر الملاحظات المُدارة.
  2. انقر على مفكرة جديدة.
  3. أدخِل اسمًا واختَر منطقة، مثل us-central1 (آيوا). ومن المفترض أن يتطابق مع المنطقة التي تم اختيارها سابقًا في الدرس التطبيقي حول الترميز، إلا أنّ ذلك ليس إلزاميًا.
  4. ضمن الإذن، اختَر مستخدم واحد فقط.
  5. افتح القائمة المنسدلة الإعدادات المتقدّمة.
  6. ضمن الأمان، اختَر تفعيل nbconvert وتفعيل الوحدة الطرفية.
  7. انقر على إنشاء.

من المفترض أن تتم إدارة المثيل في غضون خمس دقائق تقريبًا. ستظهر لك علامة اختيار خضراء بجانب اسم المفكرة عندما يكون المثيل جاهزًا.

عندما يكون المثيل جاهزًا، انقر على فتح JUPYTERLAB. لإجراء مصادقة عندما يُطلب منك ذلك، يجب تفعيل جميع الأذونات.

4. إنشاء نماذج باستخدام Spark ML من دفتر ملاحظات

بعد تحميل مثيل JupyterLab، ستنتقل إلى علامة التبويب Launcher. في علامة التبويب هذه، ضمن غير ذلك، انقر على محطة دفع لفتح محطة طرفية جديدة.

في الوحدة الطرفية، استنسِخ مستودع Vertex AI عيّنات.

git clone https://github.com/GoogleCloudPlatform/vertex-ai-samples.git

في علامة التبويب متصفّح الملفات، انتقِل إلى Headex-ai-Sample/notebooks/Official/workbench/spark. افتح ورقة الملاحظات spark_ml.ipynb من خلال النقر مرّتين عليها. عندما يُطلب منك اختيار kernel، اختَر Python (محلية).

تعرف على خطوات دفتر الملاحظات عن طريق تنفيذ كل خلية أثناء التنقل. اتبع التعليمات الموجودة في الخلايا.

5- إخلاء الموارد

لتجنُّب تحمُّل أي رسوم غير ضرورية من حسابك على Google Cloud Platform بعد إكمال هذا الدرس التطبيقي حول الترميز:

  1. احذف مثيل Workbench. من وحدة التحكّم، ضَع علامة في المربّع بجانب المثيل وانقر على حذف.

إذا أنشأت مشروعًا لهذا الدرس التطبيقي حول الترميز فقط، يمكنك أيضًا حذفه اختياريًا:

  1. في وحدة تحكُّم Google Cloud Platform، انتقِل إلى صفحة المشاريع.
  2. في قائمة المشاريع، اختَر المشروع الذي تريد حذفه وانقر على "حذف".
  3. في المربع، اكتب معرّف المشروع، ثم انقر على "إيقاف التشغيل" لحذف المشروع.