1. مقدمة
أحد المكوّنات الأساسية في Apache Spark هو Spark ML، وهي مكتبة لإنشاء نماذج وتدفقات تعلُّم الآلة تستند إلى محرك Apache Spark. من الموقع الإلكتروني، تحتوي على أدوات مثل:
- خوارزميات تعلُّم الآلة: خوارزميات التعلُّم الشائعة، مثل التصنيف والانحدار والتجميع العنقودي والفَلتَرة حسب الاهتمامات الجماعية
- التحويل إلى ميزات: استخراج الميزات وتحويلها وخفض أبعادها واختيارها
- عمليات Pipelines: أدوات لإنشاء عمليات Pipelines الخاصة بتعلُّم الآلة وتقييمها وتحسينها
- الثبات: حفظ الخوارزميات والنماذج وخطوط الإنتاج وتحميلها
- الأدوات المساعدة: الجبر الخطي والإحصاء ومعالجة البيانات وما إلى ذلك
في هذا الدرس التطبيقي حول الترميز، ستتعرّف على كيفية إنشاء نموذج Spark ML باستخدام دفتر ملاحظات.
2. تفعيل واجهات برمجة التطبيقات
في هذا الدرس التطبيقي حول الترميز، يجب تفعيل واجهات برمجة التطبيقات التالية:
انقر على هذا الرابط لتفعيل واجهات برمجة التطبيقات هذه في مشروعك. عندما يُطلب منك ذلك، أكِّد أنّه سيتم تفعيل واجهات برمجة التطبيقات في المشروع الصحيح.
3- إنشاء نسخة من Gemini Enterprise Agent Engine Workbench والربط بها
في هذا القسم، ستنشئ مثيلاً من Gemini Enterprise Agent Engine Workbench. وبعد ذلك، ستتصل به وتستنسخ مستودع GitHub وتشغّل دفتر ملاحظات.
لإنشاء مثيل Gemini Enterprise Agent Engine Workbench، يمكنك اتّباع التعليمات أو اتّباع الخطوات أدناه.
- انتقِل إلى صفحة وحدة تحكّم "دفاتر الملاحظات المُدارة".
- انقر على دفتر ملاحظات جديد.
- قدِّم اسمًا واختَر منطقة، مثل us-central1 (آيوا). من المفترض أن تتطابق هذه المنطقة مع المنطقة التي تم اختيارها سابقًا في الدرس التطبيقي حول الترميز، ولكن هذا ليس إلزاميًا.
- ضمن الإذن، اختَر مستخدم واحد فقط.
- افتح القائمة المنسدلة الإعدادات المتقدّمة.
- ضمن الأمان، اختَر تفعيل nbconvert وتفعيل الوحدة الطرفية.
- انقر على إنشاء.
يجب توفير الجهاز الظاهري في غضون خمس دقائق تقريبًا. ستظهر علامة اختيار خضراء بجانب اسم دفتر الملاحظات عندما يكون الجهاز الظاهري جاهزًا.
عندما تصبح الآلة الافتراضية جاهزة، انقر على فتح JUPYTERLAB. يجب إثبات ملكية الحساب عند مطالبتك بذلك وتفعيل جميع الأذونات.
4. إنشاء نماذج باستخدام Spark ML من دفتر ملاحظات
بعد تحميل نسخة JupyterLab، ستكون في علامة التبويب Launcher. في علامة التبويب هذه، ضِمن غير ذلك، انقر على الوحدة الطرفية لفتح وحدة طرفية جديدة.
في نافذة الوحدة الطرفية، استنسِخ مستودع نماذج محرك وكيل Gemini Enterprise.
git clone https://github.com/GoogleCloudPlatform/vertex-ai-samples.git
في علامة التبويب مستعرض الملفات، انتقِل إلى vertex-ai-samples/notebooks/official/workbench/spark. افتح دفتر الملاحظات spark_ml.ipynb من خلال النقر عليه مرّتين. عندما يُطلب منك اختيار نواة، اختَر Python (محلية).
استعرِض خطوات دفتر الملاحظات من خلال تنفيذ كل خلية أثناء التقدّم، واتّبِع التعليمات الواردة في الخلايا.
5- تنظيف الموارد
لتجنُّب تكبُّد رسوم غير ضرورية في حسابك على Google Cloud Platform بعد إكمال هذا الدرس التطبيقي حول الترميز، اتّبِع الخطوات التالية:
- احذف مثيل Workbench. من وحدة التحكّم، ضَع علامة في المربّع بجانب جهازك الافتراضي وانقر على حذف.
إذا أنشأت مشروعًا خصيصًا لهذا الدرس التطبيقي حول الترميز، يمكنك أيضًا حذف المشروع اختياريًا:
- في وحدة تحكّم Google Cloud Platform، انتقِل إلى صفحة المشاريع.
- في قائمة المشاريع، اختَر المشروع الذي تريد حذفه وانقر على "حذف".
- في المربّع، اكتب رقم تعريف المشروع، ثم انقر على "إيقاف" لحذف المشروع.