1. ভূমিকা
অ্যাপাচি স্পার্কের মূল উপাদানগুলির মধ্যে একটি হল স্পার্ক এমএল , যা অ্যাপাচি স্পার্ক ইঞ্জিনের উপরে নির্মিত মেশিন লার্নিং মডেল এবং পাইপলাইন তৈরির জন্য একটি লাইব্রেরি। ওয়েবসাইট থেকে, এতে নিম্নলিখিত সরঞ্জামগুলি রয়েছে:
- এমএল অ্যালগরিদম: সাধারণ শিক্ষণ অ্যালগরিদম যেমন শ্রেণীবিভাগ, রিগ্রেশন, ক্লাস্টারিং এবং সহযোগী ফিল্টারিং
- বৈশিষ্ট্যায়ন: বৈশিষ্ট্য নিষ্কাশন, রূপান্তর, মাত্রিকতা হ্রাস এবং নির্বাচন
- পাইপলাইন: এমএল পাইপলাইন নির্মাণ, মূল্যায়ন এবং টিউন করার সরঞ্জাম
- স্থায়িত্ব: অ্যালগরিদম, মডেল এবং পাইপলাইন সংরক্ষণ এবং লোড করা
- ইউটিলিটি: রৈখিক বীজগণিত, পরিসংখ্যান, তথ্য পরিচালনা ইত্যাদি।
এই কোডল্যাবে, আপনি শিখবেন কিভাবে একটি নোটবুক ব্যবহার করে একটি স্পার্ক এমএল মডেল তৈরি করতে হয়।
2. API গুলি সক্ষম করুন
এই কোডল্যাবের জন্য, আপনাকে নিম্নলিখিত API গুলি সক্ষম করতে হবে:
আপনার প্রোজেক্টে এই API গুলি সক্রিয় করতে এই লিঙ্কে ক্লিক করুন। অনুরোধ করা হলে, নিশ্চিত করুন যে API গুলি সঠিক প্রোজেক্টে সক্রিয় করা হবে।
৩. একটি ভার্টেক্স এআই ওয়ার্কবেঞ্চ ইনস্ট্যান্স তৈরি করুন এবং তার সাথে সংযোগ করুন
এই বিভাগে আপনি একটি Vertex AI Workbench ইনস্ট্যান্স তৈরি করবেন। এরপর আপনি এটির সাথে সংযোগ স্থাপন করবেন, একটি Github রিপোজিটরি ক্লোন করবেন এবং একটি নোটবুক চালাবেন।
ভার্টেক্স এআই ওয়ার্কবেঞ্চ ইনস্ট্যান্স তৈরি করতে, আপনি নির্দেশাবলী অনুসরণ করতে পারেন অথবা নীচের নির্দেশাবলী অনুসরণ করতে পারেন।
- Managed Notebooks কনসোল পৃষ্ঠায় যান ।
- নতুন নোটবুক-এ ক্লিক করুন।
- একটি নাম দিন এবং us-central1 (Iowa) এর মতো একটি অঞ্চল নির্বাচন করুন। এটি আদর্শভাবে কোডল্যাবে পূর্বে নির্বাচিত অঞ্চলের সাথে মিলবে, যদিও এটি বাধ্যতামূলক নয়।
- অনুমতির অধীনে শুধুমাত্র একক ব্যবহারকারী নির্বাচন করুন।
- উন্নত সেটিংস ড্রপডাউন খুলুন।
- Security এর অধীনে Enable nbconvert এবং Enable terminal নির্বাচন করুন।
- তৈরি করুন ক্লিক করুন।
ইনস্ট্যান্সটি প্রায় পাঁচ মিনিটের মধ্যে প্রস্তুত করা উচিত। ইনস্ট্যান্সটি প্রস্তুত হলে আপনি নোটবুকের নামের পাশে একটি সবুজ চেক চিহ্ন দেখতে পাবেন।
ইনস্ট্যান্স প্রস্তুত হলে, OPEN JUPYTERLAB এ ক্লিক করুন। অনুরোধ করা হলে প্রমাণীকরণ করুন এবং সমস্ত অনুমতি সক্রিয় করুন।
৪. একটি নোটবুক থেকে Spark ML দিয়ে মডেল তৈরি করুন
JupyterLab ইনস্ট্যান্স লোড হওয়ার পর, আপনি Launcher ট্যাবে আছেন। এই ট্যাবে, Other এর অধীনে Terminal এ ক্লিক করে একটি নতুন Terminal খুলুন।
টার্মিনালে, Vertex AI Samples রিপোজিটরিটি ক্লোন করুন।
git clone https://github.com/GoogleCloudPlatform/vertex-ai-samples.git
ফাইল ব্রাউজার ট্যাবে, vertex-ai-samples/notebooks/official/workbench/spark এ যান। নোটবুকটি spark_ml.ipynb এ ডাবল ক্লিক করে খুলুন। কার্নেল নির্বাচন করার অনুরোধ জানানো হলে, Python (local) নির্বাচন করুন।
প্রতিটি কক্ষ সম্পাদন করে নোটবুকের ধাপগুলি অনুসরণ করুন। কক্ষগুলিতে থাকা নির্দেশাবলী অনুসরণ করুন।
৫. সম্পদ পরিষ্কার করুন
এই কোডল্যাবটি সম্পন্ন করার পরে আপনার GCP অ্যাকাউন্টে অপ্রয়োজনীয় চার্জ এড়াতে:
- আপনার ওয়ার্কবেঞ্চ ইনস্ট্যান্সটি মুছে ফেলুন। কনসোল থেকে, আপনার ইনস্ট্যান্সের পাশের বাক্সটি চেক করুন এবং DELETE এ ক্লিক করুন।
যদি আপনি শুধুমাত্র এই কোডল্যাবের জন্য একটি প্রকল্প তৈরি করে থাকেন, তাহলে আপনি ঐচ্ছিকভাবে প্রকল্পটি মুছে ফেলতে পারেন:
- GCP কনসোলে, প্রজেক্ট পৃষ্ঠায় যান।
- প্রকল্পের তালিকায়, আপনি যে প্রকল্পটি মুছতে চান তা নির্বাচন করুন এবং মুছুন ক্লিক করুন।
- বাক্সে, প্রকল্প আইডি টাইপ করুন, এবং তারপর প্রকল্পটি মুছে ফেলতে Shut down এ ক্লিক করুন।