এই কোডল্যাব সম্পর্কে
1. ওভারভিউ
এই ল্যাবে, আপনি করবেন:
- একটি পরিচালিত ডেটাসেট তৈরি করুন
- একটি Google ক্লাউড স্টোরেজ বাকেট থেকে ডেটা আমদানি করুন৷
- AutoML এর সাথে যথাযথ ব্যবহারের জন্য কলাম মেটাডেটা আপডেট করুন
- বাজেট এবং অপ্টিমাইজেশন উদ্দেশ্যের মতো বিকল্পগুলি ব্যবহার করে একটি মডেলকে প্রশিক্ষণ দিন
- অনলাইন ব্যাচ ভবিষ্যদ্বাণী করুন
2. ডেটা পর্যালোচনা করুন
এই ল্যাবটি BigQuery পাবলিক ডেটাসেট থেকে আইওয়া লিকার সেলস ডেটাসেট থেকে ডেটা ব্যবহার করে। এই ডেটাসেটে 2012 সাল থেকে মার্কিন যুক্তরাষ্ট্রের আইওয়া রাজ্যে পাইকারি মদের কেনাকাটা রয়েছে৷
ভিউ ডেটাসেট নির্বাচন করে আপনি আসল কাঁচা ডেটা দেখতে পারেন। টেবিলটি অ্যাক্সেস করতে, বাম নেভিগেশন বারে bigquery-public-datasets প্রকল্পে, তারপর iowa_liquor_sales ডেটাসেট এবং তারপর বিক্রয় টেবিলে নেভিগেট করুন। ডেটাসেট থেকে সারিগুলির একটি নির্বাচন দেখতে আপনি পূর্বরূপ নির্বাচন করতে পারেন।
এই ল্যাবের উদ্দেশ্যে, আমরা ইতিমধ্যেই কিছু প্রাথমিক ডেটা প্রাক-প্রসেসিং করে ফেলেছি যাতে করে কেনাকাটাগুলিকে দিনের ভিত্তিতে গোষ্ঠীবদ্ধ করা যায়৷ আমরা BigQuery টেবিল থেকে একটি CSV নির্যাস ব্যবহার করব। CSV ফাইলের কলামগুলি হল:
- ds : তারিখ
- y : ডলারে সেদিনের সমস্ত কেনাকাটার সমষ্টি
- ছুটি : তারিখটি মার্কিন ছুটির দিন কিনা তা একটি বুলিয়ান
- id : একটি সময়-সিরিজ শনাক্তকারী (একাধিক টাইম-সিরিজ সমর্থন করতে, যেমন স্টোর বা পণ্য দ্বারা)। এই ক্ষেত্রে, আমরা কেবলমাত্র একটি টাইম-সিরিজের সামগ্রিক ক্রয়ের পূর্বাভাস দিতে যাচ্ছি, তাই প্রতিটি সারির জন্য আইডি 0 সেট করা হয়েছে।
3. ডেটা আমদানি করুন
ধাপ 1: Vertex AI ডেটাসেটে নেভিগেট করুন
ক্লাউড কনসোলের বাম নেভিগেশন বার থেকে Vertex AI মেনুতে ডেটাসেটগুলি অ্যাক্সেস করুন৷
ধাপ 2: ডেটাসেট তৈরি করুন
একটি নতুন ডেটাসেট তৈরি করুন, ট্যাবুলার ডেটা নির্বাচন করুন এবং তারপরে পূর্বাভাস সমস্যার ধরন। iowa_daily নাম বা আপনার পছন্দের অন্য কিছু বেছে নিন।
ধাপ 3: ডেটা আমদানি করুন
পরবর্তী ধাপ হল ডেটাসেটে ডেটা আমদানি করা। ক্লাউড স্টোরেজ থেকে একটি CSV নির্বাচন করার বিকল্পটি বেছে নিন। তারপরে, AutoML ডেমো আলফা বাকেটের CSV ফাইলে নেভিগেট করুন এবং automl-demo-240614-lcm/iowa_liquor/iowa_daily.csv এ পেস্ট করুন।
4. ট্রেন মডেল
ধাপ 1: মডেল বৈশিষ্ট্য কনফিগার করুন
কয়েক মিনিট পর, AutoML আপনাকে সূচিত করবে যে আমদানি সম্পন্ন হয়েছে। সেই সময়ে, আপনি মডেল বৈশিষ্ট্যগুলি কনফিগার করতে পারেন।
- আইডি হতে টাইম সিরিজ শনাক্তকারী কলাম নির্বাচন করুন। আমাদের ডেটাসেটে শুধুমাত্র একটি টাইম-সিরিজ আছে, তাই এটি একটি আনুষ্ঠানিকতা।
- ds হতে সময় কলাম নির্বাচন করুন।
তারপরে, পরিসংখ্যান তৈরি করুন নির্বাচন করুন। প্রক্রিয়াটি সম্পূর্ণ হওয়ার পরে, আপনি অনুপস্থিত % এবং স্বতন্ত্র মান পরিসংখ্যান দেখতে পাবেন। এই প্রক্রিয়াটি কয়েক মিনিট সময় নিতে পারে, তাই আপনি যদি পরবর্তী ধাপে যেতে চান তাহলে এগিয়ে যেতে পারেন৷
ধাপ 2: মডেল প্রশিক্ষণ
প্রশিক্ষণ প্রক্রিয়া শুরু করতে মডেলকে প্রশিক্ষণ দিন নির্বাচন করুন। নিশ্চিত করুন যে AutoML নির্বাচিত হয়েছে, এবং চালিয়ে যান ।
ধাপ 3: মডেলটি সংজ্ঞায়িত করুন
- y হতে লক্ষ্য কলাম নির্বাচন করুন। যে মান আমরা ভবিষ্যদ্বাণী করা হয়.
- যদি আগে থেকেই সেট করা না থাকে, তাহলে সিরিজ শনাক্তকারী কলামটিকে id এবং টাইমস্ট্যাম্প কলামটিকে ds এ সেট করুন।
- ডেটা গ্রানুলারিটি দিন এবং পূর্বাভাস দিগন্ত 7 এ সেট করুন। এই ক্ষেত্রটি নির্দিষ্ট সময়কালের সংখ্যা নির্দিষ্ট করে যা মডেলটি ভবিষ্যতে ভবিষ্যদ্বাণী করতে পারে।
- প্রসঙ্গ উইন্ডোটি 7 দিনে সেট করুন। ভবিষ্যদ্বাণী করতে মডেলটি আগের 30 দিনের ডেটা ব্যবহার করবে। ছোট এবং দীর্ঘ উইন্ডোগুলির মধ্যে ট্রেড-অফ রয়েছে এবং সাধারণত পূর্বাভাস দিগন্তের 1-10x এর মধ্যে একটি মান নির্বাচন করার পরামর্শ দেওয়া হয়।
- BigQuery-এ পরীক্ষার ডেটাসেট রপ্তানি করতে বক্সটি চেক করুন। আপনি এটিকে ফাঁকা রাখতে পারেন এবং এটি স্বয়ংক্রিয়ভাবে আপনার প্রকল্পে একটি ডেটাসেট এবং টেবিল তৈরি করবে (বা আপনার পছন্দের একটি অবস্থান নির্দিষ্ট করবে)।
- চালিয়ে যান নির্বাচন করুন।
ধাপ 4: প্রশিক্ষণের বিকল্পগুলি সেট করুন
এই ধাপে, আপনি কীভাবে মডেলটিকে প্রশিক্ষণ দিতে চান সে সম্পর্কে আরও বিশদ উল্লেখ করতে পারেন।
- ছুটির কলামটি পূর্বাভাসে উপলভ্য হিসাবে সেট করুন, কারণ আমরা জানি যে একটি প্রদত্ত তারিখ ছুটির দিন কিনা।
- অপ্টিমাইজেশন উদ্দেশ্য MAE- তে পরিবর্তন করুন। MAE, বা গড় গড় ত্রুটি, গড় বর্গাকার ত্রুটির তুলনায় আউটলায়ারদের কাছে আরও স্থিতিস্থাপক। যেহেতু আমরা প্রতিদিনের ক্রয় ডেটা নিয়ে কাজ করছি যাতে বন্য ওঠানামা থাকতে পারে, তাই MAE ব্যবহার করার জন্য একটি উপযুক্ত মেট্রিক।
- চালিয়ে যান নির্বাচন করুন।
ধাপ 5: প্রশিক্ষণ শুরু করুন
আপনার পছন্দের বাজেট সেট করুন। এই ক্ষেত্রে, মডেল প্রশিক্ষণের জন্য 1 নোড ঘন্টা যথেষ্ট। তারপর, প্রশিক্ষণ প্রক্রিয়া শুরু করুন।
ধাপ 6: মডেল মূল্যায়ন করুন
প্রশিক্ষণ প্রক্রিয়া সম্পূর্ণ হতে 1-2 ঘন্টা সময় লাগতে পারে (যেকোন অতিরিক্ত সেটআপ সময় সহ)। প্রশিক্ষণ শেষ হলে আপনি একটি ইমেল পাবেন। এটি প্রস্তুত হলে, আপনি যে মডেলটি তৈরি করেছেন তার নির্ভুলতা দেখতে পারেন।
5. ভবিষ্যদ্বাণী
ধাপ 1: পরীক্ষার ডেটার উপর পূর্বাভাস পর্যালোচনা করুন
পরীক্ষার ডেটার পূর্বাভাস দেখতে BigQuery কনসোলে নেভিগেট করুন। আপনার প্রকল্পের অভ্যন্তরে, নামকরণ স্কিম সহ একটি নতুন ডেটাসেট স্বয়ংক্রিয়ভাবে তৈরি হয়: export_evaluated_data_items + <model name> + <timestamp> । সেই ডেটাসেটের ভিতরে, আপনি ভবিষ্যদ্বাণীগুলি পর্যালোচনা করার জন্য মূল্যায়নকৃত_ডেটা_আইটেম টেবিলটি পাবেন।
এই টেবিলে কয়েকটি নতুন কলাম রয়েছে:
- predicted_on_[তারিখ কলাম]: যে তারিখে ভবিষ্যদ্বাণী করা হয়েছিল। উদাহরণস্বরূপ, যদি পূর্বাভাসিত_on_ds হয় 11/4 এবং ds 11/8, আমরা 4 দিন এগিয়ে ভবিষ্যদ্বাণী করছি।
- predicted_[টার্গেট কলাম].tables.value: পূর্বাভাসিত মান
ধাপ 2: ব্যাচের পূর্বাভাসগুলি সম্পাদন করুন
অবশেষে, আপনি ভবিষ্যদ্বাণী করতে আপনার মডেল ব্যবহার করতে চাইবেন।
ইনপুট ফাইলে ঐতিহাসিক ডেটা সহ ভবিষ্যদ্বাণী করা তারিখগুলির জন্য খালি মান রয়েছে:
ডিএস | ছুটির দিন | আইডি | y |
5/15/20 | 0 | 0 | 1751315.43 |
5/16/20 | 0 | 0 | 0 |
5/17/20 | 0 | 0 | 0 |
5/18/20 | 0 | 0 | 1612066.43 |
5/19/20 | 0 | 0 | 1773885.17 |
5/20/20 | 0 | 0 | 1487270.92 |
5/21/20 | 0 | 0 | 1024051.76 |
5/22/20 | 0 | 0 | 1471736.31 |
5/23/20 | 0 | 0 | <খালি> |
5/24/20 | 0 | 0 | <খালি> |
5/25/20 | 1 | 0 | <খালি> |
5/26/20 | 0 | 0 | <খালি> |
5/27/20 | 0 | 0 | <খালি> |
5/28/20 | 0 | 0 | <খালি> |
5/29/20 | 0 | 0 | <খালি> |
AI প্ল্যাটফর্ম (ইউনিফাইড) বাম নেভিগেশন বারে ব্যাচ ভবিষ্যদ্বাণী আইটেম থেকে, আপনি একটি নতুন ব্যাচ পূর্বাভাস তৈরি করতে পারেন।
এখানে একটি স্টোরেজ বালতিতে আপনার জন্য একটি উদাহরণ ইনপুট ফাইল তৈরি করা হয়েছে: automl-demo-240614-lcm/iowa_liquor/iowa_daily_automl_predict.csv
আপনি এই উৎস ফাইল অবস্থান প্রদান করতে পারেন. তারপরে আপনি আপনার ভবিষ্যদ্বাণীগুলি একটি CSV হিসাবে একটি ক্লাউড স্টোরেজ অবস্থানে বা BigQuery-এ রপ্তানি করতে পারেন৷ এই ল্যাবের উদ্দেশ্যে, BigQuery নির্বাচন করুন এবং আপনার Google ক্লাউড প্রকল্প আইডি চয়ন করুন।
ব্যাচের পূর্বাভাস প্রক্রিয়াটি কয়েক মিনিট সময় নেবে। এটি সম্পূর্ণ হওয়ার পরে, আপনি এক্সপোর্ট লোকেশন সহ বিশদ দেখতে ব্যাচের পূর্বাভাস কাজের উপর ক্লিক করতে পারেন। BigQuery-এ, ভবিষ্যদ্বাণীগুলি অ্যাক্সেস করতে আপনাকে বাম নেভিগেশন বারে প্রজেক্ট/ডেটাসেট/টেবিলে নেভিগেট করতে হবে।
কাজটি BigQuery-এ দুটি ভিন্ন টেবিল তৈরি করবে। একটিতে ত্রুটি সহ যেকোনো সারি থাকবে এবং অন্যটিতে পূর্বাভাস থাকবে। এখানে ভবিষ্যদ্বাণী টেবিল থেকে আউটপুট একটি উদাহরণ:
ধাপ 3: উপসংহার
অভিনন্দন, আপনি সফলভাবে AutoML এর সাথে একটি পূর্বাভাস মডেল তৈরি এবং প্রশিক্ষণ দিয়েছেন। এই ল্যাবে, আমরা ডেটা আমদানি, মডেল বিল্ডিং এবং ভবিষ্যদ্বাণী করা কভার করেছি৷
আপনি আপনার নিজস্ব পূর্বাভাস মডেল তৈরি করতে প্রস্তুত!