ডেটা এজেন্ট কিট এবং অ্যান্টিগ্র্যাভিটি আইডিই ব্যবহার করে জালিয়াতি সনাক্তকরণ পাইপলাইন

১. ভূমিকা

ধরুন, আপনি সাইম্বাল ফিনান্সিয়াল (Cymbal Financial)- এর একজন ডেটা সায়েন্টিস্ট , যা একটি বিপুল পরিমাণ লেনদেন প্রক্রিয়াকারী প্রতিষ্ঠান। সম্প্রতি লেনদেন নিষ্পত্তিতে বিলম্বের একটি ঢেউ দেখা দিয়েছে এবং কমপ্লায়েন্স টিম সমন্বিত জালিয়াতির সন্দেহ করছে। আপনাকে এমন একটি পাইপলাইন তৈরি করতে হবে যা ক্লিয়ারিংহাউসের সরাসরি ট্রানজ্যাকশন লগ গ্রহণ করবে, ডেটা পরিষ্করণ করবে, একটি মেশিন লার্নিং মডেলকে প্রশিক্ষণ দেবে, ব্যাচ ইনফারেন্স চালাবে এবং উচ্চ-ঝুঁকিপূর্ণ ট্রানজ্যাকশনগুলোকে ম্যানুয়াল অডিটিংয়ের জন্য একটি ক্লাউড স্প্যানার (Cloud Spanner) রিভিউ কিউতে অন্তর্ভুক্ত করবে।

সাধারণত, এর জন্য দিনের পর দিন ধরে পুনরাবৃত্তিমূলক সেটআপ কোড (স্পার্ক নোটবুক, ডিবিটি কনফিগারেশন, ট্রেনিং স্ক্রিপ্ট, এয়ারফ্লো ডিএজি) লিখতে হয় এবং কনসোল ইন্টারফেস ও এডিটরের মধ্যে ক্রমাগত কাজ পরিবর্তন করতে হয়।

এই কোডল্যাবে, আপনি Antigravity IDE-এর ভিতরে Google Cloud Data Agent Kit (DAK) ব্যবহার করে একটি এজেন্টের সাথে পেয়ার-প্রোগ্রামিং করবেন। কথোপকথনমূলক স্বাভাবিক ভাষা ব্যবহার করে, এজেন্টটি আপনাকে Spark নোটবুক তৈরি করতে, একটি dbt প্রজেক্ট কম্পাইল করতে, একটি ইনফারেন্স লুপ তৈরি করতে এবং Apache Airflow-এর ম্যানেজড সার্ভিস ব্যবহার করে ওয়ার্কফ্লো অর্কেস্ট্রেট করতে সাহায্য করবে।

আপনি যা করবেন

• অ্যাপাচি স্পার্কের জন্য পরিচালিত পরিষেবা (স্পার্ক সার্ভারলেস) ব্যবহার করে ক্লাউড স্টোরেজ থেকে ক্লিয়ারিংহাউস লগগুলিকে একটি বিগকোয়েরি টেবিলে অন্তর্ভুক্ত করুন।
• dbt ব্যবহার করে ট্রানজ্যাকশনগুলো থেকে ডুপ্লিকেট বাদ দিন এবং সেগুলোকে স্বাভাবিক করুন, যাতে স্বচ্ছ ডেটা লেয়ার (র, স্টেজিং, এনরিচড) তৈরি হয়।
• স্পার্ক সার্ভারলেস-এ একটি ডিস্ট্রিবিউটেড র‍্যান্ডম ফরেস্ট ক্লাসিফিকেশন মডেল ( RandomForestClassifier ) ​​প্রশিক্ষণ দিন।
• নতুন ট্রানজ্যাকশনগুলোর ওপর ব্যাচ ইনফারেন্স চালান এবং উচ্চ-ঝুঁকিপূর্ণ অ্যালার্টগুলো সরাসরি ক্লাউড স্প্যানারে লিখুন।
• IDE-এর ভিতরে Apache Airflow-এর ম্যানেজড সার্ভিস এবং ইন্টারেক্টিভ DAG মনিটরিং ব্যবহার করে সম্পূর্ণ পাইপলাইনটি অর্কেস্ট্রেট, ভিজ্যুয়ালি কনফিগার এবং ডিপ্লয় করুন ।

আপনার যা যা লাগবে

• ক্রোমের মতো একটি ওয়েব ব্রাউজার
• বিলিং সক্ষম একটি গুগল ক্লাউড প্রজেক্ট (হ্যান্ডস-অন ল্যাবের জন্য আমরা একটি নতুন, ডেডিকেটেড প্রজেক্ট ব্যবহারের পরামর্শ দিই)।
• SQL, Python, এবং PySpark সম্পর্কে প্রাথমিক ধারণা।
• গুগল এআই প্রো সাবস্ক্রিপশন সহ অ্যান্টিগ্র্যাভিটি আইডিই (প্রস্তাবিত)

এই কোডল্যাবে তৈরি করা রিসোর্সগুলোর খরচ $5-এর কম হওয়া উচিত। প্রোভিশন করা রিসোর্সগুলো মুছে ফেলার জন্য ল্যাবের শেষে দেওয়া ক্লিন আপ নির্দেশাবলী অবশ্যই অনুসরণ করুন।

আপনার টুলটি বেছে নিন: এই ল্যাবে অ্যান্টিগ্র্যাভিটি আইডিই (Antigravity IDE) ব্যবহার করা হয়েছে (এর এক্সটেনশনটি ভিএস কোডের (VS Code) সব ফর্কে কাজ করে)। ভিএস কোডের জন্য বিকল্প সংস্করণ, সেইসাথে অ্যান্টিগ্র্যাভিটি ২.০ (Antigravity 2.0), অ্যান্টিগ্র্যাভিটি সিএলআই (Antigravity CLI), এবং ক্লড কোডের (Claude Code) জন্য প্লাগইন-ভিত্তিক ওয়ার্কফ্লো শীঘ্রই আসছে!

২. পরিবেশ সেটআপ

ল্যাবটি শুরু করার জন্য, আপনাকে একটি বুটস্ট্র্যাপ স্ক্রিপ্ট চালাতে হবে। এই স্ক্রিপ্টটি স্বয়ংক্রিয়ভাবে প্রয়োজনীয় GCP API-গুলো সক্রিয় করে, একটি ইনজেশন ক্লাউড স্টোরেজ বাকেট তৈরি করে, মক ট্রানজ্যাকশন ও ডিরেক্টরি ডেটাসেট তৈরি করে, রেফারেন্স ডিরেক্টরিগুলোকে BigQuery-তে লোড করে এবং ক্লাউড স্প্যানার ও অ্যাপাচি এয়ারফ্লো-এর জন্য ম্যানেজড সার্ভিস (যা পূর্বে ক্লাউড কম্পোজার নামে পরিচিত ছিল)-এর ব্যাকগ্রাউন্ড প্রভিশনিং শুরু করে।

একটি প্রকল্প নির্বাচন করুন বা তৈরি করুন

গুগল ক্লাউড কনসোলে একটি বিদ্যমান প্রজেক্ট বেছে নিন অথবা একটি নতুন প্রজেক্ট তৈরি করুন ।

বিলিং যাচাই করুন

আপনার গুগল ক্লাউড প্রোজেক্টের জন্য বিলিং চালু আছে কিনা তা নিশ্চিত করুন। কীভাবে এটি করতে হয়, তা জানতে এই নির্দেশিকাটি অনুসরণ করতে পারেন।

সেটআপ স্ক্রিপ্টটি চালান

এনভায়রনমেন্ট সেটআপ চালু করার জন্য আপনি গুগল ক্লাউড শেল (অথবা গুগল ক্লাউড সিএলআই দিয়ে কনফিগার করা আপনার লোকাল শেল) ব্যবহার করবেন।

1. গুগল ক্লাউড কনসোল খুলুন।
2. উপরের ডানদিকের টুলবারে থাকা ‘Activate Cloud Shell’- এ ক্লিক করুন।

3. ক্লাউড শেল টার্মিনালে আপনার সক্রিয় প্রজেক্টটি কনফিগার করুন:

gcloud config set project <<YOUR_PROJECT_ID>>
export PROJECT_ID=$(gcloud config get-value project)

4. কোডল্যাব রিপোজিটরিটি ক্লোন করুন এবং স্ক্রিপ্টস ফোল্ডারে যান:

cd ~/
git clone --filter=blob:none --no-checkout https://github.com/GoogleCloudPlatform/devrel-demos.git
cd ~/devrel-demos
git sparse-checkout init --cone
git sparse-checkout set codelabs/agentic-data-labs/data-science
git checkout main
cd codelabs/agentic-data-labs/data-science/scripts

5. us-central1 এ সমস্ত রিসোর্স ডেপ্লয় করতে বুটস্ট্র্যাপ সেটআপ স্ক্রিপ্টটি চালান:

chmod +x setup.sh setup_spanner.sh setup_composer.sh
export REGION=us-central1
./setup.sh

setup.sh যা করে:

• এপিআই সক্ষম করে: BigQuery, Dataproc, Spanner, Managed Airflow, Cloud Storage এবং সহায়ক পরিকাঠামো এপিআইগুলো সক্রিয় করে।
• ক্লাউড স্টোরেজ বাকেট তৈরি করে: এটি র ট্রানজ্যাকশন লগ এবং এমএল মডেল আর্টিফ্যাক্টের জন্য বাকেট সরবরাহ করে।
• প্রাথমিক ডেটা পর্যায়: কাঁচা ট্রানজ্যাকশন লগ ক্লাউড স্টোরেজে কপি করে এবং রেফারেন্স ডেটা BigQuery-তে লোড করে।
• স্পার্ক সার্ভারলেস কনফিগার করে: ক্লাউড স্প্যানার কানেক্টর ব্যবহার করে রানটাইম সেশন টেমপ্লেট তৈরি করে।
• ব্যাকগ্রাউন্ড পরিষেবা প্রস্তুত করে: ক্লাউড স্প্যানার এবং ম্যানেজড এয়ারফ্লো বিল্ড করার জন্য ব্যাকগ্রাউন্ড ওয়ার্কার তৈরি করে।
• .env ফাইল তৈরি করে : এটি কোডল্যাব এবং টিয়ারডাউন স্ক্রিপ্টের জন্য পরিবেশ কনফিগারেশন সংরক্ষণ করে।

সেটআপ স্ক্রিপ্ট দ্বারা তৈরি অ্যাসেটগুলি চূড়ান্ত ক্লিন আপ ধাপে ./teardown.sh দিয়ে মুছে ফেলা হয়।

6. স্ক্রিপ্টটি শেষ হলে, আপনি একটি সারসংক্ষেপ আউটপুট দেখতে পাবেন যা নির্দেশ করবে যে আপনার BigQuery ডেটাসেট এবং ক্লাউড স্টোরেজ বাকেট প্রস্তুত। ব্যাকগ্রাউন্ডে, ক্লাউড স্প্যানার (প্রায় ২ মিনিট সময় নেয়) এবং ম্যানেজড এয়ারফ্লো (প্রায় ২০ মিনিট সময় নেয়) প্রোভিশনিং চালিয়ে যাবে। আপনি যেকোনো সময় নিম্নলিখিত কমান্ডটি চালিয়ে তাদের অগ্রগতি পর্যবেক্ষণ করতে পারেন:

tail -f /tmp/spanner_setup.log
tail -f /tmp/composer_setup.log

অপ্টিমাইজড ডেভেলপমেন্ট লুপ: যেহেতু ম্যানেজড এয়ারফ্লো প্রোভিশন হতে প্রায় ২০ মিনিট সময় নেয়, তাই সেটআপ স্ক্রিপ্টটি এটিকে সাথে সাথেই ব্যাকগ্রাউন্ডে চালু করে দেয়। এর ফলে, এয়ারফ্লো চালু হওয়ার সময়েই আপনি পেজ ৩ (ইনজেশন), পেজ ৪ (ডিবিটি ট্রান্সফরমেশন), পেজ ৫ (এমএল ট্রেনিং), এবং পেজ ৬ (ব্যাচ ইনফারেন্স)-এর কাজ সম্পন্ন করতে পারবেন। যখন আপনি পেজ ৭ (অর্কেস্ট্রেশন)-এ পৌঁছাবেন, ততক্ষণে আপনার এনভায়রনমেন্ট সম্পূর্ণরূপে প্রস্তুত হয়ে যাবে।

Antigravity IDE খুলুন

1. গুগল অ্যান্টিগ্র্যাভিটি ডাউনলোড পেজ থেকে অ্যান্টিগ্র্যাভিটি আইডিই (IDE) ডাউনলোড ও ইনস্টল করুন।
2. Antigravity IDE চালু করুন।
3. আপনার লোকাল মেশিনে একটি নতুন, খালি ফোল্ডার তৈরি করুন (যেমন agentic-data-labs নামে), এবং IDE-তে 'Open Folder' নির্বাচন করে এটি খুলুন। এটি আপনার কোডল্যাবের জন্য লোকাল ওয়ার্কস্পেস হিসেবে কাজ করবে।

ডেটা এজেন্ট কিট এক্সটেনশনটি ইনস্টল করুন

Google Cloud Data Agent Kit এক্সটেনশনটি আপনার এডিটরের মধ্যেই সরাসরি Google Cloud ডেটা পরিষেবাগুলির সাথে গভীর ইন্টিগ্রেশন প্রদান করে, যার ফলে আপনি কনটেক্সট পরিবর্তন না করেই BigQuery, Cloud SQL, Cloud Storage এবং আরও অনেক কিছুর সাথে ইন্টারঅ্যাক্ট করতে পারেন।

1. Antigravity IDE-তে, স্ক্রিনের একেবারে বাম দিকে অ্যাক্টিভিটি বারে থাকা এক্সটেনশন আইকনটিতে ক্লিক করুন (এটি দেখতে চারটি বর্গক্ষেত্রের মতো)।
2. এক্সটেনশন প্যানেলের উপরের সার্চ বারে Google Cloud Data Agent Kit টাইপ করুন।
3. googlecloudtools দ্বারা প্রকাশিত Google Cloud Data Agent Kit নামের এক্সটেনশনটি খুঁজুন।
4. ইনস্টল বোতামে ক্লিক করুন।
5. একটি প্রম্পট আসতে পারে যেখানে জিজ্ঞাসা করা হবে, "আপনি কি প্রকাশক 'googlecloudtools' এবং তাদের এক্সটেনশনগুলিকে বিশ্বাস করেন?"। এগিয়ে যেতে 'Trust Publishers & Install'-এ ক্লিক করুন।

ইনস্টল হয়ে গেলে, আপনি Antigravity IDE-র একেবারে বাম দিকের অ্যাক্টিভিটি বারে একটি নতুন Google Cloud Data Agent Kit আইকন দেখতে পাবেন।

6. 'Welcome to Google Cloud Data Agent Kit' শিরোনামের একটি অনবোর্ডিং পেজ স্বয়ংক্রিয়ভাবে খুলে যাবে। আপনি যদি আপনার ক্লাউড অ্যাকাউন্টে সাইন ইন না করে থাকেন, তবে অ্যাক্সেস দেওয়ার জন্য নির্দেশাবলী অনুসরণ করুন।
7. কনফিগারেশন সামারি সেকশনে, প্রজেক্ট ফিল্ডটি খুঁজুন। ড্রপডাউনে ক্লিক করে আপনার গুগল ক্লাউড প্রজেক্টটি সিলেক্ট করুন। আপনার রিজিয়ন us-central1 হিসেবে সেট করুন। এরপর কনফিগার এমসিপি সার্ভারস সিলেক্ট করুন।

8. ‘Configure MCP Servers’ নির্বাচন করুন। ‘MCP Configuration’ প্যানেলের অধীনে, নিম্নলিখিত রিমোট MCP সার্ভারগুলি সক্রিয় করা নিশ্চিত করুন:
   • বিগকোয়েরি
   • স্প্যানার
   • নোটবুক

তারপর Get Started-এ ক্লিক করুন।

ইতিমধ্যে ইনস্টল করা আছে অথবা স্বাগত পৃষ্ঠাটি খুলছে না? আপনি যেকোনো সময় ম্যানুয়ালি এক্সটেনশন সেটিংস খুলতে পারেন। একেবারে বাম দিকের অ্যাক্টিভিটি বারে থাকা Google Cloud Data Agent Kit আইকনে ক্লিক করুন, তারপর আপনার কনফিগারেশন টগল করতে সেটিংস নির্বাচন করুন।

সক্রিয় স্কিল/এমসিপি সংক্রান্ত দ্রষ্টব্য: আপনার IDE-তে যদি অন্য কোনো কাস্টম স্কিল বা এমসিপি সার্ভার সক্রিয় থাকে, তবে সেগুলো এই ল্যাবের স্বাভাবিক কার্যপ্রবাহে ব্যাঘাত ঘটাতে পারে। এজেন্ট যদি অপ্রত্যাশিত আচরণ করে, তবে এই ল্যাবের জন্য সেগুলোকে নিষ্ক্রিয় করার কথা বিবেচনা করুন।

কনফিগারেশন বিকল্পগুলি অন্বেষণ করুন

সেটআপ সম্পন্ন হলে, আপনি 'Get started with Google Cloud Data Agent Kit' পেজটিতে চলে আসবেন।

1. "সেটআপ ও কনফিগারেশন"-এর অধীনে, "শুরু করুন "-এ ক্লিক করুন।
2. এটি ডেটা এজেন্ট কিট কনফিগারেশন প্যানেলটি খোলে। ট্যাবগুলো ঘুরে দেখুন:
   • প্রজেক্ট এবং অঞ্চল: আপনার নির্বাচিত প্রজেক্ট আইডি যাচাই করুন এবং নিশ্চিত করুন যে সেটআপ স্ক্রিপ্টটি সমস্ত প্রয়োজনীয় এপিআই (কম্পিউট ইঞ্জিন, ক্লাউড স্টোরেজ, বিগকোয়েরি, স্প্যানার, ইত্যাদি) সক্রিয় করেছে।
   • BigQuery: আপনার BigQuery কোয়েরিগুলোর জন্য ডিফল্ট অবস্থান কনফিগার করুন। us-central1 অঞ্চলটি ব্যবহার করুন।
   • এমসিপি সার্ভার কনফিগার করুন: সক্রিয় এমসিপি সার্ভারগুলো (বিগকোয়েরি, নোটবুক, স্প্যানার, ইত্যাদি) দেখুন, যেগুলো এআই এজেন্টদের আপনার ডেটার সাথে নিরাপদে ইন্টারঅ্যাক্ট করতে দেয়।
   • দক্ষতা: আগে থেকে তৈরি দক্ষতাগুলো অন্বেষণ করুন যা এজেন্টদের জটিল ডেটা সংক্রান্ত কাজের জন্য বিশেষায়িত সক্ষমতা প্রদান করে।

অধ্যায়ের পুনরালোচনা: স্প্যানার এবং এয়ারফ্লো ব্যাকগ্রাউন্ডে বিল্ড হওয়ার সময়ে আপনি GCS এবং BigQuery অ্যাসেট তৈরি করার জন্য বুটস্ট্র্যাপ স্ক্রিপ্টটি চালিয়েছিলেন। এরপর আপনি অ্যান্টিগ্র্যাভিটি আইডিই-তে প্রজেক্টটি খুলেছেন এবং গুগল ক্লাউড ডেটা এজেন্ট কিট এক্সটেনশনটি সক্রিয় করেছেন। আপনি এখন আপনার প্রথম নোটবুকটি লেখার জন্য প্রস্তুত।

৩. স্পার্ক সার্ভারলেস ব্যবহার করে কাঁচা লগ গ্রহণ করুন

এই অংশে, আপনি ডেটা লেকে সরাসরি JSON ট্রানজ্যাকশন লগ অন্তর্ভুক্ত করবেন। অ্যাপাচি স্পার্কের জন্য পরিচালিত পরিষেবা (স্পার্ক সার্ভারলেস) সরাসরি BigQuery- এর নেটিভ স্টোরেজের সাথে সংযুক্ত হয়। আপনি টেবুলার ডেটা পরিচালনা করতে এবং সরাসরি কোয়েরি ও অ্যানালিটিক্স সক্ষম করতে স্ট্যান্ডার্ড BigQuery কানেক্টর ব্যবহার করবেন।

পূর্ব-কনফিগার করা স্পার্ক সার্ভারলেস রানটাইম অন্বেষণ করুন

স্পার্ক কোড এক্সিকিউট করার আগে, সেটআপ স্ক্রিপ্ট দ্বারা আগে থেকে কনফিগার করা সার্ভারলেস রানটাইম টেমপ্লেটটি পরীক্ষা করুন। এই টেমপ্লেটটি টার্গেট এক্সিকিউশন এনভায়রনমেন্ট ব্যাকএন্ড নির্ধারণ করে এবং প্রয়োজনীয় কানেক্টর ডিপেন্ডেন্সিগুলো বান্ডল করে।

1. IDE অ্যাক্টিভিটি বারে, Google Cloud Data Agent Kit প্যানেলটি খুলুন।
2. Apache Spark ড্রপ-ডাউন মেনুটি প্রসারিত করুন, তারপর Serverless প্রসারিত করুন।
3. fraud-pipeline-runtime উপর রাইট-ক্লিক করে প্রোফাইল (Profile) নির্বাচন করলে এডিটরে এর কনফিগারেশন ভিউটি খুলবে।
4. প্রোফাইল ট্যাবে, নিচে স্ক্রল করুন এবং এনভায়রনমেন্টের সাথে সংযুক্ত কাস্টম ডিপেন্ডেন্সিগুলো পরীক্ষা করার জন্য প্রোপার্টিজ প্রসারিত করুন:
   • spark.jars : এর মধ্যে gs://spark-lib/spanner/spark-3.5-spanner-1.4.0.jar রয়েছে, যা Spark Spanner কানেক্টর ব্যবহার করে Spark জবগুলোকে ল্যাবের পরবর্তী পর্যায়ে ইনফারেন্সের ফলাফল সরাসরি Cloud Spanner-এ লিখতে দেয়। (দ্রষ্টব্য: Dataproc Serverless-এ ডিফল্টরূপে Google Cloud-এর Spark BigQuery কানেক্টর অন্তর্ভুক্ত থাকে, ফলে BigQuery টেবিল পড়া ও লেখার জন্য কোনো অতিরিক্ত jar কনফিগারেশনের প্রয়োজন হয় না)।

5. বাম দিকে থাকা ‘ইন্টারেক্টিভ সেশনস’ ট্যাবটি লক্ষ্য করুন। এটি বর্তমানে খালি, কারণ আপনি এখনও কোনো কোড চালাননি। পরবর্তী ধাপে নোটবুকটি রান করার সাথে সাথেই, একটি লাইভ সার্ভারলেস কম্পিউট সেশন স্বয়ংক্রিয়ভাবে প্রস্তুত হয়ে এখানে প্রদর্শিত হবে!

ডেটা এজেন্ট কিট ব্যবহার করে ডেটা গ্রহণ করুন

ম্যানুয়ালি একটি স্পার্ক সেশন কনফিগার করা বা প্রথম থেকে পাইস্পার্ক লোডিং স্ক্রিপ্ট লেখার পরিবর্তে, আপনি ডেটা এজেন্ট কিট ব্যবহার করে একটি এজেন্টের সাথে পেয়ার-প্রোগ্রামিং করবেন।

1. উপরের ডানদিকের টুলবারে থাকা টগল এজেন্ট আইকনে ক্লিক করে এজেন্ট চ্যাট প্যানেটি খুলুন।
2. নিচের প্রম্পটটি চ্যাটে পেস্ট করুন (অবশ্যই ${PROJECT_ID} এর জায়গায় আপনার আসল গুগল ক্লাউড প্রজেক্ট আইডি বসাবেন):

Create a PySpark notebook (01_ingestion.ipynb) to ingest JSON transaction logs
from gs://${PROJECT_ID}-fin-clearing-raw/ into a BigQuery table
`${PROJECT_ID}.transactions_dataset_evals.raw_transactions`
using the Spark BigQuery connector (`format("bigquery")`) with overwrite mode.

3. যদি এজেন্ট ব্যাকগ্রাউন্ড ভেরিফিকেশন কমান্ড চালানোর অনুমতি চায় (যেমন "এই কমান্ডটি চালানোর অনুমতি দিন?" ), তাহলে প্রস্তাবিত কমান্ডটি পর্যালোচনা করুন এবং 'হ্যাঁ, এইবারের জন্য অনুমতি দিন ' (অথবা 'হ্যাঁ, এবং সর্বদা অনুমতি দিন ') নির্বাচন করুন।
4. এজেন্ট ফাইলটি তৈরি করা শেষ করলে, আপনার ওয়ার্কস্পেসে notebooks/01_ingestion.ipynb সংরক্ষণ করতে চ্যাট পেনের নীচে থাকা নীল রঙের ' Accept all' বোতামে (বা টিক চিহ্ন আইকনে) ক্লিক করুন।

কমান্ড অনুমোদন ও পরিবর্তন গ্রহণ: একজন এআই পেয়ার-প্রোগ্রামার হিসেবে, এজেন্ট কোড জেনারেট করার আগে নিরাপদ টার্মিনাল কমান্ড (যেমন সিনট্যাক্স চেক বা ডিপেন্ডেন্সি ইন্সপেকশন) চালানোর অনুমতি চাইতে পারে। অনুরোধ করা হলে এই কমান্ডগুলো পর্যালোচনা করে অনুমতি দিন এবং যখনই কোনো ফাইল বা ইমপ্লিমেন্টেশন প্ল্যান উপস্থাপন করা হবে, চ্যাট প্যানে 'Proceed' বা 'Accept all'- এ ক্লিক করুন।

নোটবুকটি পর্যালোচনা করুন এবং কার্যকর করুন।

1. IDE-তে নতুন তৈরি হওয়া notebooks/01_ingestion.ipynb ফাইলটি খুলুন।
2. BigQuery কানেক্টরের রাইট লজিকের জন্য PySpark কোডটি পর্যালোচনা করুন।
3. IDE-এর নোটবুক টুলবারে থাকা 'Run All'- এ ক্লিক করুন।
4. আপনি যদি প্রথমবারের মতো কোনো রিমোট স্পার্ক নোটবুক চালান, তাহলে IDE আপনাকে লোকাল ডিপেন্ডেন্সি ইনস্টল করার জন্য অনুরোধ করতে পারে। অনুরোধ করা হলে, ‘Install dependencies for Remote Spark Kernels’-এ ক্লিক করুন এবং ইনস্টলেশন ডায়ালগগুলো নিশ্চিত করুন, তারপর আবার ‘Run All’-এ ক্লিক করুন।
5. 'Select Kernel' ড্রপডাউন মেনু থেকে, 'Remote Spark Kernels ' -> 'fraud-pipeline-runtime on Serverless Spark' নির্বাচন করুন। (টিপ: যদি আপনি আপনার আগে থেকে কনফিগার করা রানটাইম টেমপ্লেটটি তালিকায় দেখতে না পান, তাহলে উপলব্ধ রিমোট কার্নেলগুলো পুনরায় লোড করতে কার্নেল পিকার ড্রপডাউনের উপরের ডানদিকে থাকা রিফ্রেশ আইকনে ক্লিক করুন )।
6. এডিটরের নিচের বাম দিকের স্ট্যাটাস বারটি দেখুন। আপনি দেখতে পাবেন Connecting to kernel: fraud-pipeline-runtime on Serverless Spark... ’। যেহেতু এটি Spark Serverless রানটাইম কার্নেল ব্যাকএন্ডের প্রাথমিক লঞ্চ, তাই এটি প্রোভিশন এবং বুট আপ হতে কয়েক মিনিট সময় লাগবে।
7. কার্নেল সংযোগ স্থাপন সম্পন্ন করলেই, নোটবুকটি স্বয়ংক্রিয়ভাবে ক্রমানুসারে সমস্ত সেল চালানো শুরু করবে, যাতে কাঁচা ট্রানজ্যাকশন লগগুলোকে আপনার BigQuery ডেটাসেটে প্রসেস করা যায়।

স্পার্ক সার্ভারলেস-এ সংযোগ স্থাপন: স্পার্ক সার্ভারলেস রানটাইম সেশনে সংযোগ করার সময়, আপনি নিচের স্ট্যাটাস বারে Connecting to kernel... দেখতে পাবেন। নোটবুকটি সংযোগ স্থাপন করে সমস্ত সেল কার্যকর করার আগে, গুগল ক্লাউডে রিসোর্সগুলো ইনিশিয়ালাইজ করতে প্রায় ৩ মিনিট সময় লাগে।

যাচাইকরণ

এক্সিকিউশন সম্পন্ন হলে, টেবিল তৈরি হয়েছে কিনা তা যাচাই করতে ডেটা এজেন্ট কিট ক্যাটালগটি দেখুন:

1. IDE অ্যাক্টিভিটি বারে, Google Cloud Data Agent Kit প্যানেলটি খুলুন।
2. ক্যাটালগ বিভাগটি প্রসারিত করুন।
3. আপনার প্রজেক্ট আইডিটি প্রসারিত করুন।
4. BigQuery প্রসারিত করুন।
5. transactions_dataset_evals ডেটাসেটটি প্রসারিত করুন।
6. মূল এডিটরে raw_transactions টেবিলের বিস্তারিত ভিউ খুলতে সেটিতে ক্লিক করুন।
7. বাম দিকের নেভিগেশনে, গৃহীত রেকর্ড এবং মেটাডেটা পরীক্ষা করার জন্য ডেটা , স্কিমা এবং ডিটেইলস ট্যাবগুলো দেখুন।

অধ্যায়ের সারসংক্ষেপ: আপনি এজেন্ট চ্যাটে স্বাভাবিক ভাষা ব্যবহার করে একটি সম্পূর্ণ স্পার্ক সার্ভারলেস ওয়ার্কলোড তৈরি করেছেন। এরপর আপনি অসংগঠিত JSON লগগুলোকে একটি BigQuery (raw) টেবিলে প্রসেস করার জন্য এটি এক্সিকিউট করেছেন।

৪. dbt ব্যবহার করে ডুপ্লিকেট বাদ দিন এবং স্বাভাবিক করুন।

এমএল মডেলকে প্রশিক্ষণ দেওয়ার আগে, আপনি ডুপ্লিকেট স্ট্রিমিং লগগুলি সরিয়ে, ত্রুটিপূর্ণ রেকর্ডগুলি (যেমন খালি ট্রানজ্যাকশন আইডি) আলাদা করে এবং ডাইমেনশনাল ডেটা (প্রদানকারী ও প্রাপক) যুক্ত করার মাধ্যমে ডেটার গুণমান নিশ্চিত করবেন। এই প্রক্রিয়ার জন্য আইডম্পোটেন্ট ও নির্ভরযোগ্য SQL ট্রান্সফরমেশন প্রয়োজন, যার জন্য dbt (ডেটা বিল্ড টুল) একটি চমৎকার সমাধান।

ডিবিটি পাইপলাইনকে কাঠামোবদ্ধ করুন

BigQuery ডেটাসেটের উপর একটি dbt প্রজেক্ট তৈরি করতে এজেন্টটি ব্যবহার করুন:

1. এজেন্ট চ্যাট প্যানে ফিরে যান।
2. dbt প্রজেক্টটি তৈরি করার জন্য নিম্নলিখিত নির্দেশনা প্রদান করুন:

Scaffold a us-central1 dbt project in dbt_project/ that maps raw_transactions
through to an enriched_transactions model in dataset transactions_dataset_evals.

Deduplicate by transaction_id in staging. Quarantine null IDs to an invalid_transactions model.
Join the valid staging records with dim_payers and dim_payees for the enriched_transactions model,
preserving the historical `is_fraud` label column, and finally add a transaction uniqueness test.

Create an implementation plan first.

3. এজেন্ট মূল এডিটর প্যানে একটি ইমপ্লিমেন্টেশন প্ল্যান আর্টিফ্যাক্ট উপস্থাপন করবে। প্রস্তাবিত ফাইল কাঠামো এবং SQL লজিক পর্যালোচনা করুন।
4. এজেন্টকে আপনার ওয়ার্কস্পেসে ফাইলগুলো তৈরি করার অনুমতি দিতে 'Proceed' (এবং তারপর 'Accept all ')-এ ক্লিক করুন।

5. একবার তৈরি হয়ে গেলে, এজেন্ট নতুন উপাদানগুলোর সারসংক্ষেপসহ একটি ওয়াকথ্রু প্রদর্শন করে। অনুরোধ করা হলে সমস্ত পরিবর্তন গ্রহণ করুন।

বুদ্ধিমান নির্ভরতা ব্যবস্থাপনা: প্রোজেক্ট স্কাফোল্ডিং করার সময়, এজেন্ট সক্রিয়ভাবে আপনার শেল এনভায়রনমেন্টে প্রয়োজনীয় CLI টুলস (যেমন dbt ) আছে কিনা তা পরীক্ষা করে। যদি তা অনুপস্থিত থাকে, এজেন্ট স্বয়ংক্রিয়ভাবে একটি ভার্চুয়াল এনভায়রনমেন্ট তৈরি করার এবং ব্যাকগ্রাউন্ডে dbt-bigquery ইনস্টল করার প্রস্তাব দিতে পারে এবং সেটআপ কমান্ড চালানোর আগে আপনার অনুমোদন চাইতে পারে।

তৈরি করুন এবং পরীক্ষা করুন

যদিও এজেন্ট তৈরি হওয়া SQL-টি সিনট্যাক্টিকভাবে বৈধ কিনা তা নিশ্চিত করার জন্য স্বয়ংক্রিয়ভাবে dbt compile চালিয়েছিল, এখন আপনি এই ভিউ এবং টেবিলগুলোকে BigQuery-তে ম্যাটেরিয়ালাইজ করবেন এবং স্থানীয়ভাবে যাচাই করার জন্য ডেটার গুণমান পরীক্ষাগুলো চালাবেন। (দ্রষ্টব্য: ল্যাবের পরবর্তী অংশে, আপনি একটি এন্ড-টু-এন্ড Airflow DAG-এর অংশ হিসেবে এই dbt ধাপটি স্বয়ংক্রিয় করবেন)।

1. একেবারে বাম দিকের অ্যাক্টিভিটি বারে, এক্সপ্লোরার আইকনে ক্লিক করুন (অথবা Cmd/Ctrl+Shift+E চাপুন)।
2. তৈরি হওয়া SQL মডেলগুলো দেখতে dbt_project -> models প্রসারিত করুন। enriched_transactions.sql ফাইলটিতে ক্লিক করে এটি খুলুন এবং এডিটরে এর ট্রান্সফরমেশন ও ফ্রড ফিচার লজিক পর্যালোচনা করুন।
3. ফাইল এক্সপ্লোরারে, dbt_project ফোল্ডারটির উপর রাইট-ক্লিক করুন এবং ‘Open in Integrated Terminal’ নির্বাচন করুন। এটি স্বয়ংক্রিয়ভাবে একটি টার্মিনাল পেইন খুলে দেবে, যা সরাসরি প্রয়োজনীয় dbt_project ওয়ার্কিং ডিরেক্টরিতে সেট করা থাকবে।
4. যদি আপনার dbt আগে থেকে ইনস্টল করা না থাকে, তাহলে dbt_project/ বাইরে (আপনার হোম বা ওয়ার্কস্পেস রুটে) একটি ভার্চুয়াল এনভায়রনমেন্ট তৈরি করুন এবং BigQuery অ্যাডাপ্টারটি ইনস্টল করুন:

python3 -m venv ~/.venv/dbt
source ~/.venv/dbt/bin/activate
pip install dbt-bigquery

5. dbt মডেলগুলো এবং সেগুলোর সাথে সম্পর্কিত ডেটার গুণমান পরীক্ষাগুলো চালান:

dbt build

6. টার্মিনাল আউটপুটটি লক্ষ্য করুন। dbt SQL কম্পাইল করবে, BigQuery-তে স্টেজিং ও এনরিচড টেবিলগুলোকে ম্যাটেরিয়ালাইজ করবে এবং ডেটা টেস্টগুলো সম্পাদন করবে।

এজেন্টের সাহায্যে বিল্ডের সমস্যা সমাধান: যদি dbt build কোনো ত্রুটি দেখা দেয় (যেমন স্কিমা অমিল বা অনুপস্থিত রিলেশন), তাহলে ত্রুটির আউটপুটটি সরাসরি এজেন্ট চ্যাটে কপি ও পেস্ট করুন। এজেন্ট ব্যর্থতাটি বিশ্লেষণ করবে, মডেলগুলো সামঞ্জস্য করবে এবং আপনার জন্য সমস্যাটি সমাধান করে দেবে।

7. বিল্ড শেষ হয়ে গেলে, বাকি ধাপগুলোর জন্য স্ক্রিনে জায়গা খালি করতে টার্মিনাল পেইনটি বন্ধ করে দিন।

অধ্যায়ের পুনরালোচনা: আপনি এজেন্টের সাহায্যে একটি dbt প্রজেক্ট তৈরি করেছেন, ডেটার গুণমান পরীক্ষা চালিয়েছেন এবং কাঁচা রেকর্ডগুলোকে স্টেজিং ও এনরিচড BigQuery টেবিলে রূপান্তর করেছেন।

৫. র‍্যান্ডম ফরেস্ট ব্যবহার করে ডিস্ট্রিবিউটেড জালিয়াতি সনাক্তকরণ মডেলকে প্রশিক্ষণ দিন।

BigQuery-তে প্রাপ্ত সমৃদ্ধ লেনদেনগুলো ব্যবহার করে, আপনি জালিয়াতিপূর্ণ ঘটনাগুলোকে শ্রেণীবদ্ধ করার জন্য একটি মেশিন লার্নিং মডেল তৈরি করবেন। Random Forest হলো একটি এনসেম্বল লার্নিং পদ্ধতি যা সারণিভিত্তিক শ্রেণীবিন্যাস ডেটার জন্য বিশেষভাবে উপযুক্ত। Spark Serverless-এ RandomForestClassifier চালালে, আপনাকে পরিকাঠামো পরিচালনা করার প্রয়োজন ছাড়াই ওয়ার্কার নোডগুলোর মধ্যে মডেল প্রশিক্ষণ বন্টন করা হয়।

এই ধাপে, আপনি এজেন্টটি ব্যবহার করে স্পার্ক এমএল ট্রেনিং পাইপলাইন তৈরি করবেন।

এমএল প্রশিক্ষণ নোটবুকটি তৈরি করুন

1. এজেন্ট চ্যাট প্যানেটি খুলুন।
2. মডেল প্রশিক্ষণ ক্রম ডিজাইন করার জন্য নিম্নলিখিত প্রম্পটটি প্রদান করুন (মনে রাখবেন, ${PROJECT_ID} এর জায়গায় আপনার সক্রিয় প্রজেক্ট আইডি বসাতে হবে):

Create a PySpark notebook (02_training.ipynb) to train a distributed Random Forest
(RandomForestClassifier) model on the BigQuery table
`transactions_dataset_evals`.`enriched_transactions`, predicting the `is_fraud` label.
Train only on historically labeled records where `is_fraud` is not null.

One-hot encode categorical strings, scale amounts, cache the dataset in memory,
evaluate AUC, and save the evaluated model to gs://${PROJECT_ID}-models/fraud_model.

3. এজেন্টের পরিকল্পনা বা তৈরি করা কোড পর্যালোচনা করুন এবং আপনার ওয়ার্কস্পেসে notebooks/02_training.ipynb সংরক্ষণ করতে Proceed / Accept all-এ ক্লিক করুন।

নোটবুকটি পর্যালোচনা করুন এবং কার্যকর করুন।

1. এডিটরে notebooks/02_training.ipynb খুলুন।
2. ফিচার এনকোডিং, ভেক্টর অ্যাসেম্বলি এবং র‍্যান্ডম ফরেস্ট ক্লাসিফিকেশন লজিকের জন্য পাইস্পার্ক এমএল পাইপলাইনের পর্যায়গুলো পর্যালোচনা করুন।
3. IDE-এর নোটবুক টুলবারে থাকা 'Run All'- এ ক্লিক করুন।
4. যখন সিলেক্ট কার্নেল ড্রপডাউন পিকারটি খুলবে, তখন সার্ভারলেস স্পার্ক-এ ফ্রড-পাইপলাইন-রানটাইম নির্বাচন করুন।

যাচাইকরণ

এক্সিকিউশন সম্পন্ন হলে, মডেলটি সঠিকভাবে প্রশিক্ষিত এবং এক্সপোর্ট করা হয়েছে কিনা তা নিশ্চিত করুন:

1. রিপোর্ট করা Area Under ROC (AUC) স্কোর যাচাই করার জন্য নোটবুকের নিচের দিকের মূল্যায়ন সেলের আউটপুটগুলো পর্যালোচনা করুন।
2. মডেল আর্টিফ্যাক্টগুলো GCS-এ সফলভাবে সেভ হয়েছে কিনা তা নিশ্চিত করতে, ডেটা এজেন্ট কিট সাইডবারে থাকা স্টোরেজ এক্সপ্লোরার প্যানেটি এক্সপ্যান্ড করুন।
3. -models দিয়ে শেষ হওয়া (আপনার সক্রিয় প্রজেক্ট আইডির সাথে যুক্ত) বাকেটটি খুঁজুন, সেটিকে এক্সপ্যান্ড করুন এবং এর ভেতরে গিয়ে fraud_model ডিরেক্টরি ও তার পাইপলাইন স্টেজগুলোর অস্তিত্ব যাচাই করুন।

নোটবুক থেকে প্রোডাকশন: ইন্টারেক্টিভ নোটবুকগুলো পরীক্ষা-নিরীক্ষা এবং মডেল তৈরির জন্য চমৎকার হলেও, আপনার এজেন্ট নোটবুকের কোডকে রিফ্যাক্টর করে প্যারামিটারাইজযোগ্য স্বতন্ত্র পাইস্পার্ক স্ক্রিপ্টে রূপান্তর করতে পারে, যা ডেটাপ্রক সার্ভারলেস-এ পুনরাবৃত্তিমূলক ব্যাচ এক্সিকিউশনের জন্য ব্যবহৃত হয়।

অধ্যায়ের পুনরালোচনা: আপনি এজেন্ট ব্যবহার করে একটি PySpark ML ট্রেনিং পাইপলাইন তৈরি করেছেন, আপনার এনরিচড BigQuery টেবিলের উপর একটি Random Forest মডেলকে ট্রেইন করেছেন এবং মডেলটিকে ক্লাউড স্টোরেজে এক্সপোর্ট করেছেন।

৬. ব্যাচ ইনফারেন্স এবং ক্লাউড স্প্যানার রাইট

ক্লাউড স্টোরেজে সংরক্ষিত একটি প্রশিক্ষিত ভবিষ্যদ্বাণীমূলক মডেলের সাহায্যে, আপনি BigQuery-এর মাধ্যমে প্রবাহিত নতুন লেনদেনগুলিতে ব্যাচ ইনফারেন্স চালাবেন। উচ্চ-ঝুঁকিপূর্ণ লেনদেনগুলিকে একটি অপারেশনাল সিস্টেমে পাঠানো প্রয়োজন, যাতে একটি কমপ্লায়েন্স টিম সেগুলি পর্যালোচনা করতে পারে। ক্লাউড স্প্যানার এই পর্যালোচনা সারির জন্য একটি স্কেলেবল ট্রানজ্যাকশনাল ডেটাবেস সরবরাহ করে।

ব্যাচ ইনফারেন্স নোটবুক তৈরি করুন

BigQuery, Cloud Storage, এবং Cloud Spanner সংযোগ করে একটি ইনফারেন্স নোটবুক তৈরি করতে এজেন্টটি ব্যবহার করুন:

1. এজেন্ট চ্যাট প্যানেটি খুলুন।
2. নিম্নলিখিত নির্দেশটি প্রদান করুন:

Create an inference notebook (03_inference.ipynb) that loads the RandomForestClassifier
model to score unlabeled records (where `is_fraud` is null) from the BigQuery table
`transactions_dataset_evals`.`enriched_transactions`.

Filter for high-risk transactions with a 50%+ fraud probability score (probability >= 0.50)
and write them to the Cloud Spanner table SparkEvalFraudReviewQueue in the cymbal-fraud instance
under fraud-db.

3. আপনার ওয়ার্কস্পেসে notebooks/03_inference.ipynb সংরক্ষণ করতে তৈরি হওয়া নোটবুকটি গ্রহণ করুন।

কেন ৫০% উচ্চ ঝুঁকি: যদিও ৫০% একটি মুদ্রা নিক্ষেপের মতো শোনায়, তবে বেশিরভাগ বৈধ লেনদেনের স্কোর ৫%-এর নিচে থাকে। ৫০%+ স্কোর নেটওয়ার্কের শীর্ষ ২% সবচেয়ে অস্বাভাবিক লেনদেনকে প্রতিনিধিত্ব করে, যা অপ্রয়োজনীয় তথ্য ছেঁকে ফেলে, ফলে নিরীক্ষকরা কেবল প্রকৃত উচ্চ-ঝুঁকিপূর্ণ ঘটনাগুলোই পর্যালোচনা করেন।

নোটবুকটি পর্যালোচনা করুন এবং কার্যকর করুন।

1. এডিটরে নতুন তৈরি হওয়া notebooks/03_inference.ipynb ফাইলটি খুলুন।
2. PySpark ইনফারেন্স সিকোয়েন্স পর্যালোচনা করুন:
   • নির্ভরতা: সার্ভারলেস রানটাইম টেমপ্লেটটি স্পার্ক এক্সিকিউশনের জন্য প্রয়োজনীয় cloud-spanner JAR নির্ভরতা সরবরাহ করে।
   • ডেটা ফরম্যাটিং: স্প্যানার টেবিলের স্কিমার সাথে মেলানোর জন্য, স্ক্রিপ্টটি লেখার আগে জটিল স্পার্ক এমএল ভেক্টর কলামগুলো (যেমন র ফিচার এবং প্রোবাবিলিটি) বাদ দেয়।
   • স্প্যানার কানেক্টর: এটি .format("cloud-spanner") ব্যবহার করে ফ্ল্যাগ করা সারিগুলোকে সরাসরি রিভিউ কিউতে যুক্ত করে।
3. IDE-এর নোটবুক টুলবারে থাকা 'Run All'- এ ক্লিক করুন।
4. কার্নেল নির্বাচন করতে বলা হলে, Serverless Spark-এ fraud-pipeline-runtime নির্বাচন করুন।

যাচাইকরণ

ইনফারেন্স নোটবুকটির প্রসেসিং শেষ হয়ে গেলে, আপনি সরাসরি IDE-এর ভেতরে আপনার অপারেশনাল স্প্যানার ডাটাবেসে কোয়েরি করতে পারবেন:

1. IDE অ্যাক্টিভিটি বারে, Google Cloud Data Agent Kit প্যানেলটি খুলুন।
2. ক্যাটালগ বিভাগটি প্রসারিত করুন।
3. আপনার প্রজেক্ট আইডি প্রসারিত করুন, তারপর স্প্যানার প্রসারিত করুন।
4. cymbal-fraud -> fraud-db -> Tables -> SparkEvalFraudReviewQueue -এ যান।
5. টেবিলটির উপর রাইট-ক্লিক করে 'Query Table' নির্বাচন করুন, তারপর কোয়েরিটি চালান:

SELECT *
FROM `SparkEvalFraudReviewQueue`
LIMIT 100;

6. নিচের কোয়েরি রেজাল্টস প্যানে, আপনি নতুনভাবে সন্নিবেশিত সারিগুলো দেখতে পাবেন, যেগুলো ম্যানুয়াল পর্যালোচনার জন্য চিহ্নিত উচ্চ-ঝুঁকিপূর্ণ লেনদেনগুলোর প্রতিনিধিত্ব করে।

অধ্যায়ের সারসংক্ষেপ: আপনি এজেন্ট ব্যবহার করে একটি ব্যাচ ইনফারেন্স নোটবুক তৈরি করেছেন, আপনার প্রশিক্ষিত মডেল দিয়ে লেবেলবিহীন BigQuery রেকর্ডগুলোর স্কোরিং করেছেন, এবং উচ্চ-ঝুঁকিপূর্ণ ট্রানজ্যাকশনগুলো সরাসরি ক্লাউড স্প্যানারে লিখেছেন।

৭. নিয়ন্ত্রিত বায়ুপ্রবাহের মাধ্যমে কাঠামো তৈরি করুন এবং সমন্বয় সাধন করুন।

আপনার পাইপলাইনটি বর্তমানে কয়েকটি পৃথক ধাপ নিয়ে গঠিত: একটি ইনজেশন নোটবুক, একটি ডিবিটি ট্রান্সফরমেশন প্রজেক্ট এবং একটি ব্যাচ ইনফারেন্স নোটবুক। এটিকে প্রোডাকশনের জন্য প্রস্তুত করতে, আপনি এগুলোকে একত্রিত করে একটি শিডিউলড ডিপেন্ডেন্সি গ্রাফ তৈরি করবেন।

অ্যাপাচি এয়ারফ্লো-এর জন্য পরিচালিত পরিষেবা (পূর্বে ক্লাউড কম্পোজার নামে পরিচিত) এই ওয়ার্কফ্লোর জন্য একটি পরিচালিত অর্কেস্ট্রেশন ইঞ্জিন প্রদান করে। ডেটা এজেন্ট কিট-এ একটি অর্কেস্ট্রেশন পাইপলাইনস বৈশিষ্ট্য রয়েছে যা ডিক্লারেটিভ YAML পাইপলাইন সংজ্ঞাগুলোকে সরাসরি এয়ারফ্লো DAG-তে অনুবাদ করে।

পাইপলাইন সংজ্ঞায়িত করুন

অর্কেস্ট্রেশন পাইপলাইন কনফিগারেশন তৈরি করতে এজেন্টটি ব্যবহার করুন:

1. এজেন্ট চ্যাটে , নিম্নলিখিত প্রম্পটটি প্রদান করুন (মনে রাখবেন ${PROJECT_ID} প্রতিস্থাপন করতে হবে):

Initialize and define an orchestration pipeline (fraud_analysis_pipeline) triggering
the ingestion notebook, dbt project, and inference notebook in sequential order.
For Dataproc Serverless engine configs in us-central1, use resourceProfile.inline
(defining properties with spark.jars: "gs://spark-lib/spanner/spark-3.5-spanner-1.4.0.jar"
for inference) rather than resourceProfile.path or overrides.

Set the schedule interval to run daily at midnight, and use
gs://${PROJECT_ID}-airflow-artifacts for artifact storage.

DAG কনফিগারেশন পর্যালোচনা করুন

ডেটা এজেন্ট কিট অর্কেস্ট্রেটর অ্যাপাচি এয়ারফ্লো-তে পাইপলাইন সংজ্ঞায়িত ও স্থাপন করতে ডিক্লারেটিভ YAML কনফিগারেশন ব্যবহার করে, যা ডেফিনিশনগুলোকে ভার্সন কন্ট্রোল এবং CI/CD-এর মাধ্যমে স্থাপন করার সুযোগ দেয়।

IDE এক্সপ্লোরার প্যানে, আপনার ওয়ার্কস্পেসের রুটে এজেন্ট দ্বারা তৈরি করা দুটি পাইপলাইন ফাইল পর্যালোচনা করুন:

1. deployment.yaml : এই ফাইলটি খুলুন। এটি আপনার এনভায়রনমেন্ট রেজিস্ট্রি হিসেবে কাজ করে। এটি আপনার লজিক্যাল dev পাইপলাইনকে cymbal-airflow এনভায়রনমেন্টের সাথে ম্যাপ করে, এক্সিকিউশন রিজিয়ন ( us-central1 ) সেট করে এবং artifact_storage বাকেট নির্ধারণ করে, যেখানে কম্পাইল করা DAG ও ডিপেন্ডেন্সিগুলো স্টেজ করা হয়।
2. fraud_analysis_pipeline.yaml : এই ফাইলটি খুলুন। এটি এক্সিকিউশন গ্রাফ নির্ধারণ করে। এটি ট্রিগার শিডিউল ( interval: '0 0 * * *' ) নির্দিষ্ট করে এবং actions ব্লকের অধীনে তিনটি ধাপের ক্রম নির্ধারণ করে:
   • Dataproc Serverless-এ চলমান 01_ingestion.ipynb এর জন্য একটি ইনজেশন notebook অ্যাকশন।
   • dbt_project ডিরেক্টরিকে লক্ষ্য করে একটি ট্রান্সফরমেশন pipeline অ্যাকশন, যেখানে একটি dependsOn ডিপেন্ডেন্সি ইনজেশন স্টেপটিকে নির্দেশ করে।
   • 03_inference.ipynb এর জন্য একটি ইনফারেন্স notebook অ্যাকশন, যার একটি dependsOn ডিপেন্ডেন্সি dbt স্টেপটিকে নির্দেশ করে এবং যা Spanner JAR প্রপার্টিটিকে বান্ডল করে।
3. এজেন্টটি আপনার এডিটর প্যানেলের একটি 'ওয়াকথ্রু' ট্যাবে এই তৈরি হওয়া আর্টিফ্যাক্টগুলোর সারসংক্ষেপও প্রকাশ করবে, যেখানে সম্পাদিত কনফিগারেশন এবং ভ্যালিডেশনগুলোর রূপরেখা দেওয়া থাকবে।

ইন্টারেক্টিভ ডিএজি কনফিগারেশন

ডেটা এজেন্ট কিট আপনার পাইপলাইন কনফিগারেশনকে একটি ইন্টারেক্টিভ ভিজ্যুয়াল গ্রাফ হিসাবে উপস্থাপন করে, যার মাধ্যমে এয়ারফ্লো ডিএজি প্রোপার্টিগুলো পরিদর্শন ও সম্পাদনা করা যায়।

1. IDE অ্যাক্টিভিটি বারে, Google Cloud Data Agent Kit প্যানেলটি খুলুন।
2. DATA ENGINEERING এর অধীনে, Orchestration Pipelines প্রসারিত করুন।
3. মূল এডিটরে ভিজ্যুয়াল DAG ক্যানভাসটি খুলতে fraud_analysis_pipeline.yaml এ ক্লিক করুন।

4. উপরে থাকা Schedule trigger নোডটিতে ক্লিক করুন। ডানদিকে একটি কনফিগারেশন ফ্লাইআউট খুলবে, যেখানে পার্স করা ক্রন স্ট্রিং ( 0 0 * * * ) দেখা যাবে এবং আপনি ব্যাকফিল ও ক্যাচআপের মতো প্যারামিটারগুলো পরিবর্তন করতে পারবেন।
5. নোটবুক টাস্ক নোডগুলোর যেকোনো একটিতে (যেমন ইনজেশন বা ইনফারেন্স স্টেপ) ক্লিক করুন। ফ্লাইআউটটি আপডেট হয়ে নির্দিষ্ট ডেটাপ্রোক সার্ভারলেস এক্সিকিউশন ম্যাপিং এবং কানেক্টর প্রোপার্টিগুলো প্রদর্শন করবে।
6. নোড ব্লকের ভিতরে নোটবুক ফাইলের নামের হাইপারলিঙ্কটি (যেমন 01_ingestion.ipynb ) লক্ষ্য করুন। এটিতে ক্লিক করলে নোটবুকটি সরাসরি আপনার এডিটরে খুলে যায়।
7. বাম সাইডবারে ‘Orchestration Pipelines’-এর নিচে, Deployment configuration এ ক্লিক করুন। এই ভিউটি আপনার টার্গেট dev এনভায়রনমেন্ট ক্লাস্টার এবং আউটপুট GCS বাকেট আর্টিফ্যাক্টগুলো দেখায়।

অধ্যায়ের পুনরালোচনা: আপনি এজেন্টের সাহায্যে একটি অর্কেস্ট্রেশন পাইপলাইন কনফিগারেশন তৈরি করেছেন, যেখানে একটি ইন্টারেক্টিভ ভিজ্যুয়াল ক্যানভাসে ইনজেশন, ডিবিটি এবং ইনফারেন্স টাস্কগুলোর মধ্যেকার নির্ভরতা সংজ্ঞায়িত করা হয়েছে।

৮. স্থাপন, কার্যকর এবং পর্যবেক্ষণ করুন

স্থানীয়ভাবে DAG সংজ্ঞায়িত করা থাকলে, আপনি সেটআপের সময় সরবরাহ করা ম্যানেজড এয়ারফ্লো এনভায়রনমেন্টের সাথে সংযোগ স্থাপন করবেন এবং পাইপলাইনটি ডেপ্লয় করবেন।

অ্যাপাচি এয়ারফ্লো-এর জন্য পরিচালিত পরিষেবা কনফিগার করুন

স্থাপন করার আগে, ডেটা এজেন্ট কিট সেটিংসে শিডিউলার সংযোগটি কনফিগার করুন, যাতে এক্সটেনশনটি আপনার পরিচালিত এয়ারফ্লো পরিবেশকে লক্ষ্য করে:

1. IDE অ্যাক্টিভিটি বারে, Google Cloud Data Agent Kit প্যানেলটি খুলুন।
2. SETTINGS অধীনে, সেটিংস-এ ক্লিক করুন।
3. বাম দিকের মেনু থেকে শিডিউলার নির্বাচন করুন।
4. সেটিংসগুলো কনফিগার করুন:
   • প্রজেক্ট আইডি : আপনার সক্রিয় প্রজেক্ট আইডিটি নির্বাচন করুন।
   • অঞ্চল : us-central1 নির্বাচন করুন।
   • পরিবেশ : cymbal-airflow নির্বাচন করুন।
5. সংরক্ষণ করুন- এ ক্লিক করুন।

DAG স্থাপন করুন

ডিপ্লয়মেন্ট আর্টিফ্যাক্টস অপ্টিমাইজ করা: ডিপ্লয় করার আগে, নিশ্চিত করুন যে .venv , target/ , বা logs/ মতো টেম্পোরারি ফোল্ডারগুলো আপনার dbt_project/ ডিরেক্টরির ভিতরে নেই। হাজার হাজার ফাইল সম্বলিত বড় ভার্চুয়াল এনভায়রনমেন্ট আপলোড করলে প্যাকেজিং আটকে যেতে পারে এবং Airflow DAG পার্সিং ধীর হয়ে যেতে পারে। যদি থাকে, তবে সেগুলোকে মুছে ফেলুন ( rm -rf dbt_project/.venv dbt_project/target dbt_project/logs ) অথবা একটি .airflowignore ফাইলে যোগ করুন।

এখন আপনি ভিজ্যুয়াল ক্যানভাস থেকে সরাসরি আপনার ম্যানেজড এয়ারফ্লো এনভায়রনমেন্টে কনফিগার করা পাইপলাইনটি ডেপ্লয় করবেন:

1. Google Cloud Data Agent Kit সাইডবারে, DATA ENGINEERING > Orchestration Pipelines প্রসারিত করুন এবং ভিজ্যুয়াল DAG ক্যানভাসটি খুলতে fraud_analysis_pipeline.yaml এ ক্লিক করুন।
2. ক্যানভাস টুলবারের উপরের ডান কোণায় থাকা নীল রঙের 'রান পাইপলাইন' বোতামটিতে ক্লিক করুন।
3. এনভায়রনমেন্ট ড্রপডাউন পিকার থেকে dev নির্বাচন করুন।
4. নিচের স্ট্যাটাস অংশে অগ্রগতির বিজ্ঞপ্তিটি লক্ষ্য করুন ( Running pipeline: Building pipeline locally... )। এক্সটেনশনটি স্বয়ংক্রিয়ভাবে আপনার DAG কম্পাইল করবে, নোটবুক এবং dbt অ্যাসেটগুলো প্যাকেজ করবে এবং সেগুলোকে আপনার ম্যানেজড এয়ারফ্লো এনভায়রনমেন্টের GCS বাকেটে আপলোড করবে (এই প্রক্রিয়াটি সম্পন্ন হতে প্রায় ৩-৪ মিনিট সময় লাগে)।

রানটি পর্যবেক্ষণ করুন

একবার স্থানীয় কম্পাইলেশন সম্পন্ন হলে এবং পপ-আপ নোটিফিকেশনটি ' Triggered a new run for pipeline... successfully নিশ্চিত করলে, লাইভ এক্সিকিউশন মনিটর করুন:

1. Google Cloud Data Agent Kit সাইডবারে, DATA ENGINEERING > Orchestration Pipelines প্রসারিত করুন।
2. পাইপলাইন ব্যবস্থাপনায় ক্লিক করুন।
3. পাইপলাইন ম্যানেজমেন্ট টেবিলে, fraud_analysis_pipeline এর এক্সিকিউশন হিস্ট্রি খুলতে সেটিতে ক্লিক করুন।

4. এক্সিকিউশন হিস্ট্রি ভিউতে, ক্যালেন্ডার থেকে সক্রিয় রানটি নির্বাচন করুন।
5. প্রতিটি পাইপলাইন টাস্ক (ইনজেশন, ডিবিটি ট্রান্সফরমেশন এবং ইনফারেন্স) সম্পাদনের অগ্রগতির সাথে সাথে স্ট্যাটাস ইন্ডিকেটরগুলো আপডেট হয় এবং টাস্কের সময়কাল প্রদর্শিত হয়। যেকোনো টাস্কে ক্লিক করে সেটির লাইভ এক্সিকিউশন আউটপুট এবং এয়ারফ্লো ডিএজি লগগুলো পর্যবেক্ষণ করুন।

CI/CD এবং GitHub Actions ব্যবহার করে প্রোডাকশন ডেপ্লয়মেন্ট: লোকাল ডেপ্লয়মেন্ট ছাড়াও, ডেটা এজেন্ট কিট স্বয়ংক্রিয়ভাবে GitHub Action ওয়ার্কফ্লো তৈরি করে ( .github/workflows/deploy.yaml এবং .github/workflows/validate.yaml , যা GitLab CI বা Cloud Build-এর সাথে সহজেই মানিয়ে নেওয়া যায়)। প্রোডাকশন ওয়ার্কফ্লো-এর জন্য, আপনার কোড কমিট করা এবং আপনার GitHub রিপোজিটরির main ব্রাঞ্চে পরিবর্তন পুশ বা মার্জ করলে, তা স্বয়ংক্রিয়ভাবে GitHub Action-কে ট্রিগার করে পাইপলাইনটিকে ভ্যালিডেট করে এবং আপনার প্রোডাকশন ম্যানেজড এয়ারফ্লো এনভায়রনমেন্টে ডেপ্লয় করে।

অধ্যায়ের সারসংক্ষেপ: আপনি Airflow Scheduler সংযোগটি কনফিগার করেছেন, আপনার এন্ড-টু-এন্ড অ্যানালিটিক্যাল পাইপলাইনটি Managed Airflow-তে স্থাপন করেছেন, এবং একটি লাইভ এক্সিকিউশন পর্যবেক্ষণ করে র লগ থেকে শুরু করে Cloud Spanner-এর চূড়ান্ত পূর্বাভাস পর্যন্ত সিস্টেমটি যাচাই করেছেন।

৯. পরিষ্কার করুন

এই কোডল্যাবে ব্যবহৃত রিসোর্সগুলোর জন্য আপনার গুগল ক্লাউড প্রোজেক্টে চলমান চার্জ এড়ানোর জন্য, স্বয়ংক্রিয় স্ক্রিপ্টটি ব্যবহার করে এনভায়রনমেন্টটি বন্ধ করে দিন।

টিয়ারডাউন এড়িয়ে যাবেন না! ম্যানেজড এয়ারফ্লো এবং ক্লাউড স্প্যানার প্রোভিশন করা থাকা অবস্থায় এর জন্য চলমান চার্জ প্রযোজ্য হবে। আপনি যদি টিয়ারডাউন এড়িয়ে যান, তবে এটি পরে চালান অথবা এই ল্যাবের জন্য তৈরি করা সম্পূর্ণ গুগল ক্লাউড প্রজেক্টটি ডিলিট করে দিন ।

1. টার্মিনাল প্যানেলে (অথবা ক্লাউড শেলে), স্ক্রিপ্ট ডিরেক্টরিতে যান এবং নিম্নলিখিত কমান্ডটি চালান:

cd ~/devrel-demos/codelabs/agentic-data-labs/data-science/scripts
chmod +x teardown.sh
./teardown.sh

2. স্ক্রিপ্টটি যে সমস্ত রিসোর্স মুছে ফেলার পরিকল্পনা করছে তার একটি তালিকা দেখাবে এবং নিশ্চিতকরণের জন্য অনুরোধ করবে:
   • নিয়ন্ত্রিত বায়ুপ্রবাহ পরিবেশ ( cymbal-airflow )
   • ক্লাউড স্প্যানার ইনস্ট্যান্স ( cymbal-fraud )
   • BigQuery ডেটাসেট ( transactions_dataset_evals )
   • ক্লাউড স্টোরেজ বাকেট ( gs://${PROJECT_ID}-fin-clearing-raw এবং gs://${PROJECT_ID}-models )
   • কর্মী পরিষেবা অ্যাকাউন্ট ( composer-worker-sa )
3. নিশ্চিত করতে y টাইপ করুন। টিয়ারডাউন স্ক্রিপ্টটি সমস্ত প্রোভিশন করা GCP পরিষেবা মুছে ফেলবে এবং স্থানীয় ফাইলগুলি পরিষ্কার করবে।

১০. অভিনন্দন!

আপনি Antigravity IDE-এর ভিতরে Google Cloud Data Agent Kit-এর সাথে পেয়ার-প্রোগ্রামিং করে Cloud Storage, BigQuery, Managed Service for Apache Spark (Spark Serverless), dbt, Cloud Spanner, এবং Managed Service for Apache Airflow-কে অন্তর্ভুক্ত করে একটি এন্ড-টু-এন্ড জালিয়াতি সনাক্তকরণ পাইপলাইন তৈরি করেছেন।

আপনি যা অর্জন করেছেন

1. 📥 অ্যাপাচি স্পার্কের ম্যানেজড সার্ভিস এবং ডেটা এজেন্ট কিট ব্যবহার করে সরাসরি ট্রানজ্যাকশন লগগুলো একটি বিগকোয়েরি টেবিলে অন্তর্ভুক্ত করা হয়েছে ।
2. 🧹 ডেটার গুণমান পরীক্ষা সহ একটি dbt প্রজেক্ট তৈরি করে ডেটা থেকে ডুপ্লিকেট বাদ দেওয়া হয়েছে এবং ডেটা স্বাভাবিক করা হয়েছে ।
3. 🤖 RandomForestClassifier ব্যবহার করে একটি ডিস্ট্রিবিউটেড র‍্যান্ডম ফরেস্ট মডেলকে প্রশিক্ষণ দিয়েছি এবং প্রশিক্ষিত মডেলটি ক্লাউড স্টোরেজে এক্সপোর্ট করেছি।
4. ⚡ আগত লেনদেনগুলোর ওপর ব্যাচ ইনফারেন্স কার্যকর করা হয়েছে এবং উচ্চ-ঝুঁকিপূর্ণ রেকর্ডগুলো নিরীক্ষা পর্যালোচনার জন্য ক্লাউড স্প্যানারে পাঠানো হয়েছে।
5. 🔄 অ্যাপাচি এয়ারফ্লো-এর ম্যানেজড সার্ভিস এবং IDE-এর ভিজ্যুয়াল DAG ম্যানেজমেন্ট টুল ব্যবহার করে ওয়ার্কফ্লোটিকে একটি নির্ধারিত এয়ারফ্লো DAG হিসেবে অর্কেস্ট্রেট, ডেপ্লয় এবং মনিটর করা হয়েছে ।

মূল ধারণা

ধারণা	আপনি যা শিখেছেন
ডেটা এজেন্ট কিট	IDE-এর ভিতরে স্বাভাবিক ভাষা ব্যবহার করে পেয়ার-প্রোগ্রামিংয়ের মাধ্যমে PySpark নোটবুক তৈরি করা, dbt মডেল কনফিগার করা এবং Airflow DAG সংজ্ঞায়িত করা।
বিগকোয়েরি	বিশ্লেষণমূলক SQL, dbt রূপান্তর, এবং ML প্রশিক্ষণের জন্য পরিমাপযোগ্য সারণীভিত্তিক স্টোরেজ
স্পার্ক সার্ভারলেস	ডিস্ট্রিবিউটেড পাইস্পার্ক ডেটা লোডিং এবং র‍্যান্ডম ফরেস্ট এমএল প্রশিক্ষণের জন্য সার্ভারলেস এক্সিকিউশন
ক্লাউড স্প্যানার সংযোগকারী	ব্যাচ স্পার্ক ইনফারেন্স প্রেডিকশনগুলো সরাসরি অপারেশনাল ডেটাবেস রিভিউ কিউতে লেখা
YAML DAG ঘোষণা	ডিক্লারেটিভ পাইপলাইন ডেফিনিশনগুলো IDE-তে ইন্টারেক্টিভ Airflow ভিজ্যুয়াল গ্রাফ হিসেবে প্রদর্শিত হয়।
ভিজ্যুয়াল ডিএজি ম্যানেজমেন্ট	পাইপলাইন নির্ভরতা পরিদর্শন করা, ম্যানেজড এয়ারফ্লো- তে ডেপ্লয় করা, এবং IDE-র ভিতরে লাইভ টাস্ক সম্পাদনের ইতিহাস পর্যবেক্ষণ করা।

পরবর্তী পদক্ষেপ

• গুগল ক্লাউড ডেটা এজেন্ট কিট ডকুমেন্টেশন অন্বেষণ করুন
• অ্যাপাচি স্পার্কের জন্য পরিচালিত পরিষেবা সম্পর্কে আরও জানুন
• অ্যাপাচি এয়ারফ্লো-এর জন্য পরিচালিত পরিষেবা সম্পর্কে আরও জানুন
• Antigravity IDE ব্যবহার করে আপনার নিজস্ব মাল্টি-সার্ভিস পাইপলাইন তৈরি করুন।