ডেটাপ্লেক্স ইউনিভার্সাল ক্যাটালগের সাথে মৌলিক শাসন: শুরু করা

১. ভূমিকা

ডেভেলপার এবং ডেটা ইঞ্জিনিয়ার হিসেবে, আমরা প্রায়শই এমন বিশাল ডেটা সংগ্রহ পাই যা দেখতে ডেটার জলাভূমির মতো। আমরা বারবার একই ধরনের সমস্যার সম্মুখীন হই: "এই 'amt' কলামটির আসল সংজ্ঞা কী?", "এই ডেটাসেটটি নষ্ট হয়ে গেলে এর দায় কার উপর বর্তাবে?", অথবা "আমরা কি পার্সোনালাইজড রিকমেন্ডেশন ইঞ্জিনে এই টেবিলটি ব্যবহার করতে পারব?"

ঐতিহ্যগতভাবে, ডেটা ক্যাটালগগুলো ছিল ফ্রি-টেক্সট ট্যাগ দ্বারা পূর্ণ এক ধরনের নিষ্ক্রিয় তালিকা, যা দ্রুত অসামঞ্জস্যপূর্ণ ও সেকেলে হয়ে পড়ে। এগুলো কোনো কাঠামো নিশ্চিত করে না, ফলে প্রোগ্রামভিত্তিক পরিচালনা প্রায় অসম্ভব হয়ে পড়ে।

বিষয়টিকে বাস্তবসম্মত করার জন্য, আমরা এই ল্যাবে একটি পরিস্থিতি নিয়ে কাজ করব: খুচরা বিক্রয়ের প্রাথমিক তথ্যের উপর একটি শক্তিশালী গভর্নেন্স ব্যবস্থা প্রতিষ্ঠা করা, যাতে অর্থ বিভাগ আনুষ্ঠানিক প্রতিবেদনের জন্য এর উপর আস্থা রাখতে পারে। আপনি এই ডেটাকে এর অস্পষ্ট "জঞ্জালপূর্ণ" অবস্থা থেকে একটি নিয়ন্ত্রিত পণ্যে রূপান্তরিত করবেন।

ডেটাপ্লেক্স ইউনিভার্সাল ক্যাটালগ একটি সক্রিয়, কাঠামোগত মেটাডেটা ব্যবস্থাপনা ফ্রেমওয়ার্ক প্রদানের মাধ্যমে এই অবস্থার পরিবর্তন ঘটায়। এটি আপনাকে কাঠামোগত, স্কিমা-চালিত মেটাডেটা ( অ্যাসপেক্টস ) এবং স্বীকৃত ব্যবসায়িক সংজ্ঞা ( গ্লসারি ) সরাসরি আপনার ডেটা অ্যাসেট ( এন্ট্রি )-এর সাথে সংযুক্ত করার সুযোগ দেয়।

বৃহৎ পরিসরে এটি স্বয়ংক্রিয় করতে পাইথন স্ক্রিপ্ট বা টেরাফর্ম মডিউল লেখার আগে, আপনাকে এর অন্তর্নিহিত অবজেক্ট মডেলটি বুঝতে হবে।

এই কোডল্যাবে, আমরা গুগল ক্লাউড কনসোলে ম্যানুয়ালি গভর্নেন্সের ধাপগুলো সম্পাদন করব। আপনার ডেটাকে কীভাবে সহজে খুঁজে পাওয়া যায়, বোধগম্য এবং বিশ্বাসযোগ্য করে তোলা যায়, সে সম্পর্কে আপনাকে একটি সুস্পষ্ট ধারণা দেওয়ার জন্য আমরা এন্ট্রি, অ্যাসপেক্ট টাইপ, অ্যাসপেক্ট এবং গ্লসারির মধ্যে সংযোগ স্থাপন করব।

পূর্বশর্ত

• মালিক বা সম্পাদক অ্যাক্সেস সহ একটি গুগল ক্লাউড প্রজেক্ট।
• গুগল ক্লাউড কনসোলের সাথে পরিচিতি।
• ক্লাউড শেলে gcloud এবং bq CLI-এর প্রাথমিক দক্ষতা।

আপনি যা শিখবেন

• ডেটাপ্লেক্স এন্ট্রি, অ্যাসপেক্ট টাইপ এবং অ্যাসপেক্ট-এর মধ্যে গুরুত্বপূর্ণ পার্থক্য।
• পরিভাষাগত অস্পষ্টতা দূর করতে কীভাবে একটি ব্যবসায়িক শব্দকোষ তৈরি করবেন।
• টেকনিক্যাল মেটাডেটার জন্য একটি কঠোর স্কিমা প্রয়োগ করতে কীভাবে একটি অ্যাসপেক্ট টাইপ ডিজাইন করা যায় ('ট্যাগ'-এর বাইরে গিয়ে)।
• কীভাবে একটি বিজনেস গ্লসারি টার্মকে একটি নির্দিষ্ট BigQuery কলামের সাথে লিঙ্ক করবেন।
• কীভাবে একটি ডেটা অ্যাসেটের সাথে একটি স্ট্রাকচার্ড অ্যাসপেক্ট সংযুক্ত করতে হয় এবং ইনপুটগুলি যাচাই করতে হয়।
• এই নতুন কাঠামোগত মেটাডেটার উপর কীভাবে সুনির্দিষ্ট অনুসন্ধান কোয়েরি চালানো যায়।

আপনার যা যা লাগবে

• একটি গুগল ক্লাউড অ্যাকাউন্ট এবং গুগল ক্লাউড প্রজেক্ট
• ক্রোমের মতো একটি ওয়েব ব্রাউজার

মূল ধারণা

• এন্ট্রি: ক্যাটালগে থাকা কোনো ডেটা অ্যাসেটের প্রামাণিক, বিমূর্ত উপস্থাপনা। এটিকে 'পয়েন্টার' বা 'বিশেষ্য' হিসেবে ভাবা যেতে পারে। আপনি যখন একটি BigQuery টেবিল তৈরি করেন, Dataplex স্বয়ংক্রিয়ভাবে এর জন্য একটি এন্ট্রি তৈরি করে। আমরা সরাসরি টেবিলটি পরিচালনা করি না; আমরা এর এন্ট্রি পরিচালনা করি।
• ব্যবসায়িক পরিভাষাকোষ: আপনার প্রতিষ্ঠানের ব্যবসায়িক পরিভাষাগুলোর একটি কেন্দ্রীভূত ও সংস্করণযুক্ত অভিধান। এটিই তথ্যের একমাত্র নির্ভরযোগ্য উৎস। এটি "বিক্রয় বিভাগ এবং অর্থ বিভাগ জিএমভি-কে ভিন্নভাবে সংজ্ঞায়িত করে"—এই সমস্যাটি প্রতিরোধ করে।
• অ্যাসপেক্ট টাইপ: মেটাডেটার একটি নির্দিষ্ট বিভাগের জন্য স্কিমা বা টেমপ্লেট। একটি অ্যাসপেক্ট টাইপ ফিল্ড, ডেটা টাইপ (স্ট্রিং, এনাম, ডেটটাইম, ইত্যাদি) এবং সীমাবদ্ধতা (প্রয়োজনীয়/ঐচ্ছিক) নির্ধারণ করে। এটি সেই চুক্তি যা মেটাডেটার সামঞ্জস্য নিশ্চিত করে।
• অ্যাসপেক্ট: এন্ট্রির সাথে সংযুক্ত একটি নির্দিষ্ট মেটাডেটা যা অ্যাসপেক্ট টাইপ দ্বারা সংজ্ঞায়িত কাঠামো অনুসরণ করে। এতে অ্যাসপেক্ট টাইপের স্কিমা পূরণকারী প্রকৃত ডেটা থাকে।

২. সেটআপ এবং প্রয়োজনীয়তা

ক্লাউড শেল শুরু করুন

যদিও গুগল ক্লাউড আপনার ল্যাপটপ থেকে দূরবর্তীভাবে পরিচালনা করা যায়, এই কোডল্যাবে আপনি গুগল ক্লাউড শেল ব্যবহার করবেন, যা ক্লাউডে চালিত একটি কমান্ড লাইন পরিবেশ।

গুগল ক্লাউড কনসোল থেকে, উপরের ডানদিকের টুলবারে থাকা ক্লাউড শেল আইকনটিতে ক্লিক করুন:

পরিবেশটি প্রস্তুত করতে এবং এর সাথে সংযোগ স্থাপন করতে মাত্র কয়েক মুহূর্ত সময় লাগবে। এটি শেষ হলে, আপনি এইরকম কিছু দেখতে পাবেন:

এই ভার্চুয়াল মেশিনটিতে আপনার প্রয়োজনীয় সমস্ত ডেভেলপমেন্ট টুলস লোড করা আছে। এটি একটি স্থায়ী ৫ জিবি হোম ডিরেক্টরি প্রদান করে এবং গুগল ক্লাউডে চলে, যা নেটওয়ার্ক পারফরম্যান্স ও অথেনটিকেশনকে ব্যাপকভাবে উন্নত করে। এই কোডল্যাবে আপনার সমস্ত কাজ একটি ব্রাউজারের মধ্যেই করা যাবে। আপনাকে কিছুই ইনস্টল করতে হবে না।

প্রয়োজনীয় এপিআইগুলো সক্রিয় করুন এবং পরিবেশ কনফিগার করুন।

আপনার প্রজেক্ট আইডি সেট করতে, অঞ্চল নির্ধারণ করতে এবং প্রয়োজনীয় সার্ভিস এপিআইগুলো সক্রিয় করতে নিম্নলিখিত কমান্ডগুলো চালান।

export PROJECT_ID=$(gcloud config get-value project)
gcloud config set project $PROJECT_ID
export LOCATION="us-central1"

gcloud services enable dataplex.googleapis.com \
                       bigquery.googleapis.com \
                       datacatalog.googleapis.com

একটি BigQuery ডেটাসেট তৈরি করুন এবং নমুনা ডেটা প্রস্তুত করুন।

পরিচালনার জন্য আমাদের একটি সুনির্দিষ্ট ডেটা অ্যাসেট প্রয়োজন। আমরা একটি BigQuery ডেটাসেট তৈরি করব এবং লেনদেনগুলোর প্রতিনিধিত্বকারী একটি ছোট নমুনা CSV ফাইল লোড করব। Dataplex স্বয়ংক্রিয়ভাবে এই টেবিলটি খুঁজে বের করবে এবং এর জন্য একটি এন্ট্রি তৈরি করবে।

# Create the BigQuery Dataset in the us-central1 region
bq --location=$LOCATION mk --dataset \
    --description "Retail data for governance codelab" \
    $PROJECT_ID:retail_data

# Create a temporary CSV file with the sample data
echo "transaction_id,user_email,gmv,transaction_date
1001,[e-mail],150.50,2025-08-28
1002,[e-mail],75.00,2025-08-28" > /tmp/transactions.csv

# Load the data from the temporary CSV file into BigQuery
bq load \
    --source_format=CSV \
    --autodetect \
    retail_data.transactions \
    /tmp/transactions.csv

# (Optional) Clean up the temporary file
rm /tmp/transactions.csv

একটি দ্রুত কোয়েরি চালিয়ে সেটআপটি যাচাই করুন:

bq query --nouse_legacy_sql "SELECT * FROM retail_data.transactions"

৩. একটি ব্যবসায়িক পরিভাষাকোষের মাধ্যমে একটি অভিন্ন ভাষা প্রতিষ্ঠা করুন।

কার্যকরী সুশাসন শুরু হয় দ্ব্যর্থহীন সংজ্ঞার মাধ্যমে। কোনো ডেভেলপার যদি gmv নামের একটি কলাম দেখেন, তবে এর মধ্যে ট্যাক্স বা রিটার্ন অন্তর্ভুক্ত আছে কি না, তা নিয়ে তাকে অনুমান করতে হবে না। একটি বিজনেস গ্লসারি ব্যবসায়িক সংজ্ঞাকে প্রযুক্তিগত বাস্তবায়ন থেকে পৃথক করে এই সমস্যার সমাধান করে।

1. গুগল ক্লাউড কনসোলে, ডেটাপ্লেক্স ইউনিভার্সাল ক্যাটালগ- এ যান।
2. বাম দিকের নেভিগেশন মেনুতে, 'ম্যানেজ মেটাডেটা'-এর অধীনে 'গ্লসারি ' নির্বাচন করুন।

3. ব্যবসায়িক পরিভাষাকোষ তৈরি করুন -এ ক্লিক করুন।
4. নিম্নলিখিত বিবরণগুলি প্রবেশ করান:
   • নাম : Retail Business Glossary
   • অবস্থান : us-central1 (অথবা সেটআপে আপনার নির্ধারণ করা অবস্থান)।
5. তৈরি করুন- এ ক্লিক করুন।

6. নতুন তৈরি করা রিটেইল বিজনেস গ্লসারিতে প্রবেশ করতে সেটিতে ক্লিক করুন।

7. Create category-তে ক্লিক করুন এবং এর নাম দিন Sales Metrics , তারপর Create-এ ক্লিক করুন। ক্যাটাগরিগুলো সম্পর্কিত বিষয়গুলোকে একত্রিত করতে সাহায্য করে।
8. Sales Metrics ক্যাটাগরিটি নির্বাচন করুন এবং Add term-এ ক্লিক করুন, তারপর এর নাম দিন Gross Merchandise Value , এরপর Create-এ ক্লিক করুন।
9. ওভারভিউ-তে থাকা + অ্যাড বাটনে ক্লিক করুন, তারপর নিম্নলিখিত বিবরণগুলি পূরণ করুন:
   • সারসংক্ষেপ: The total value of merchandise sold over a given period of time before the deduction of any fees or expenses. This is a key indicator of e-commerce business growth.
10. সংরক্ষণ করুন- এ ক্লিক করুন।

আপনি এখন একটি সুস্পষ্ট সংজ্ঞা প্রতিষ্ঠা করেছেন যা আপনার প্রতিষ্ঠান জুড়ে প্রযুক্তিগত সম্পদগুলোর সাথে সংযুক্ত করা যেতে পারে।

৪. একটি অ্যাসপেক্ট টাইপের মাধ্যমে কাঠামোগত প্রযুক্তিগত মেটাডেটা সংজ্ঞায়িত করুন।

ইঞ্জিনিয়ারিং নির্ভুলতার জন্য সাধারণ 'key:value' ট্যাগ যথেষ্ট নয়। যদি আপনাকে 'ডেটা মালিক' ট্র্যাক করতে হয়, তবে আপনি চাইবেন না যে একটি টেবিলের ট্যাগ হোক owner:bob এবং অন্যটির contact:[e-mail] । একজন মালিক থাকা আবশ্যক এবং তার ইমেল ফরম্যাটটি অবশ্যই বৈধ হতে হবে—এটি নিশ্চিত করার জন্য আপনার একটি স্কিমা প্রয়োজন।

এই চুক্তিটি সংজ্ঞায়িত করতে আমরা একটি অ্যাসপেক্ট টাইপ ব্যবহার করব।

1. Dataplex-এর বাম দিকের নেভিগেশনে, Catalogue-এর অধীনে, Aspect types & Tag Templates নির্বাচন করুন।

⚠️ সতর্কীকরণ: বাতিলকরণ বিজ্ঞপ্তি

আপনি লক্ষ্য করবেন যে UI-তে বর্তমানে অ্যাসপেক্ট টাইপের পাশাপাশি 'ট্যাগ টেমপ্লেট'-এরও উল্লেখ রয়েছে। ট্যাগ টেমপ্লেটগুলো লিগ্যাসি ডেটা ক্যাটালগ সার্ভিসের অংশ, যা এখন ডেপ্রিকেটেড এবং ২০২৬ সালের ফেব্রুয়ারিতে বন্ধ করে দেওয়া হবে।

2. কাস্টম ট্যাবটি নির্বাচন করুন এবং ক্রিয়েট অ্যাসপেক্ট টাইপ-এ ক্লিক করুন।

3. নিম্নলিখিত বিবরণগুলি প্রবেশ করান:
   • প্রদর্শনের নাম : Data Asset Governance
   • অবস্থান : us-central1
4. টেমপ্লেট বিভাগে, আমরা আমাদের Aspect জন্য স্কিমা নির্ধারণ করব। নিম্নলিখিত তিনটি ফিল্ড তৈরি করতে 'অ্যাড আ ফিল্ড'-এ ক্লিক করুন:
   • ক্ষেত্র ১:
     • প্রদর্শনের নাম : Data Steward
     • ধরণ : Text
     • টেক্সট টাইপ : Plain text
     • কার্ডিনালিটি : আবশ্যক (বক্সটিতে টিক দিন)
   • ফিল্ড ২ (আবার 'অ্যাড এ ফিল্ড' ক্লিক করুন):
     • প্রদর্শনের নাম : Data Sensitivity
     • ধরণ : Enum
     • মানসমূহ : Public , Internal এবং Confidential যোগ করুন
     • কার্ডিনালিটি : ঐচ্ছিক
   • ফিল্ড ৩ (আবার 'অ্যাড এ ফিল্ড' ক্লিক করুন):
     • প্রদর্শনের নাম : Last Review Date
     • ধরণ : Date and time
     • কার্ডিনালিটি : ঐচ্ছিক
5. সংরক্ষণ করুন- এ ক্লিক করুন।

আপনি এইমাত্র একটি পুনঃব্যবহারযোগ্য মেটাডেটা চুক্তি তৈরি করেছেন। এখনও কেউ এটি ব্যবহার করছে না, কিন্তু কাঠামোটি বিদ্যমান।

৫. সম্পদের সাথে শাসনের সংযোগ স্থাপন

এখন আমরা সবকিছু একত্রিত করব। আমাদের একটি BigQuery টেবিল ( retail_data.transactions ), একটি ব্যবসায়িক সংজ্ঞা ( Gross Merchandise Value ), এবং একটি গভর্নেন্স স্কিমা (Data Asset Governance ) রয়েছে।

আমরা BigQuery টেবিলের জন্য Dataplex এন্ট্রিটি সমৃদ্ধ করব।

ব্যবসায়িক প্রেক্ষাপট দিয়ে স্কিমাটিকে সমৃদ্ধ করুন (কলাম পর্যায়ে)

gmv কলামটির আসল অর্থ কী, তা ব্যবহারকারীদের জানানোর জন্য এটিকে শব্দকোষের সাথে লিঙ্ক করে দেওয়া যাক।

1. ডেটাপ্লেক্সের বাম দিকের নেভিগেশনে, সার্চ-এ ক্লিক করুন।
2. উপরের ডানদিকে, Dataplex Universal Catalog ট্যাবটি সক্রিয় করা না থাকলে, সেটিতে ক্লিক করুন।

3. retail_data.transactions অনুসন্ধান করুন। BigQuery টেবিলের জন্য ফলাফলের উপর ক্লিক করুন।

4. এন্ট্রি বিবরণের মধ্যে থাকা স্কিমা ট্যাবে ক্লিক করুন।
5. gmv কলাম সারির চেকবক্সটি চেক করুন এবং 'Add business term'- এ ক্লিক করুন।
6. Gross Merchandise Value পরিভাষাটি নির্বাচন করুন।

gmv কলামটি এখন আর শুধু একটি 'ফ্লোট' নয়; এটি এখন Gross Merchandise Value -এর কর্পোরেট সংজ্ঞার সাথে সংযুক্ত।

কাঠামোগত প্রযুক্তিগত মেটাডেটা (টেবিল স্তর) দিয়ে এন্ট্রিটিকে সমৃদ্ধ করুন।

এরপরে, মালিকানা এবং সংবেদনশীলতা নির্ধারণ করতে আমরা টেবিলটির সাথে Data Asset Governance অ্যাসপেক্টটি সংযুক্ত করব।

1. retail_data.transactions এন্ট্রি পেজে থাকুন।
2. 'Add tag or aspect' ট্যাবে ক্লিক করুন, তারপর ড্রপডাউন থেকে Data Asset Governance টাইপটি নির্বাচন করুন।

3. ফর্মটি এখন আপনার অ্যাসপেক্ট টাইপ স্কিমাতে সংজ্ঞায়িত ফিল্ডগুলি প্রদর্শন করবে। সেগুলি নিম্নরূপভাবে পূরণ করুন:
   • ডেটা স্টুয়ার্ড: [e-mail]
   • ডেটার সংবেদনশীলতা: Internal নির্বাচন করুন।
   • সর্বশেষ পর্যালোচনার তারিখ: আজকের তারিখ নির্বাচন করুন।
4. সংরক্ষণ করুন- এ ক্লিক করুন।

আপনি সফলভাবে এন্ট্রিতে একটি স্ট্রাকচার্ড অ্যাসপেক্ট সংযুক্ত করেছেন। একটি সাধারণ ট্যাগের বিপরীতে, এই ডেটা আপনার তৈরি করা স্কিমার সাথে যাচাই করা হয়।

৬. সমন্বিত আবিষ্কার ও যাচাইকরণ

আমরা এই কাজটি শুধু ফর্ম পূরণ করার জন্য করিনি। আমরা এটি করেছি ডেটাকে সহজে খুঁজে পাওয়ার যোগ্য এবং বিশ্বাসযোগ্য করে তোলার জন্য। চলুন দেখি, এই মেটাডেটা কীভাবে অনুসন্ধান ও আবিষ্কারের ক্ষেত্রে ডেভেলপারদের অভিজ্ঞতাকে বদলে দেয়।

ডেটাপ্লেক্স ইউনিভার্সাল ক্যাটালগের মূল অনুসন্ধান পৃষ্ঠায় ফিরে যান।

⚠️ সতর্কীকরণ: ডেটাপ্লেক্স ইউনিভার্সাল ক্যাটালগ ভিন্ন সিনট্যাক্স সহ দুটি স্বতন্ত্র সার্চ অভিজ্ঞতা প্রদান করে: ন্যাচারাল ল্যাঙ্গুয়েজ (এআই-সহায়তাযুক্ত) এবং কীওয়ার্ড (কাঠামোগত/সঠিক মিল)। এই কোডল্যাবের জন্য আমরা কীওয়ার্ড সার্চ ব্যবহার করছি।

ধরুন, আপনি একজন প্ল্যাটফর্ম ইঞ্জিনিয়ার যিনি গভর্নেন্স প্রয়োগ করছেন। আপনাকে "ইন্টারনাল" হিসেবে চিহ্নিত এমন সমস্ত অ্যাসেট খুঁজে বের করতে হবে, যেগুলো আপনার নির্দিষ্ট অ্যাসপেক্ট টাইপ দ্বারা নিয়ন্ত্রিত। এর জন্য আপনাকে আপনার স্কিমার উপর ভিত্তি করে সুনির্দিষ্ট প্রেডিকেট ব্যবহার করতে হবে।

আপনি দুটি উপায়ে এটি যাচাই করতে পারেন: একটি সুনির্দিষ্ট কোয়েরি সিনট্যাক্স ব্যবহার করে (যা অটোমেশনের জন্য অপরিহার্য) অথবা ইন্টারেক্টিভ UI ফিল্টার ব্যবহার করে।

পদ্ধতি ১: স্ট্রাকচার্ড কোয়েরির মাধ্যমে যাচাই করুন

1. সার্চ বারে ( কীওয়ার্ড সার্চ মোডে) নিম্নলিখিত স্ট্রাকচার্ড কোয়েরিটি লিখুন।

aspect:data-asset-governance.data-sensitivity=Internal

2. আপনার retail_data.transactions টেবিলটি দেখা উচিত।

পদ্ধতি ২: UI ফিল্টার ফ্যাসেটের মাধ্যমে যাচাই করুন

1. ভিউ রিসেট করতে সার্চ বারটি খালি করুন।
2. স্ক্রিনের বাম দিকে থাকা 'ফিল্টার বাই প্রোপার্টিজ' প্যানেলটি দেখুন।
3. নিচে স্ক্রল করুন এবং ডেটা অ্যাসেট গভর্নেন্স সেকশনটি প্রসারিত করুন (এটি আপনার তৈরি করা অ্যাসপেক্ট টাইপকে প্রতিনিধিত্ব করে)।
4. ডেটা সংবেদনশীলতার অধীনে, Internal ) বক্সটিতে টিক দিন।
5. অনুসন্ধানের ফলাফল আপডেট হয়ে retail_data.transactions টেবিলটি দেখাবে।

আপনি টাইপ করা কোয়েরি ব্যবহার করুন বা UI ফিল্টার, এর অন্তর্নিহিত কার্যপ্রণালী একই।

এটি ডেটাপ্লেক্স এবং একটি সাধারণ উইকির মধ্যে মৌলিক পার্থক্য তুলে ধরে: আপনার মেটাডেটা হলো একটি কোয়েরিযোগ্য কাঠামো। আপনি এখন এই অনুমানযোগ্য কাঠামোর উপর নির্ভর করে স্বয়ংক্রিয় অডিট তৈরি করতে পারেন (যেমন, "সেই সমস্ত টেবিল খুঁজুন যেখানে last_review_date এক বছরের বেশি পুরানো")।

৭. আপনার পরিবেশ পরিষ্কার করা

চলমান চার্জ এড়াতে, এই কোডল্যাবে তৈরি করা রিসোর্সগুলো মুছে ফেলুন।

BigQuery ডেটাসেটটি মুছে ফেলুন

এই কমান্ডটি অপরিবর্তনীয় এবং এটি কোনো নিশ্চিতকরণ ছাড়াই ডেটাসেট ও এর সমস্ত টেবিল মুছে ফেলার জন্য -f (ফোর্স) ফ্ল্যাগ ব্যবহার করে।

⚠️ সতর্কীকরণ: দুর্ঘটনাবশত ডেটা হারিয়ে যাওয়া এড়াতে, আমরা দৃঢ়ভাবে পরামর্শ দিচ্ছি যে আপনি ডেটাসেটের নামটি সঠিক রেখে, কপি-পেস্ট করার পরিবর্তে নিম্নলিখিত কমান্ডটি ম্যানুয়ালি টাইপ করুন।

# Re-run these exports if your Cloud Shell session timed out
export PROJECT_ID=$(gcloud config get-value project)

# Manually type this command to confirm you are deleting the correct dataset
bq rm -r -f --dataset $PROJECT_ID:retail_data

ডেটাপ্লেক্স আর্টিফ্যাক্টগুলি মুছুন

1. Dataplex Universal ক্যাটালগ UI > মেটাডেটা পরিচালনা > ক্যাটালগ- এ যান।
2. Aspect types & tag templates- এ, data_asset_governance অ্যাস্পেক্ট টাইপটি নির্বাচন করুন এবং এটি মুছে ফেলুন।
3. ম্যানেজ মেটাডেটা > গ্লসারি- তে যান, Retail Business Glossary নির্বাচন করুন এবং এটি ডিলিট করুন। নিশ্চিত করুন যে আপনি প্রথমে Gross Merchandise Value শব্দটি ডিলিট করছেন এবং পরে গ্লসারিটি ডিলিট করছেন।

৮. অভিনন্দন!

আপনি সাধারণ ডেটা ট্যাগিংয়ের ঊর্ধ্বে উঠে ডেটাপ্লেক্সে একটি মৌলিক ও কাঠামোগত শাসন মডেল প্রতিষ্ঠা করেছেন।

আপনি জানতে পেরেছেন যে:

• শব্দকোষ ব্যবসায়িক অস্পষ্টতা দূর করে।
• অ্যাসপেক্ট টাইপসমূহ টেকনিক্যাল মেটাডেটার জন্য স্কিমা চুক্তি প্রদান করে।
• অ্যাস্পেক্টগুলো প্রকৃত ডেটা এন্ট্রিগুলোতে সেই স্কিমাটি প্রয়োগ করে।
• ডেটাপ্লেক্স সার্চ নির্ভুলভাবে তথ্য অনুসন্ধানের জন্য এই কাঠামোগত মেটাডেটা ব্যবহার করে।

এরপর কী?

• কোড হিসাবে শাসনব্যবস্থা: ভার্সন কন্ট্রোলে আপনার অ্যাসপেক্ট টাইপ এবং গ্লসারি সংজ্ঞায়িত করতে গুগল ক্লাউড টেরাফর্ম প্রোভাইডার ব্যবহার করুন, যা ডেভ/টেস্ট/প্রোড পরিবেশ জুড়ে সামঞ্জস্যপূর্ণ স্কিমা নিশ্চিত করে।
• স্বয়ংক্রিয় ট্যাগিং: নতুন ডেটাসেট তৈরির মাধ্যমে চালু হয় এমন একটি ক্লাউড ফাংশন বা ক্লাউড বিল্ড স্টেপ লিখুন, যা স্বয়ংক্রিয়ভাবে আপনার "ডেটা অ্যাসেট গভর্নেন্স" অ্যাস্পেক্টটিকে ডিফল্ট মান (যেমন, sensitivity=Internal, steward=TBD ) সহ সংযুক্ত করে পর্যালোচনার জন্য ফ্ল্যাগ করবে।