BigQuery UI নেভিগেশন এবং ডেটা এক্সপ্লোরেশন কোডল্যাব

1. ভূমিকা

BigQuery হল একটি সার্ভারহীন, অত্যন্ত মাপযোগ্য এবং সাশ্রয়ী ডেটা গুদাম। শুধুমাত্র BigQuery-এ আপনার ডেটা স্থানান্তর করুন এবং আমাদের কঠোর পরিশ্রম পরিচালনা করতে দিন যাতে আপনি আপনার ব্যবসা চালানোর জন্য সত্যিকারের গুরুত্বপূর্ণ বিষয়গুলিতে ফোকাস করতে পারেন। আপনি আপনার ব্যবসার প্রয়োজনের উপর ভিত্তি করে প্রকল্প এবং আপনার ডেটা উভয়ের অ্যাক্সেস নিয়ন্ত্রণ করতে পারেন, যেমন অন্যদেরকে আপনার ডেটা দেখার বা জিজ্ঞাসা করার ক্ষমতা দেওয়া।

এই ল্যাবে, আপনি BigQuery-এর বিশ্লেষণাত্মক সম্ভাবনাগুলি আবিষ্কার করবেন। আপনি শিখবেন কিভাবে একটি Google ক্লাউড স্টোরেজ বাকেট থেকে একটি ডেটাসেট আমদানি করতে হয় এবং একটি খুচরা ব্যাঙ্কিং ডেটাসেটের সাথে কাজ করার মাধ্যমে BigQuery UI এর একটি উপলব্ধি পেতে হয়৷ উপরন্তু, এই ল্যাবটি আপনাকে শিখিয়ে দেবে কিভাবে BigQuery-এর মূল বৈশিষ্ট্যগুলিকে উন্মোচন করতে হয় যা আপনার প্রতিদিনের বিশ্লেষণকে অনেক সহজ করে তোলে যেমন একটি স্প্রেডশীটে কোয়েরির ফলাফল রপ্তানি করা, আপনার ক্যোয়ারী ইতিহাস থেকে কোয়েরি দেখা এবং চালানো, ক্যোয়ারী পারফরম্যান্স দেখা এবং টেবিল ভিউ তৈরি করা অন্যান্য দল এবং বিভাগ দ্বারা ব্যবহার করা হবে।

যা শিখবেন

এই ল্যাবে, আপনি কীভাবে নিম্নলিখিত কাজগুলি সম্পাদন করবেন তা শিখবেন:

• BigQuery-এ নতুন ডেটা লোড হচ্ছে
• BigQuery UI এর সাথে পরিচিত হন
• BigQuery-এ কোয়েরি চলছে
• ক্যোয়ারী কর্মক্ষমতা দেখুন
• BigQuery-এ ভিউ তৈরি করা
• নিরাপদে অন্যদের সাথে ডেটাসেট শেয়ার করুন

2. ভূমিকা: BigQuery UI বোঝা

এই বিভাগে আপনি শিখবেন কিভাবে BigQuery UI নেভিগেট করতে হয়, উপলভ্য ডেটাসেট দেখতে হয় এবং একটি সাধারণ ক্যোয়ারী চালাতে হয়।

BQ UI লোড হচ্ছে

1. Google ক্লাউড প্ল্যাটফর্ম কনসোলের শীর্ষে অবস্থিত "BigQuery" এ টাইপ করুন।
2. বিকল্প তালিকা থেকে BigQuery নির্বাচন করুন। BigQuery লোগো, ম্যাগনিফাইং গ্লাস আছে এমন বিকল্পটি নির্বাচন করতে ভুলবেন না।

ডেটাসেট দেখা এবং কোয়েরি চালানো

1. রিসোর্স বিভাগে বাম প্যানেলে, আপনার BigQuery প্রকল্পে ক্লিক করুন।
2. সেই ডেটাসেটে টেবিলগুলি দেখতে bq_demo এ ক্লিক করুন
3. টাইপ টু সার্চ বক্সে, "কার্ড" টাইপ করুন টেবিল এবং ডেটাসেটের একটি তালিকা দেখতে যাতে তাদের নামে "কার্ড" রয়েছে।
4. অনুসন্ধান ফলাফল তালিকা থেকে "কার্ড_লেনদেন" সারণী নির্বাচন করুন৷

5. এই টেবিলের মেটাডেটা দেখতে card_transactions প্যানের নীচে বিশদ ট্যাবে ক্লিক করুন।
6. টেবিলের পূর্বরূপ দেখতে পূর্বরূপ ট্যাবে ক্লিক করুন

[ প্রতিযোগীতামূলক টকিং পয়েন্ট]: Google ডেটা ক্যাটালগের সাথে একীকরণের অর্থ হল BigQuery মেটাডেটা অন্যান্য ডেটা উত্সগুলির সাথে পরিচালনা করা যেতে পারে, যেমন ডেটা লেক বা অপারেশনাল ডেটা উত্স৷ এটি একটি উদাহরণ যা দেখায় যে Google ক্লাউড শুধুমাত্র একটি রিলেশনাল ডেটা গুদাম নয়, এটি একটি সম্পূর্ণ বিশ্লেষণাত্মক ডেটা প্ল্যাটফর্ম৷

7. "কার্ড_লেনদেন" টেবিলটি জিজ্ঞাসা করতে ম্যাগনিফাইং গ্লাস আইকনে ক্লিক করুন৷ একটি অটো-জেনারেট করা টেক্সট BigQuery ক্যোয়ারী এডিটরকে পপুলেট করবে।
8. Card_Transactions টেবিল থেকে আমাদের আলাদা বণিক দেখানোর জন্য নিচের কোডটি লিখুন

SELECT distinct (merchant) FROM bq_demo.card_transactions LIMIT 1000

9. ক্যোয়ারী চালানোর জন্য রান বোতামে ক্লিক করুন।

3. ডেটাসেট তৈরি করা এবং ভিউ শেয়ার করা

ডেটা শেয়ার করা এবং পরিচালনা অত্যন্ত গুরুত্বপূর্ণ, এটি BQ UI-তে স্বজ্ঞাতভাবে করা যেতে পারে। এই বিভাগে আপনি শিখবেন কিভাবে একটি নতুন ডেটাসেট তৈরি করতে হয়, এটিকে একটি ভিউ দিয়ে পপুলেট করতে হয় এবং সেই ডেটাসেটটি শেয়ার করতে হয়।

ক্যোয়ারী ইতিহাস দেখা

1. GCP কনসোলের বাম দিকের "কোয়েরি ইতিহাস" এ ক্লিক করুন
2. ক্যোয়ারী হিস্ট্রি প্যানে রিফ্রেশ ক্লিক করুন
3. ক্যোয়ারীটির ফলাফল দেখতে কোয়েরির ডানদিকে ডাউনলোড ইমেজ/তীরটিতে ক্লিক করুন।

একটি নতুন ডেটাসেট তৈরি করা হচ্ছে

1. BigQuery UI এর রিসোর্স প্যানে [আপনার প্রকল্পের নাম] নির্বাচন করুন।
2. প্রকল্প তথ্য ফলক থেকে "নতুন ডেটাসেট তৈরি করুন" নির্বাচন করুন
3. ডেটাসেট আইডির জন্য:

bq_demo_shared

4. ডিফল্ট হিসাবে অন্য সব ক্ষেত্র ছেড়ে দিন
5. "ডেটাসেট তৈরি করুন" এ ক্লিক করুন

ভিউ তৈরি করা হচ্ছে

[ প্রতিযোগীতামূলক টকিং পয়েন্ট]: BigQuery সম্পূর্ণরূপে ANSI SQL অনুগত এবং সহজ এবং জটিল মাল্টি-টেবিল যোগদান এবং সমৃদ্ধ বিশ্লেষণাত্মক ফাংশন সমর্থন করে। আমরা মাইগ্রেশন প্রক্রিয়া সহজ করতে প্রচলিত ডেটা গুদামগুলিতে ব্যবহৃত সাধারণ SQL ডেটা প্রকার এবং ফাংশনগুলির জন্য ক্রমাগত উন্নত সমর্থন প্রকাশ করেছি।

1. ক্যোয়ারী এডিটর ফলকের শীর্ষে "নতুন ক্যোয়ারী রচনা করুন" নির্বাচন করুন।
2. ক্যোয়ারী এডিটরে নিম্নলিখিত কোড ঢোকান

WITH revenue_by_month AS (
SELECT
    card.type AS card_type,
    FORMAT_DATE('%Y-%m', trans_date) as revenue_date,
    SUM(amount) as revenue
FROM bq_demo.card_transactions
JOIN bq_demo.card ON card_transactions.cc_number = card.card_number
WHERE trans_date  DATE_ADD(CURRENT_DATE, INTERVAL -1 YEAR)
GROUP BY card_type, revenue_date
)
SELECT
    card_type,
    revenue_date,
    revenue as monthly_rev,
    revenue -  LAG(revenue) OVER (ORDER BY card_type, revenue_date ASC) as rev_change
FROM revenue_by_month
ORDER BY card_type, revenue_date ASC;

3. "দেখুন সংরক্ষণ করুন" ক্লিক করুন
4. প্রকল্প নামের জন্য আপনার বর্তমান প্রকল্প নির্বাচন করুন
5. নতুন তৈরি ডেটাসেট নির্বাচন করুন:

bq_demo_shared

6. টেবিল নামের জন্য:

rev_change_by_card_type

7. Save এ ক্লিক করুন।

ভিউ এবং ডেটাসেট শেয়ার করা

1. BigQuery UI-তে বাম রিসোর্স ফলক থেকে "bq_demo_shared" ডেটাসেট নির্বাচন করুন।
2. ডেটাসেট তথ্য ফলক থেকে "শেয়ার ডেটাসেট" এ ক্লিক করুন
3. একটি ইমেল ঠিকানা লিখুন
4. ভূমিকা ড্রপডাউন মেনু থেকে "BigQuery ডেটা ভিউয়ার" নির্বাচন করুন৷
5. "যোগ করুন" ক্লিক করুন
6. সম্পন্ন ক্লিক করুন

পত্রকগুলিতে ডেটা অন্বেষণ করুন৷

[ প্রতিযোগীতামূলক টকিং পয়েন্ট]: প্রতিযোগীদের তুলনায় BigQuery-এর আরেকটি সুবিধা হল BI ইঞ্জিন। BI ইঞ্জিন ইন-মেমরি ক্যাশিং ইঞ্জিনের মাধ্যমে এক সেকেন্ডেরও কম সময়ে BI টাইপ সারাংশের প্রশ্নগুলি ফেরত দিতে ব্যবহার করা যেতে পারে। এটি বর্তমানে Google ডেটা স্টুডিও দ্বারা সমর্থিত কিন্তু শীঘ্রই BigQuery-এ সমস্ত প্রশ্নের গতি বাড়াতে উপলব্ধ হবে৷

যেমন:

স্নোফ্লেক ড্যাশবোর্ড এবং ডেটা ভিজ্যুয়ালাইজেশনের জন্য 3য় পক্ষের BI সরঞ্জামগুলির উপর নির্ভর করে যখন GCP সংযুক্ত শীট, ডেটা স্টুডিও এবং লুকার সহ সমন্বিত BI সরঞ্জামগুলির একটি পরিসর অফার করে৷

1. BigQuery UI-তে বাম রিসোর্স ফলক থেকে "rev_change_by_card_type" ভিউ নির্বাচন করুন।
2. ভিউ জিজ্ঞাসা করতে ম্যাগনিফাইং গ্লাসে ক্লিক করুন
3. প্রকার:

নির্বাচন করুন *

bq_demo_shared.rev_change_by_card_type থেকে

4. রান ক্লিক করুন
5. ফলাফল ফলক থেকে "রপ্তানি" আইকনে ক্লিক করুন
6. "শীট সহ ডেটা এক্সপ্লোর করুন" নির্বাচন করুন

7. "বিশ্লেষণ শুরু করুন" ক্লিক করুন
8. "পিভট টেবিল" নির্বাচন করুন
9. "নতুন পত্রক" নির্বাচন করুন
10. "তৈরি করুন" ক্লিক করুন
11. পত্রক উইন্ডোর ডানদিকে অবস্থিত পিভট টেবিল সম্পাদকের সারি বিভাগের অধীনে "আয়_তারিখ" যোগ করুন
12. পিভট টেবিল এডিটরের কলাম বিভাগের অধীনে "কার্ড_টাইপ" যোগ করুন
13. পিভট টেবিল এডিটরের কলাম বিভাগের অধীনে "মাসিক_রিভ" যোগ করুন
14. আবেদন ক্লিক করুন

15. পত্রক UI এর শীর্ষ রবিনে নেভিগেট করুন এবং সন্নিবেশ চার্ট নির্বাচন করুন৷

4. সেটআপ: ডেটা ইন্টিগ্রেশন

এই বিভাগে আপনি শিখবেন কীভাবে একটি নতুন টেবিল তৈরি করতে হয় এবং Google ক্লাউডের উপলব্ধ অনেকগুলি পাবলিক ডেটাসেটের একটিতে যোগদান করতে হয়৷

[প্রতিযোগিতামূলক কথা বলার পয়েন্ট]:

BigQuery বছরের পর বছর ধরে শেয়ার করা ডেটা সেট সমর্থন করে। যেকোনো প্রকল্পের গ্রাহকরা তাদের সাথে ভাগ করা অন্যান্য প্রকল্পে পাবলিক ডেটা সেট এবং ডেটা সেট উভয়ই জিজ্ঞাসা করতে পারেন।

BigQuery বহিরাগত টেবিল ব্যবহার করে GCS-এ ডেটা লেক সমর্থন করতে পারে। বাল্ক লোডিং ছাড়াও, BigQuery প্রতি সেকেন্ডে শত শত এমবি হারে ডেটাবেসে ডেটা স্ট্রিম করার ক্ষমতা সমর্থন করে। স্নোফ্লেকের স্ট্রিমিং ডেটার জন্য কোনও সমর্থন নেই।

একটি নতুন টেবিলে ডেটা আমদানি করা হচ্ছে

1. সম্পদ ফলকে bq_demo ডেটাসেট নির্বাচন করুন
2. ডেটাসেট তথ্য ফলকে "টেবিল তৈরি করুন" নির্বাচন করুন
3. উৎসের জন্য Google ক্লাউড স্টোরেজ নির্বাচন করুন
4. ফাইল পাথ পাঠ্য বাক্সে:

gs://retail-banking-looker/district

5. ফাইল ফরম্যাটের জন্য CSV নির্বাচন করুন
6. টেবিলের নামের জন্য "জেলা" লিখুন
7. অটো ডিটেক্ট স্কিমার জন্য চেকবক্স নির্বাচন করুন
8. টেবিল তৈরি করুন ক্লিক করুন

সার্বজনীন ডেটাসেট অনুসন্ধান করা হচ্ছে

1. ক্যোয়ারী এডিটরে নিম্নলিখিত ক্যোয়ারী লিখুন:

SELECT
    CAST(geo_id as STRING) AS zip_code,
    total_pop,
    median_age,
    households,
    income_per_capita,
    housing_units,
    vacant_housing_units_for_sale,
    ROUND(SAFE_DIVIDE(employed_pop, pop_16_over),4) AS rate_employment,
    ROUND(SAFE_DIVIDE(bachelors_degree_or_higher_25_64, pop_25_64),4) AS rate_bachelors_degree_or_higher_25_64
  FROM
    `bigquery-public-data.census_bureau_acs.zip_codes_2017_5yr`;

2. রান ক্লিক করুন
3. ফলাফল দেখুন

4. এখন আমরা এই পাবলিক ডেটাকে অন্য প্রশ্নের সাথে একত্রিত করব। ক্যোয়ারী এডিটরে নিম্নলিখিত SQL কোড লিখুন:

WITH customer_counts AS (
    select regexp_extract(address, "[0-9][0-9][0-9][0-9][0-9]") as zip_code, 
    count(*) as num_clients
    FROM bq_demo.client
    GROUP BY zip_code
    )
SELECT 
    CAST(geo_id as STRING) AS zip_code,
    total_pop,
    median_age,
    households,
    income_per_capita,
    ROUND(SAFE_DIVIDE(employed_pop, pop_16_over),4) AS rate_employment,
    num_clients
FROM
    `bigquery-public-data.census_bureau_acs.zip_codes_2017_5yr`
JOIN customer_counts on zip_code = geo_id
ORDER BY num_clients DESC

5. রান ক্লিক করুন
6. ফলাফল দেখুন

5. ক্ষমতা ব্যবস্থাপনা

স্লট এবং রিজার্ভেশন সঙ্গে কাজ

BQ আপনার চাহিদা মেটাতে একাধিক মূল্যের মডেল অফার করে। বেশিরভাগ বড় গ্রাহকরা প্রাথমিকভাবে সংরক্ষিত ক্ষমতা সহ অনুমানযোগ্য মূল্যের জন্য ফ্ল্যাট রেট লাভ করে। সেই বেসলাইন ক্ষমতার বাইরে যাওয়ার জন্য, BQ ফ্লেক্স স্লটগুলি অফার করে যা আপনাকে ফ্লাইতে অতিরিক্ত ক্ষমতা বাড়াতে দেয় এবং তারপরে চলমান প্রশ্নগুলিতে কোনও প্রভাব ছাড়াই স্বয়ংক্রিয়ভাবে সঙ্কুচিত হয়। BQ এর একটি বাইট স্ক্যান মডেলও রয়েছে যা আপনাকে শুধুমাত্র আপনার চালানো প্রশ্নের জন্য অর্থ প্রদান করতে দেয়।

[ প্রতিযোগিতামূলক কথা বলার পয়েন্ট: কিছু প্রতিযোগী একটি নির্দিষ্ট ক্ষমতা মডেলের উপর একচেটিয়াভাবে কাজ করে যেখানে গ্রাহকদের তাদের প্রতিষ্ঠানের প্রতিটি কাজের চাপের জন্য একটি ভার্চুয়াল গুদাম বরাদ্দ করতে হবে। একটি কম খরচের প্রতি-কোয়েরি মডেল ছাড়াও যা BigQuery-এর সাথে শুরু করা সহজ করে, আমরা একটি ফ্ল্যাট রেট ধারণক্ষমতার দামের মডেল সমর্থন করি যেখানে অলস ক্ষমতা এক সেট কাজের চাপের মধ্যে ভাগ করা যেতে পারে। ]

1. রিজার্ভেশন ট্যাবে যান।

2. "স্লট কিনুন" এ ক্লিক করুন

3. সময়কাল হিসাবে "ফ্লেক্স" নির্বাচন করুন।
4. 500 স্লট নির্বাচন করুন.
5. ক্রয় নিশ্চিত করুন.

6. স্লট প্রতিশ্রুতি দেখুন ক্লিক করুন.
7. "সংরক্ষণ তৈরি করুন" এ ক্লিক করুন
8. সংরক্ষণের নাম হিসাবে ব্যবহারকারী "ডেমো"
9. অবস্থান হিসাবে মার্কিন যুক্তরাষ্ট্র নির্বাচন করুন
10. স্লটের জন্য 500 টাইপ করুন (সমস্ত উপলব্ধ)
11. অ্যাসাইনমেন্টে ক্লিক করুন
12. প্রতিষ্ঠানের প্রকল্পের জন্য বর্তমান প্রকল্প বাছাই করুন
13. রিজার্ভেশন আইডির জন্য "ডেমো" নির্বাচন করুন
14. তৈরি করুন ক্লিক করুন।"