স্প্যানার ডেটা বুস্ট এবং BigQuery দিয়ে শুরু করা

1. ভূমিকা

এই কোডল্যাবে আপনি শিখবেন কিভাবে স্প্যানার ডেটা বুস্ট ব্যবহার করে BigQuery থেকে শূন্য-ETL ফেডারেটেড ক্যোয়ারী ব্যবহার করে এবং স্প্যানার ডেটাবেসকে প্রভাবিত না করে স্প্যানার ডেটা জিজ্ঞাসা করতে হয়।

f1de68f762a86cc7.png

স্প্যানার ডেটা বুস্ট একটি সম্পূর্ণরূপে পরিচালিত, সার্ভারবিহীন পরিষেবা যা সমর্থিত স্প্যানার ওয়ার্কলোডের জন্য স্বাধীন গণনা সংস্থান সরবরাহ করে। ডেটা বুস্ট আপনাকে সার্ভারহীন অন-ডিমান্ড ব্যবহার মডেল ব্যবহার করে প্রভিশন করা স্প্যানার ইনস্ট্যান্সে বিদ্যমান ওয়ার্কলোডের কাছাকাছি-শূন্য প্রভাব সহ অ্যানালিটিক্স কোয়েরি এবং ডেটা এক্সপোর্ট চালাতে দেয়।

BigQuery বাহ্যিক সংযোগের সাথে পেয়ার করা হলে, ডেটা বুস্ট আপনাকে জটিল ETL ডেটা মুভমেন্ট ছাড়াই আপনার ডেটা অ্যানালিটিক্স প্ল্যাটফর্মে স্প্যানার থেকে সহজেই ডেটা অনুসন্ধান করতে দেয়।

পূর্বশর্ত

  • Google ক্লাউড, কনসোলের একটি প্রাথমিক ধারণা
  • কমান্ড লাইন ইন্টারফেস এবং গুগল শেলের প্রাথমিক দক্ষতা

আপনি কি শিখবেন

  • কিভাবে একটি স্প্যানার উদাহরণ স্থাপন করতে হয়
  • একটি স্প্যানার ডাটাবেস তৈরি করতে কীভাবে ডেটা লোড করবেন
  • ডেটা বুস্ট ছাড়া কীভাবে BigQuery থেকে স্প্যানার ডেটা অ্যাক্সেস করবেন
  • ডেটা বুস্টের মাধ্যমে BigQuery থেকে স্প্যানার ডেটা কীভাবে অ্যাক্সেস করবেন

আপনি কি প্রয়োজন হবে

  • একটি Google ক্লাউড অ্যাকাউন্ট এবং Google ক্লাউড প্রকল্প
  • একটি ওয়েব ব্রাউজার যেমন ক্রোম

2. সেটআপ এবং প্রয়োজনীয়তা

স্ব-গতিসম্পন্ন পরিবেশ সেটআপ

  1. Google ক্লাউড কনসোলে সাইন-ইন করুন এবং একটি নতুন প্রকল্প তৈরি করুন বা বিদ্যমান একটি পুনরায় ব্যবহার করুন৷ আপনার যদি ইতিমধ্যেই একটি Gmail বা Google Workspace অ্যাকাউন্ট না থাকে, তাহলে আপনাকে অবশ্যই একটি তৈরি করতে হবে।

fbef9caa1602edd0.png

a99b7ace416376c4.png

5e3ff691252acf41.png

  • প্রকল্পের নাম এই প্রকল্পের অংশগ্রহণকারীদের জন্য প্রদর্শনের নাম। এটি একটি অক্ষর স্ট্রিং যা Google API দ্বারা ব্যবহৃত হয় না। আপনি সবসময় এটি আপডেট করতে পারেন.
  • প্রোজেক্ট আইডি সমস্ত Google ক্লাউড প্রোজেক্ট জুড়ে অনন্য এবং অপরিবর্তনীয় (সেট করার পরে পরিবর্তন করা যাবে না)। ক্লাউড কনসোল স্বয়ংক্রিয়ভাবে একটি অনন্য স্ট্রিং তৈরি করে; সাধারণত আপনি এটা কি যত্ন না. বেশিরভাগ কোডল্যাবে, আপনাকে আপনার প্রকল্প আইডি উল্লেখ করতে হবে (সাধারণত PROJECT_ID হিসাবে চিহ্নিত)। আপনি যদি জেনারেট করা আইডি পছন্দ না করেন, তাহলে আপনি অন্য একটি এলোমেলো আইডি তৈরি করতে পারেন। বিকল্পভাবে, আপনি নিজের চেষ্টা করতে পারেন, এবং এটি উপলব্ধ কিনা দেখতে পারেন। এই ধাপের পরে এটি পরিবর্তন করা যাবে না এবং প্রকল্পের সময়কালের জন্য থাকে।
  • আপনার তথ্যের জন্য, একটি তৃতীয় মান আছে, একটি প্রকল্প নম্বর , যা কিছু API ব্যবহার করে। ডকুমেন্টেশনে এই তিনটি মান সম্পর্কে আরও জানুন।
  1. এরপরে, ক্লাউড রিসোর্স/এপিআই ব্যবহার করতে আপনাকে ক্লাউড কনসোলে বিলিং সক্ষম করতে হবে। এই কোডল্যাবের মাধ্যমে চালানোর জন্য খুব বেশি খরচ হবে না, যদি কিছু হয়। এই টিউটোরিয়ালের বাইরে বিলিং এড়াতে সংস্থানগুলি বন্ধ করতে, আপনি আপনার তৈরি করা সংস্থানগুলি মুছতে বা প্রকল্প মুছতে পারেন। নতুন Google ক্লাউড ব্যবহারকারীরা $300 USD বিনামূল্যের ট্রায়াল প্রোগ্রামের জন্য যোগ্য৷

ক্লাউড শেল শুরু করুন

যদিও Google ক্লাউড আপনার ল্যাপটপ থেকে দূরবর্তীভাবে পরিচালিত হতে পারে, এই কোডল্যাবে আপনি Google ক্লাউড শেল ব্যবহার করবেন, একটি কমান্ড লাইন পরিবেশ যা ক্লাউডে চলছে।

Google ক্লাউড কনসোল থেকে, উপরের ডানদিকে টুলবারে ক্লাউড শেল আইকনে ক্লিক করুন:

55efc1aaa7a4d3ad.png

পরিবেশের ব্যবস্থা করতে এবং সংযোগ করতে এটি শুধুমাত্র কয়েক মুহূর্ত নিতে হবে। এটি সমাপ্ত হলে, আপনি এই মত কিছু দেখতে হবে:

7ffe5cbb04455448.png

এই ভার্চুয়াল মেশিনটি আপনার প্রয়োজনীয় সমস্ত ডেভেলপমেন্ট টুল দিয়ে লোড করা হয়েছে। এটি একটি ক্রমাগত 5GB হোম ডিরেক্টরি অফার করে এবং Google ক্লাউডে চলে, যা নেটওয়ার্ক কর্মক্ষমতা এবং প্রমাণীকরণকে ব্যাপকভাবে উন্নত করে। এই কোডল্যাবে আপনার সমস্ত কাজ একটি ব্রাউজারে করা যেতে পারে। আপনার কিছু ইন্সটল করার দরকার নেই।

3. একটি স্প্যানার ইনস্ট্যান্স এবং ডাটাবেস তৈরি করুন

স্প্যানার API সক্ষম করুন

ক্লাউড শেলের ভিতরে, নিশ্চিত করুন যে আপনার প্রকল্প আইডি সেটআপ করা আছে:

gcloud config set project [YOUR-PROJECT-ID]
PROJECT_ID=$(gcloud config get-value project)

us-central1 এ আপনার ডিফল্ট অঞ্চল কনফিগার করুন। স্প্যানার আঞ্চলিক কনফিগারেশন দ্বারা সমর্থিত একটি ভিন্ন অঞ্চলে এটিকে নির্দ্বিধায় পরিবর্তন করুন৷

gcloud config set compute/region us-central1

স্প্যানার API সক্ষম করুন:

gcloud services enable spanner.googleapis.com

স্প্যানার উদাহরণ তৈরি করুন

এই ধাপে আমরা কোডল্যাবের জন্য আমাদের স্প্যানার ইনস্ট্যান্স সেট আপ করি। এটি করতে, ক্লাউড শেল খুলুন এবং এই কমান্ডটি চালান:

export SPANNER_INSTANCE_ID=codelab-demo
export SPANNER_REGION=regional-us-central1
gcloud spanner instances create $SPANNER_INSTANCE_ID \
--config=$SPANNER_REGION \
--description="Spanner Codelab instance" \
--nodes=1

কমান্ড আউটপুট:

$ gcloud spanner instances create $SPANNER_INSTANCE_ID \
--config=$SPANNER_REGION \
--description="Spanner Codelab instance" \
--nodes=1
Creating instance...done.

ডাটাবেস তৈরি করুন

একবার আপনার দৃষ্টান্ত চালু হলে, আপনি ডাটাবেস তৈরি করতে পারেন। স্প্যানার একটি একক উদাহরণে একাধিক ডাটাবেসের জন্য অনুমতি দেয়।

ডাটাবেস হল যেখানে আপনি আপনার স্কিমা সংজ্ঞায়িত করেন। আপনি ডাটাবেসে কার অ্যাক্সেস আছে তা নিয়ন্ত্রণ করতে পারেন, কাস্টম এনক্রিপশন সেট আপ করতে পারেন, অপ্টিমাইজার কনফিগার করতে পারেন এবং ধরে রাখার সময়কাল সেট করতে পারেন।

ডাটাবেস তৈরি করতে, আবার gcloud কমান্ড লাইন টুল ব্যবহার করুন:

export SPANNER_DATABASE=codelab-db
gcloud spanner databases create $SPANNER_DATABASE \
 --instance=$SPANNER_INSTANCE_ID

কমান্ড আউটপুট:

$ gcloud spanner databases create $SPANNER_DATABASE \
 --instance=$SPANNER_INSTANCE_ID
Creating database...done.

4. ডেটা লোড করুন

ডেটা বুস্ট ব্যবহার করার আগে, আপনার ডেটাবেসে কিছু ডেটা থাকতে হবে। এটি করার জন্য, আপনি একটি ক্লাউড স্টোরেজ বালতি তৈরি করবেন, বালতিতে একটি অভ্র আমদানি আপলোড করবেন এবং অভ্র ডেটা স্প্যানারে লোড করার জন্য একটি ডেটাফ্লো আমদানি কাজ শুরু করবেন।

এপিআই সক্ষম করুন

এটি করতে, একটি ক্লাউড শেল প্রম্পট খুলুন যদি পূর্ববর্তীটি বন্ধ থাকে।

কম্পিউট, ক্লাউড স্টোরেজ এবং ডেটাফ্লো এপিআই সক্ষম করা নিশ্চিত করুন।

gcloud services enable compute.googleapis.com storage.googleapis.com dataflow.googleapis.com

প্রত্যাশিত কনসোল আউটপুট:

$ gcloud services enable compute.googleapis.com storage.googleapis.com dataflow.googleapis.com
Operation "operations/acat.*snip*" finished successfully.

ক্লাউড স্টোরেজে স্টেজ ইম্পোর্ট ফাইল

এখন, অভ্র ফাইল সংরক্ষণ করার জন্য বালতি তৈরি করুন: 

export GCS_BUCKET=spanner-codelab-import_$(date '+%Y-%m-%d_%H_%M_%S')
gcloud storage buckets create gs://$GCS_BUCKET

প্রত্যাশিত কনসোল আউটপুট: 

$ gcloud storage buckets create gs://$GCS_BUCKET
Creating gs://spanner-codelab-import/...

এরপরে, গিথুব থেকে টার ফাইলটি ডাউনলোড করুন এবং এটি বের করুন। 

wget https://github.com/dtest/spanner-databoost-tutorial/releases/download/v0.1/spanner-chat-db.tar.gz
tar -xzvf spanner-chat-db.tar.gz

প্রত্যাশিত কনসোল আউটপুট: 

$ wget https://github.com/dtest/spanner-databoost-tutorial/releases/download/v0.1/spanner-chat-db.tar.gz
*snip*
*snip*(123 MB/s) - ‘spanner-chat-db.tar.gz' saved [46941709/46941709]
$
$ tar -xzvf spanner-chat-db.tar.gz 
spanner-chat-db/
spanner-chat-db/users.avro-00000-of-00002
spanner-chat-db/user_notifications-manifest.json
spanner-chat-db/interests-manifest.json
spanner-chat-db/users-manifest.json
spanner-chat-db/users.avro-00001-of-00002
spanner-chat-db/topics-manifest.json
spanner-chat-db/topics.avro-00000-of-00002
spanner-chat-db/topics.avro-00001-of-00002
spanner-chat-db/user_interests-manifest.json
spanner-chat-db/spanner-export.json
spanner-chat-db/interests.avro-00000-of-00001
spanner-chat-db/user_notifications.avro-00000-of-00001
spanner-chat-db/user_interests.avro-00000-of-00001

এবং এখন আপনার তৈরি করা বালতিতে ফাইলগুলি আপলোড করুন। 

gcloud storage cp spanner-chat-db gs://$GCS_BUCKET --recursive

প্রত্যাশিত কনসোল আউটপুট: 

$ gcloud storage cp spanner-chat-db gs://$GCS_BUCKET --recursive
Copying file://spanner-chat-db/users.avro-00000-of-00002 to gs://spanner-codelab-import/spanner-chat-db/users.avro-00000-of-00002
Copying file://spanner-chat-db/user_notifications-manifest.json to gs://spanner-codelab-import/spanner-chat-db/user_notifications-manifest.json
Copying file://spanner-chat-db/interests-manifest.json to gs://spanner-codelab-import/spanner-chat-db/interests-manifest.json           
Copying file://spanner-chat-db/users-manifest.json to gs://spanner-codelab-import/spanner-chat-db/users-manifest.json
Copying file://spanner-chat-db/users.avro-00001-of-00002 to gs://spanner-codelab-import/spanner-chat-db/users.avro-00001-of-00002
Copying file://spanner-chat-db/topics-manifest.json to gs://spanner-codelab-import/spanner-chat-db/topics-manifest.json
Copying file://spanner-chat-db/topics.avro-00000-of-00002 to gs://spanner-codelab-import/spanner-chat-db/topics.avro-00000-of-00002
Copying file://spanner-chat-db/topics.avro-00001-of-00002 to gs://spanner-codelab-import/spanner-chat-db/topics.avro-00001-of-00002
Copying file://spanner-chat-db/user_interests-manifest.json to gs://spanner-codelab-import/spanner-chat-db/user_interests-manifest.json
Copying file://spanner-chat-db/spanner-export.json to gs://spanner-codelab-import/spanner-chat-db/spanner-export.json
Copying file://spanner-chat-db/interests.avro-00000-of-00001 to gs://spanner-codelab-import/spanner-chat-db/interests.avro-00000-of-00001
Copying file://spanner-chat-db/user_notifications.avro-00000-of-00001 to gs://spanner-codelab-import/spanner-chat-db/user_notifications.avro-00000-of-00001
Copying file://spanner-chat-db/user_interests.avro-00000-of-00001 to gs://spanner-codelab-import/spanner-chat-db/user_interests.avro-00000-of-00001
  Completed files 13/13 | 54.6MiB/54.6MiB                                                                                               

Average throughput: 46.4MiB/s

ডেটা আমদানি করুন

ক্লাউড স্টোরেজের ফাইলগুলির সাথে, আপনি স্প্যানারে ডেটা লোড করার জন্য একটি ডেটাফ্লো আমদানি কাজ শুরু করতে পারেন। 

gcloud dataflow jobs run import_chatdb \
    --gcs-location gs://dataflow-templates-us-central1/latest/GCS_Avro_to_Cloud_Spanner \
    --region us-central1 \
    --staging-location gs://$GCS_BUCKET/tmp \
    --parameters \
instanceId=$SPANNER_INSTANCE_ID,\
databaseId=$SPANNER_DATABASE,\
inputDir=gs://$GCS_BUCKET/spanner-chat-db

প্রত্যাশিত কনসোল আউটপুট: 

$ gcloud dataflow jobs run import_chatdb \
>     --gcs-location gs://dataflow-templates-us-central1/latest/GCS_Avro_to_Cloud_Spanner \
>     --region us-central1 \
>     --staging-location gs://$GCS_BUCKET/tmp \
>     --parameters \
> instanceId=$SPANNER_INSTANCE_ID,\
> databaseId=$SPANNER_DATABASE,\
> inputDir=gs://$GCS_BUCKET/spanner-chat-db
createTime: '*snip*'
currentStateTime: '*snip*'
id: *snip*
location: us-central1
name: import_chatdb
projectId: *snip*
startTime: '*snip*'
type: JOB_TYPE_BATCH

আপনি এই কমান্ডের মাধ্যমে আমদানি কাজের স্থিতি পরীক্ষা করতে পারেন। 

gcloud dataflow jobs list --filter="name=import_chatdb" --region us-central1

প্রত্যাশিত কনসোল আউটপুট: 

$ gcloud dataflow jobs list --filter="name=import_chatdb"
`--region` not set; getting jobs from all available regions. Some jobs may be missing in the event of an outage. https://cloud.google.com/dataflow/docs/concepts/regional-endpoints
JOB_ID                                   NAME           TYPE   CREATION_TIME        STATE    REGION
*snip*                                  import_chatdb  Batch  2024-04-*snip*  Done  us-central1

স্প্যানারে ডেটা যাচাই করুন

এখন, স্প্যানার স্টুডিওতে যান এবং নিশ্চিত করুন যে ডেটা আছে। প্রথমত, কলামগুলি দেখতে টপিক টেবিলটি প্রসারিত করুন।

cd1cf38efd2b974a.png

এখন, ডেটা উপলব্ধ নিশ্চিত করতে নিম্নলিখিত ক্যোয়ারী চালান: 

SELECT COUNT(*) FROM topics;

প্রত্যাশিত আউটপুট:

89e5d92fbe71c022.png

5. BigQuery থেকে ডেটা পড়ুন

এখন যেহেতু আপনার কাছে স্প্যানারে ডেটা আছে, এটি BigQuery থেকে এটি অ্যাক্সেস করার সময়। এটি করার জন্য, আপনি BigQuery-এ Spanner-এ একটি বাহ্যিক সংযোগ সেট আপ করবেন।

ধরে নিই যে আপনার কাছে সঠিক অনুমতি আছে, নিম্নলিখিত ধাপগুলি সহ স্প্যানারে একটি বাহ্যিক সংযোগ তৈরি করুন৷

BigQuery কনসোলের শীর্ষে 'যোগ করুন' বোতামে ক্লিক করুন, এবং 'অনন্ত ডেটা উত্সের সংযোগগুলি' বিকল্পটি নির্বাচন করুন৷

580a0d237f11a9c5.png

75968de398fabf7e.png

আপনি এখন স্প্যানার থেকে ডেটা পড়ার জন্য একটি ক্যোয়ারী চালাতে পারেন৷ BigQuery কনসোলে এই ক্যোয়ারীটি চালান, আপনার ${PROJECT_ID}-এর মান প্রতিস্থাপন করতে ভুলবেন না: 

SELECT *
FROM (
  SELECT * FROM EXTERNAL_QUERY("projects/${PROJECT_ID}/locations/us-central1/connections/codelab-demo-chat_no-databoost", "SELECT users.userUUID, SHA256(users.email) as hashed_email, COUNT(*) num_topics, m.last_posted from users HASH JOIN (select MAX(t.created) last_posted, t.userUUID FROM topics t GROUP BY 2) m USING (userUUID)HASH JOIN topics USING (userUUID) GROUP BY users.userUUID, users.email, m.last_posted") 
)
ORDER BY num_topics DESC;

উদাহরণ আউটপুট:

e47265487c3e39bd.png

আপনি চাকরি সম্পর্কে তথ্য দেখতে পারেন, যেমন এটি চালানোর জন্য কত সময় লেগেছে এবং 'চাকরির তথ্য' ট্যাবে কত ডেটা প্রক্রিয়া করা হয়েছে।

9ae40b0aa8c4891.png

এরপরে, আপনি স্প্যানারে একটি ডেটা বুস্ট সংযোগ যোগ করবেন এবং ফলাফলের তুলনা করবেন।

6. ডেটা বুস্ট ব্যবহার করে ডেটা পড়ুন

স্প্যানার ডেটা বুস্ট ব্যবহার করতে, আপনাকে BigQuery থেকে স্প্যানারে একটি নতুন বাহ্যিক সংযোগ তৈরি করতে হবে। BigQuery কনসোলে 'যোগ করুন' এ ক্লিক করুন এবং আবার ' Connections from external data sources ' নির্বাচন করুন।

স্প্যানারের সাথে একই সংযোগ URI দিয়ে বিশদটি পূরণ করুন। 'সংযোগ আইডি' পরিবর্তন করুন এবং 'ডাটা বুস্ট ব্যবহার করুন' বক্সে টিক চিহ্ন দিন।

8e2205255b56a279.png

ডেটা বুস্ট সংযোগ তৈরি করা হলে, আপনি একই ক্যোয়ারী চালাতে পারেন কিন্তু নতুন সংযোগের নাম দিয়ে। আবার, ক্যোয়ারীতে আপনার project_id প্রতিস্থাপন করুন। 

SELECT *
FROM (
  SELECT * FROM EXTERNAL_QUERY("projects/${PROJECT_ID}/locations/us-central1/connections/codelab-demo-chat_use-databoost", "SELECT users.userUUID, SHA256(users.email) as hashed_email, COUNT(*) num_topics, m.last_posted from users HASH JOIN (select MAX(t.created) last_posted, t.userUUID FROM topics t GROUP BY 2) m USING (userUUID)HASH JOIN topics USING (userUUID) GROUP BY users.userUUID, users.email, m.last_posted") 
)
ORDER BY num_topics DESC;

আপনি আগের মত একই ফলাফল সেট করা উচিত. সময় কি পরিবর্তন হয়েছে?

7. ডেটা বুস্ট বোঝা

স্প্যানার ডেটা বুস্ট আপনাকে আপনার স্প্যানার উদাহরণ সংস্থানগুলির সাথে সম্পর্কহীন সংস্থানগুলি ব্যবহার করতে দেয়৷ এটি প্রাথমিকভাবে আপনার অপারেশনাল কাজের চাপের উপর আপনার বিশ্লেষণাত্মক কাজের চাপের প্রভাবকে কমিয়ে দেয়।

আপনি যদি দুই বা তিন মিনিটের মধ্যে কয়েকবার ডেটা বুস্ট ব্যবহার না করার জন্য কোয়েরি চালান তবে আপনি এটি দেখতে পাবেন। প্রতিস্থাপন করতে মনে রাখবেন ${PROJECT_ID} । 

SELECT *
FROM (
  SELECT * FROM EXTERNAL_QUERY("projects/${PROJECT_ID}/locations/us-central1/connections/codelab-demo-chat_no-databoost", "SELECT users.userUUID, SHA256(users.email) as hashed_email, COUNT(*) num_topics, m.last_posted from users HASH JOIN (select MAX(t.created) last_posted, t.userUUID FROM topics t GROUP BY 2) m USING (userUUID)HASH JOIN topics USING (userUUID) GROUP BY users.userUUID, users.email, m.last_posted") 
)
ORDER BY num_topics DESC;

তারপর, আরও কয়েক মিনিট অপেক্ষা করুন, এবং আরও কয়েকবার ডেটা বুস্ট ব্যবহার করতে ক্যোয়ারী চালান। প্রতিস্থাপন করতে মনে রাখবেন ${PROJECT_ID} । 

SELECT *
FROM (
  SELECT * FROM EXTERNAL_QUERY("projects/${PROJECT_ID}/locations/us-central1/connections/codelab-demo-chat_use-databoost", "SELECT users.userUUID, SHA256(users.email) as hashed_email, COUNT(*) num_topics, m.last_posted from users HASH JOIN (select MAX(t.created) last_posted, t.userUUID FROM topics t GROUP BY 2) m USING (userUUID)HASH JOIN topics USING (userUUID) GROUP BY users.userUUID, users.email, m.last_posted") 
)
ORDER BY num_topics DESC;

এখন, ক্লাউড কনসোলের স্প্যানার স্টুডিওতে ফিরে যান এবং সিস্টেম ইনসাইটসে যান

c1dc67fcc7a2a71.png

এখানে, আপনি CPU মেট্রিক্স দেখতে পারেন। ডেটা বুস্ট ছাড়া চালানো প্রশ্নগুলি 'executesql_select_withpartitiontoken' অপারেশনের জন্য CPU ব্যবহার করছে। যদিও ক্যোয়ারী একই, ডেটা বুস্ট এক্সিকিউশন আপনার ইনস্ট্যান্স সিপিইউ ব্যবহারে দেখায় না।

a86a7508b6738904.png

অনেক ক্ষেত্রে, ডেটা বুস্ট ব্যবহার করার সময় বিশ্লেষণাত্মক প্রশ্নের কর্মক্ষমতা উন্নত হবে। এই টিউটোরিয়ালে ডেটা সেট করা ছোট এবং সংস্থানগুলির জন্য প্রতিযোগিতা করার জন্য অন্য কোনও কাজের চাপ নেই। অতএব, এই টিউটোরিয়ালটি কর্মক্ষমতা উন্নতি প্রদর্শনের আশা করে না।

প্রশ্ন এবং কাজের চাপ নিয়ে নির্দ্বিধায় খেলুন এবং দেখুন কিভাবে ডেটা বুস্ট কাজ করে। আপনার হয়ে গেলে, পরিবেশ পরিষ্কার করতে পরবর্তী বিভাগে যান।

8. পরিবেশ পরিষ্কার করুন

আপনি যদি এই কোডল্যাবের জন্য বিশেষভাবে আপনার প্রকল্পটি তৈরি করেন তবে আপনি এটি পরিষ্কার করতে প্রকল্পটি মুছে ফেলতে পারেন। আপনি যদি প্রকল্পটি রাখতে চান, এবং পৃথক উপাদানগুলি পরিষ্কার করতে চান তবে নিম্নলিখিত পদক্ষেপগুলিতে এগিয়ে যান৷

BigQuery সংযোগগুলি সরান৷

উভয় সংযোগ অপসারণ করতে সংযোগ নামের পাশে তিনটি বিন্দুতে ক্লিক করুন।, 'মুছুন' নির্বাচন করুন, তারপর সংযোগটি মুছে ফেলার নির্দেশাবলী অনুসরণ করুন।

c9348832bcf202a9.png

ক্লাউড স্টোরেজ বালতি মুছুন 

gcloud storage rm --recursive gs://$GCS_BUCKET

স্প্যানার উদাহরণ মুছুন

পরিষ্কার করতে, শুধু ক্লাউড কনসোলের ক্লাউড স্প্যানার বিভাগে যান এবং কোডল্যাবে আমরা তৈরি ' codelab-demo ' উদাহরণটি মুছুন।

ab7c83ebdab74c04.png

9. অভিনন্দন

কোডল্যাব সম্পূর্ণ করার জন্য অভিনন্দন।

আমরা কভার করেছি কি

  • কিভাবে একটি স্প্যানার উদাহরণ স্থাপন করতে হয়
  • ডেটাফ্লো ব্যবহার করে কীভাবে স্প্যানারে ডেটা লোড করবেন
  • BigQuery থেকে স্প্যানার ডেটা কীভাবে অ্যাক্সেস করবেন
  • BigQuery থেকে বিশ্লেষণাত্মক প্রশ্নের জন্য আপনার স্প্যানার উদাহরণের উপর প্রভাব এড়াতে কীভাবে স্প্যানার ডেটা বুস্ট ব্যবহার করবেন

10. সমীক্ষা

আউটপুট:

আপনি কিভাবে এই টিউটোরিয়াল ব্যবহার করবেন?

শুধুমাত্র এটি মাধ্যমে পড়ুন এটি পড়ুন এবং ব্যায়াম সম্পূর্ণ করুন