ক্লাউড ডেটা ফিউশন ব্যবহার করে BigQuery-এ CSV (কমা-বিভক্ত মান) ডেটা ইনজেস্ট করুন - রিয়েল টাইম ইনজেশন

1. ভূমিকা

শেষ আপডেট: ২০২০-০২-২৮

এই কোডল্যাবটি রিয়েল টাইমে BigQuery-তে CSV ফর্ম্যাট করা স্বাস্থ্যসেবা ডেটা প্রবেশের জন্য একটি ডেটা ইনজেশন প্যাটার্ন প্রদর্শন করে। আমরা এই ল্যাবের জন্য ক্লাউড ডেটা ফিউশন রিয়েল টাইম ডেটা পাইপলাইন ব্যবহার করব। বাস্তবসম্মত স্বাস্থ্যসেবা পরীক্ষার ডেটা তৈরি করা হয়েছে এবং আপনার জন্য Google ক্লাউড স্টোরেজ বাকেটে (gs://hcls_testing_data_fhir_10_patients/csv/) উপলব্ধ করা হয়েছে।

এই কোড ল্যাবে আপনি শিখবেন:

• ক্লাউড ডেটা ফিউশন ব্যবহার করে পাব/সাব থেকে বিগকুয়েরিতে CSV ডেটা (রিয়েল টাইম লোডিং) কীভাবে গ্রহণ করবেন।
• ক্লাউড ডেটা ফিউশনে কীভাবে দৃশ্যত একটি ডেটা ইন্টিগ্রেশন পাইপলাইন তৈরি করবেন যাতে রিয়েল টাইমে স্বাস্থ্যসেবা ডেটা লোড, রূপান্তর এবং মাস্ক করা যায় ।

এই ডেমোটি চালানোর জন্য আপনার কী কী প্রয়োজন?

• আপনার একটি GCP প্রকল্পে অ্যাক্সেস প্রয়োজন।
• আপনাকে অবশ্যই GCP প্রকল্পের মালিকের ভূমিকায় নিযুক্ত করতে হবে।
• হেডার সহ CSV ফর্ম্যাটে স্বাস্থ্যসেবা ডেটা।

যদি আপনার কোন GCP প্রকল্প না থাকে, তাহলে একটি নতুন GCP প্রকল্প তৈরি করতে এই পদক্ষেপগুলি অনুসরণ করুন।

CSV ফর্ম্যাটে স্বাস্থ্যসেবা তথ্য gs://hcls_testing_data_fhir_10_patients/csv/ এ GCS বাকেটে আগে থেকে লোড করা হয়েছে। প্রতিটি CSV রিসোর্স ফাইলের একটি অনন্য স্কিমা কাঠামো রয়েছে। উদাহরণস্বরূপ, Patients.csv এর Providers.csv এর চেয়ে আলাদা স্কিমা রয়েছে। আগে থেকে লোড করা স্কিমা ফাইলগুলি gs://hcls_testing_data_fhir_10_patients/csv_schemas এ পাওয়া যাবে।

যদি আপনার একটি নতুন ডেটাসেটের প্রয়োজন হয়, তাহলে আপনি সর্বদা SyntheaTM ব্যবহার করে এটি তৈরি করতে পারেন। তারপর, কপি ইনপুট ডেটা ধাপে বাকেট থেকে কপি করার পরিবর্তে এটি GCS-এ আপলোড করুন।

তথ্যসূত্র:

গুগল ক্লাউড প্ল্যাটফর্ম কনসোল ব্যবহার করে ক্লাউড ডেটা ফিউশন (কুইকস্টার্ট ) এর মৌলিক ক্রিয়াকলাপ।

ক্লাউড পাব/সাব প্রকাশনা বার্তা https://cloud.google.com/pubsub/docs/publisher ।

2. GCP প্রকল্প সেটআপ

আপনার পরিবেশের জন্য শেল ভেরিয়েবলগুলি আরম্ভ করুন।

PROJECT_ID খুঁজে পেতে, Identifying projects দেখুন।

<!-- CODELAB: Initialize shell variables ->
<!-- Your current GCP Project ID ->
export PROJECT_ID=<PROJECT_ID>
<!-- A new GCS Bucket in your current Project  - INPUT ->
export BUCKET_NAME=<BUCKET_NAME>
<!-- A new BQ Dataset ID - OUTPUT ->
export DATASET_ID=<DATASET_ID>

gsutil টুল ব্যবহার করে ইনপুট ডেটা এবং ত্রুটি লগ সংরক্ষণ করার জন্য একটি GCS বাকেট তৈরি করুন ।

gsutil mb -l us gs://$BUCKET_NAME

সিন্থেটিক ডেটাসেটে অ্যাক্সেস পান।

1. ক্লাউড কনসোলে লগইন করার জন্য আপনি যে ইমেল ঠিকানাটি ব্যবহার করছেন, সেখান থেকে [e-mail] ঠিকানায় যোগদানের জন্য অনুরোধ জানিয়ে একটি ইমেল পাঠান।
2. আপনি কীভাবে পদক্ষেপটি নিশ্চিত করবেন তার নির্দেশাবলী সহ একটি ইমেল পাবেন।
3. গ্রুপে যোগদানের জন্য ইমেলের উত্তর দেওয়ার বিকল্পটি ব্যবহার করুন। বোতাম।
4. একবার আপনি নিশ্চিতকরণ ইমেলটি পেয়ে গেলে, আপনি কোডল্যাবের পরবর্তী ধাপে যেতে পারেন।

ইনপুট ডেটা কপি করুন।

gsutil -m cp -r gs://hcls_testing_data_fhir_10_patients/csv gs://$BUCKET_NAME

একটি BigQuery ডেটাসেট তৈরি করুন।

bq mk --location=us --dataset $PROJECT_ID:$DATASET_ID

মনে রাখবেন: আপনি এই ল্যাবের জন্য SyntheaTM ব্যবহার করে সর্বদা বাস্তবসম্মত পরীক্ষার ডেটার একটি নতুন সেট তৈরি করতে পারেন। আপনার সুবিধার জন্য, আমরা নিম্নলিখিত Google ক্লাউড স্টোরেজে একটি ডেটাসেট প্রদান করছি। gs://hcls_testing_data_fhir_10_patients/csv ।

গুগল ক্লাউড এসডিকে ইনস্টল এবং ইনিশিয়ালাইজ করুন এবং পাব বা সাব টপিক এবং সাবস্ক্রিপশন তৈরি করুন।

gcloud init
gcloud pubsub topics create your-topic
gcloud pubsub subscriptions create --topic your-topic your-sub

৩. ক্লাউড ডেটা ফিউশন এনভায়রনমেন্ট সেটআপ

ক্লাউড ডেটা ফিউশন API সক্ষম করতে এবং প্রয়োজনীয় অনুমতি প্রদান করতে এই পদক্ষেপগুলি অনুসরণ করুন:

API গুলি সক্ষম করুন ।

1. GCP কনসোল API লাইব্রেরিতে যান।
2. প্রকল্প তালিকা থেকে, আপনার প্রকল্পটি নির্বাচন করুন।
3. API লাইব্রেরিতে, আপনি যে API টি সক্ষম করতে চান তা নির্বাচন করুন ( Cloud Data Fusion API, Cloud Pub/Sub API)। যদি আপনার API খুঁজে পেতে সাহায্যের প্রয়োজন হয়, তাহলে অনুসন্ধান ক্ষেত্র এবং ফিল্টারগুলি ব্যবহার করুন।
4. API পৃষ্ঠায়, ENABLE এ ক্লিক করুন।

একটি ক্লাউড ডেটা ফিউশন ইনস্ট্যান্স তৈরি করুন ।

1. GCP কনসোলে, আপনার ProjectID নির্বাচন করুন।
2. বাম মেনু থেকে ডেটা ফিউশন নির্বাচন করুন, তারপর পৃষ্ঠার মাঝখানে (প্রথম সৃষ্টি) "একটি ইন্সট্যান্স তৈরি করুন" বোতামে ক্লিক করুন, অথবা উপরের মেনুতে (অতিরিক্ত সৃষ্টি) "একটি ইন্সট্যান্স তৈরি করুন" বোতামে ক্লিক করুন।

3. উদাহরণের নাম দিন। Enterprise নির্বাচন করুন।

4. তৈরি করুন বোতামে ক্লিক করুন।

দ্রষ্টব্য: ইনস্ট্যান্স তৈরির প্রক্রিয়াটি সম্পূর্ণ হতে 30 মিনিট পর্যন্ত সময় লাগতে পারে।

ইনস্ট্যান্স অনুমতি সেট আপ করুন।

একটি ইনস্ট্যান্স তৈরি করার পরে, আপনার প্রকল্পের ইনস্ট্যান্স অনুমতির সাথে সম্পর্কিত পরিষেবা অ্যাকাউন্টটি প্রদান করতে নিম্নলিখিত পদক্ষেপগুলি ব্যবহার করুন:

দ্রষ্টব্য: একটি প্রকল্পে শুধুমাত্র একবারই অনুমতি প্রদান করতে হবে।

1. ইনস্ট্যান্সের নামে ক্লিক করে ইনস্ট্যান্সের বিস্তারিত পৃষ্ঠায় যান।

2. পরিষেবা অ্যাকাউন্টটি কপি করুন।

3. আপনার প্রকল্পের IAM পৃষ্ঠায় যান।
4. IAM অনুমতি পৃষ্ঠায়, Add বোতামে ক্লিক করে পরিষেবা অ্যাকাউন্টটিকে Cloud Data Fusion API Service Agent ভূমিকা প্রদান করুন। New members ক্ষেত্রে "service account" পেস্ট করুন এবং Service Management -> Cloud Data Fusion API Server Agent role নির্বাচন করুন।

5. একটি পাব/সাব সাবস্ক্রাইবার ভূমিকা যোগ করতে + অন্য ভূমিকা যোগ করুন (অথবা ক্লাউড ডেটা ফিউশন API পরিষেবা এজেন্ট সম্পাদনা করুন) ক্লিক করুন।

6. সংরক্ষণ করুন ক্লিক করুন।

এই ধাপগুলি সম্পন্ন হয়ে গেলে, আপনি ক্লাউড ডেটা ফিউশন ইনস্ট্যান্স পৃষ্ঠায় ভিউ ইনস্ট্যান্স লিঙ্কে ক্লিক করে অথবা একটি ইনস্ট্যান্সের বিশদ পৃষ্ঠায় ক্লিক করে ক্লাউড ডেটা ফিউশন ব্যবহার শুরু করতে পারেন।

ফায়ারওয়াল নিয়ম সেট আপ করুন।

1. ডিফল্ট-allow-ssh নিয়মটি বিদ্যমান কিনা তা পরীক্ষা করতে GCP কনসোল -> VPC নেটওয়ার্ক -> ফায়ারওয়াল নিয়মগুলিতে নেভিগেট করুন।

2. যদি না হয়, তাহলে একটি ফায়ারওয়াল নিয়ম যোগ করুন যা সমস্ত SSH ট্র্যাফিককে ডিফল্ট নেটওয়ার্কে প্রবেশের অনুমতি দেয়।

কমান্ড লাইন ব্যবহার করে:

gcloud beta compute --project={PROJECT_ID} firewall-rules create default-allow-ssh --direction=INGRESS --priority=1000 --network=default --action=ALLOW --rules=tcp:22 --source-ranges=0.0.0.0/0 --enable-logging

UI ব্যবহার করে: Create Firewall Rule এ ক্লিক করুন এবং তথ্য পূরণ করুন:

৪. পাইপলাইনের জন্য নোড তৈরি করুন

এখন যেহেতু আমাদের GCP-তে ক্লাউড ডেটা ফিউশন পরিবেশ আছে, আসুন নিম্নলিখিত পদক্ষেপগুলি ব্যবহার করে ক্লাউড ডেটা ফিউশনে ডেটা পাইপলাইন তৈরি করা শুরু করি:

1. ক্লাউড ডেটা ফিউশন উইন্ডোতে, অ্যাকশন কলামে ভিউ ইনস্ট্যান্স লিঙ্কে ক্লিক করুন। আপনাকে অন্য একটি পৃষ্ঠায় পুনঃনির্দেশিত করা হবে। ক্লাউড ডেটা ফিউশন ইনস্ট্যান্স খুলতে প্রদত্ত URL এ ক্লিক করুন। আপনার পছন্দ "Start Tour" অথবা Welcome পপআপে "No, Thanks" বোতামে ক্লিক করা।
2. "হ্যামবার্গার" মেনুটি প্রসারিত করুন, পাইপলাইন -> তালিকা নির্বাচন করুন

3. উপরের ডান কোণে সবুজ + বোতামে ক্লিক করুন, তারপর Create Pipeline নির্বাচন করুন। অথবা "Create" a pipeline লিঙ্কে ক্লিক করুন।

4. পাইপলাইন স্টুডিওটি প্রদর্শিত হলে, উপরের বাম দিকে, ড্রপডাউন থেকে ডেটা পাইপলাইন - রিয়েলটাইম নির্বাচন করুন।

5. ডেটা পাইপলাইন UI-তে, আপনি বাম প্যানেলে ফিল্টার, সোর্স, ট্রান্সফর্ম, অ্যানালিটিক্স, সিঙ্ক, এরর হ্যান্ডলার এবং অ্যালার্ট হিসাবে বিভিন্ন বিভাগ দেখতে পাবেন যেখানে আপনি পাইপলাইনের জন্য একটি নোড বা নোড নির্বাচন করতে পারবেন।

একটি সোর্স নোড নির্বাচন করুন।

1. বাম দিকের প্লাগইন প্যালেটের সোর্স বিভাগের অধীনে, ডেটা পাইপলাইনস UI-তে প্রদর্শিত Google Cloud PubSub নোডে ডাবল-ক্লিক করুন।
2. PubSub সোর্স নোডের দিকে নির্দেশ করুন এবং Properties এ ক্লিক করুন।

3. প্রয়োজনীয় ক্ষেত্রগুলি পূরণ করুন। নিম্নলিখিত ক্ষেত্রগুলি সেট করুন:

• লেবেল = {যেকোনো লেখা}
• রেফারেন্স নাম = {যেকোনো লেখা}
• প্রকল্প আইডি = স্বয়ংক্রিয় সনাক্তকরণ
• সাবস্ক্রিপশন = পাব/সাব টপিক তৈরি বিভাগে তৈরি সাবস্ক্রিপশন (উদাহরণস্বরূপ, your-sub )
• টপিক = পাব/সাব টপিক তৈরি বিভাগে তৈরি করা টপিক (উদাহরণস্বরূপ, your-topic )

4. বিস্তারিত ব্যাখ্যার জন্য ডকুমেন্টেশনে ক্লিক করুন। সমস্ত ইনপুট তথ্য যাচাই করতে ভ্যালিডেট বোতামে ক্লিক করুন। সবুজ "কোনও ত্রুটি পাওয়া যায়নি" সাফল্য নির্দেশ করে।

5. পাব/সাব প্রোপার্টি বন্ধ করতে, X বোতামে ক্লিক করুন।

ট্রান্সফর্ম নোড নির্বাচন করুন।

1. বাম দিকের প্লাগইন প্যালেটের ট্রান্সফর্ম বিভাগের অধীনে, ডেটা পাইপলাইনস UI-তে প্রদর্শিত প্রোজেকশন নোডটিতে ডাবল-ক্লিক করুন। Pub/Sub সোর্স নোডকে প্রোজেকশন ট্রান্সফর্ম নোডের সাথে সংযুক্ত করুন।
2. প্রজেকশন নোডের দিকে নির্দেশ করুন এবং Properties এ ক্লিক করুন।

3. প্রয়োজনীয় ক্ষেত্রগুলি পূরণ করুন। নিম্নলিখিত ক্ষেত্রগুলি সেট করুন:

• রূপান্তর = বার্তাকে বাইট টাইপ থেকে স্ট্রিং টাইপে রূপান্তর করা।
• বাদ দেওয়ার জন্য ক্ষেত্র = {যেকোনো ক্ষেত্র}
• রাখার জন্য ক্ষেত্র = { message , timestamp , and attributes } ( উদাহরণস্বরূপ, attributes: key='filename':value='patients' Pub/Sub থেকে পাঠানো হয়েছে)
• পুনঃনামকরণের জন্য ক্ষেত্রগুলি = { বার্তা , টাইমস্ট্যাম্প }

4. বিস্তারিত ব্যাখ্যার জন্য ডকুমেন্টেশনে ক্লিক করুন। সমস্ত ইনপুট তথ্য যাচাই করতে ভ্যালিডেট বোতামে ক্লিক করুন। সবুজ "কোনও ত্রুটি পাওয়া যায়নি" সাফল্য নির্দেশ করে।

5. বাম দিকের প্লাগইন প্যালেটের ট্রান্সফর্ম বিভাগের অধীনে, ডাটা পাইপলাইনস UI-তে প্রদর্শিত Wrangler node-এ ডাবল ক্লিক করুন। Projection transform node-কে Wrangler transform node-এর সাথে সংযুক্ত করুন। Wrangler node-এর দিকে নির্দেশ করুন এবং Properties-এ ক্লিক করুন।

6. একটি সংরক্ষিত স্কিমা আমদানি করতে অ্যাকশনস ড্রপ ডাউনে ক্লিক করুন এবং আমদানি নির্বাচন করুন (উদাহরণস্বরূপ: gs://hcls_testing_data_fhir_10_patients/csv_schemas/ schema (Patients).json )।
7. আউটপুট স্কিমায় (যদি এটি বিদ্যমান না থাকে) TIMESTAMP ফিল্ডটি যোগ করুন, শেষ ফিল্ডের পাশে + বোতামে ক্লিক করুন এবং 'Null' বক্সটি চেক করুন।
8. প্রয়োজনীয় ক্ষেত্রগুলি পূরণ করুন। নিম্নলিখিত ক্ষেত্রগুলি সেট করুন:

• লেবেল = {যেকোনো লেখা}
• ইনপুট ক্ষেত্রের নাম = {*}
• PubSub সোর্স নোড থেকে প্রেরিত প্রতিটি ধরণের রেকর্ড বা বার্তা ( যেমন, রোগী, প্রদানকারী, অ্যালার্জি ইত্যাদি ) আলাদা করার জন্য Precondition = { attributes.get("filename") != "patients" }।

9. বিস্তারিত ব্যাখ্যার জন্য ডকুমেন্টেশনে ক্লিক করুন। সমস্ত ইনপুট তথ্য যাচাই করতে ভ্যালিডেট বোতামে ক্লিক করুন। সবুজ "কোনও ত্রুটি পাওয়া যায়নি" সাফল্য নির্দেশ করে।

10. কলামের নামগুলি পছন্দের ক্রমে সেট করুন এবং আপনার প্রয়োজন নেই এমন ক্ষেত্রগুলি বাদ দিন। নিম্নলিখিত কোড স্নিপেটটি কপি করুন এবং রেসিপি বাক্সে পেস্ট করুন।

drop attributes
parse-as-csv :body ',' false
drop body
set columns TIMESTAMP,Id,BIRTHDATE,DEATHDATE,SSN,DRIVERS,PASSPORT,PREFIX,FIRST,LAST,SUFFIX,MAIDEN,MARITAL,RACE,ETHNICITY,GENDER,BIRTHPLACE,ADDRESS,CITY,STATE,ZIP
mask-number SSN xxxxxxx####

দ্রষ্টব্য: মিথ্যা মানে হল "প্রথম সারিটিকে হেডার হিসেবে সেট করুন" বিকল্পটি চেক না করে বডি কলাম পার্স করা।

11. ডেটা মাস্কিং এবং ডি-আইডেন্টিফিকেশনের জন্য Batch-Codelab - CSV থেকে BigQuery via CDF দেখুন। অথবা রেসিপি বাক্সে এই কোড স্নিপেট মাস্ক-নম্বর SSN xxxxxxx#### যোগ করুন।
12. ট্রান্সফর্ম প্রোপার্টিজ উইন্ডোটি বন্ধ করতে, X বোতামটি ক্লিক করুন।

সিঙ্ক নোড নির্বাচন করুন।

1. বাম দিকের প্লাগইন প্যালেটের সিঙ্ক বিভাগের অধীনে, ডেটা পাইপলাইন UI-তে প্রদর্শিত BigQuery নোডটিতে ডাবল ক্লিক করুন। র‍্যাংলার ট্রান্সফর্ম নোডকে BigQuery সিঙ্ক নোডের সাথে সংযুক্ত করুন।
2. BigQuery সিঙ্ক নোডের দিকে নির্দেশ করুন এবং Properties-এ ক্লিক করুন।

3. প্রয়োজনীয় ক্ষেত্রগুলি পূরণ করুন:

• লেবেল = {যেকোনো লেখা}
• রেফারেন্স নাম = {যেকোনো লেখা}
• প্রকল্প আইডি = স্বয়ংক্রিয় সনাক্তকরণ
• ডেটাসেট = বর্তমান প্রকল্পে ব্যবহৃত BigQuery ডেটাসেট (উদাহরণস্বরূপ, DATASET_ID)
• টেবিল = {টেবিলের নাম}

4. বিস্তারিত ব্যাখ্যার জন্য ডকুমেন্টেশনে ক্লিক করুন। সমস্ত ইনপুট তথ্য যাচাই করতে ভ্যালিডেট বোতামে ক্লিক করুন। সবুজ "কোনও ত্রুটি পাওয়া যায়নি" সাফল্য নির্দেশ করে।

5. BigQuery প্রোপার্টি বন্ধ করতে, X বোতামে ক্লিক করুন।

৫. রিয়েল টাইম ডেটা পাইপলাইন তৈরি করুন

পূর্ববর্তী বিভাগে আমরা ক্লাউড ডেটা ফিউশনে ডেটা পাইপলাইন তৈরির জন্য প্রয়োজনীয় নোড তৈরি করেছি। এই বিভাগে আমরা প্রকৃত পাইপলাইন তৈরির জন্য নোডগুলিকে সংযুক্ত করব।

একটি পাইপলাইনে সমস্ত নোড সংযুক্ত করা

1. সোর্স নোডের ডান প্রান্তে একটি সংযোগ তীর > টেনে আনুন এবং গন্তব্য নোডের বাম প্রান্তে ফেলে দিন।
2. একটি পাইপলাইনে একাধিক শাখা থাকতে পারে যা একই PubSub সোর্স নোড থেকে প্রকাশিত বার্তা পায়।

দ্রষ্টব্য: প্রতিটি PubSub বার্তার জন্য পাইপলাইনে থাকা প্রজেকশন নোড থেকে একটি শাখা তৈরি করুন।

3. পাইপলাইনটির নাম বল।

দ্রষ্টব্য: এই প্রক্রিয়া জুড়ে, পাইপলাইন তৈরির সাথে সাথে স্কিমা স্বয়ংক্রিয়ভাবে প্রচারিত হয়। আপনি একটি পছন্দসই স্কিমাও আমদানি করতে পারেন।

এই তো। তুমি তোমার প্রথম রিয়েল টাইম ডেটা পাইপলাইন তৈরি করেছো যা স্থাপন এবং চালানো হবে।

ক্লাউড পাব/সাবের মাধ্যমে বার্তা পাঠান

পাব/সাব UI ব্যবহার করে:

1. GCP কনসোল -> Pub/Sub -> Topics-এ নেভিগেট করুন, your-topic নির্বাচন করুন, তারপর উপরের মেনুতে PUBLISH MESSAGE-এ ক্লিক করুন।

2. বার্তা ক্ষেত্রে একবারে শুধুমাত্র একটি রেকর্ড সারি রাখুন। +ADD AN ATTRIBUTE বোতামে ক্লিক করুন। Provide Key = filename , Value = < type of record > ( যেমন, রোগী, প্রদানকারী, অ্যালার্জি ইত্যাদি )।
3. বার্তাটি পাঠাতে প্রকাশ করুন বোতামে ক্লিক করুন।

gcloud কমান্ড ব্যবহার করে:

1. ম্যানুয়ালি বার্তাটি প্রদান করুন।

gcloud pubsub topics publish <your-topic> --attribute <key>=<value> --message \
"paste one record row here"

2. cat এবং sed unix কমান্ড ব্যবহার করে আধা-স্বয়ংক্রিয়ভাবে বার্তা প্রদান করুন। এই কমান্ডটি বিভিন্ন পরামিতি সহ বারবার চালানো যেতে পারে।

gcloud pubsub topics publish <your-topic> --attribute <key>=<value> --message \
"$(gsutil cat gs://$BUCKET_NAME/csv/<value>.csv | sed -n '#p')"

দ্রষ্টব্য: <your-topic> - Pub/Sub সোর্স নোড প্রোপার্টিতে প্রদত্ত বিষয়ের মতোই

<key> - ফাইলের নাম

বিড়াল - ফাইলের বিষয়বস্তু পড়ুন

sed - আউটপুট ( -n ) দমন করুন এবং স্পষ্টভাবে ( p ) নির্দিষ্ট লাইন #(1-?) প্রিন্ট করুন। যদি হেডার সারি বিদ্যমান থাকে, তাহলে '2p' ইত্যাদি ব্যবহার করুন।

৬. পাইপলাইন কনফিগার, স্থাপন এবং চালান

এখন যেহেতু আমরা ডেটা পাইপলাইন তৈরি করেছি, আমরা এটি ক্লাউড ডেটা ফিউশনে স্থাপন এবং চালাতে পারি।

1. কনফিগার ডিফল্ট রাখুন।
2. ডেটা** প্রিভিউ করতে Preview-এ ক্লিক করুন।** পূর্ববর্তী উইন্ডোতে ফিরে যেতে আবার **Preview** এ ক্লিক করুন। আপনি **RUN** ক্লিক করে Preview মোডে পাইপলাইনটি চালাতে পারেন।

3. লগ দেখতে লগ-এ ক্লিক করুন।
4. সকল পরিবর্তন সংরক্ষণ করতে সংরক্ষণ করুন- এ ক্লিক করুন।
5. নতুন পাইপলাইন তৈরি করার সময় সংরক্ষিত পাইপলাইন কনফিগারেশন আমদানি করতে আমদানিতে ক্লিক করুন।
6. পাইপলাইন কনফিগারেশন এক্সপোর্ট করতে এক্সপোর্ট ক্লিক করুন।
7. পাইপলাইন স্থাপন করতে Deploy এ ক্লিক করুন।
8. একবার স্থাপন করা হলে, Run এ ক্লিক করুন এবং পাইপলাইনটি সম্পূর্ণ হওয়ার জন্য অপেক্ষা করুন।

দ্রষ্টব্য: যখন আপনি একটি পাইপলাইন চালান, তখন ক্লাউড ডেটা ফিউশন একটি ক্ষণস্থায়ী ক্লাউড ডেটাপ্রোক ক্লাস্টার সরবরাহ করে, পাইপলাইনটি চালায় এবং তারপর ক্লাস্টারটি ভেঙে দেয়। এতে কয়েক মিনিট সময় লাগতে পারে। এই সময়ের মধ্যে আপনি প্রোভিশনিং থেকে শুরু করে রানিং থেকে ডিপ্রোভিশনিং থেকে সফল পর্যন্ত পাইপলাইনের রূপান্তরের অবস্থা পর্যবেক্ষণ করতে পারেন।

9. যেকোনো সময় পাইপলাইন চালানো বন্ধ করতে Stop এ ক্লিক করুন।
10. আপনি Actions বোতামের নিচে "Duplicate" নির্বাচন করে পাইপলাইনটি ডুপ্লিকেট করতে পারেন।
11. আপনি অ্যাকশন বোতামের অধীনে এক্সপোর্ট নির্বাচন করে পাইপলাইন কনফিগারেশন এক্সপোর্ট করতে পারেন।

12. রান ইতিহাস, রেকর্ড, ত্রুটি লগ এবং সতর্কতার চার্ট দেখাতে সারাংশে ক্লিক করুন।

৭. বৈধতা

এই বিভাগে আমরা ডেটা পাইপলাইনের সম্পাদন যাচাই করব।

1. পাইপলাইনটি সফলভাবে সম্পাদিত হয়েছে এবং ধারাবাহিকভাবে চলছে কিনা তা যাচাই করুন।

2. TIMESTAMP-এর উপর ভিত্তি করে BigQuery টেবিলগুলিতে আপডেট করা রেকর্ড রয়েছে কিনা তা যাচাই করুন। এই উদাহরণে, 2019-06-25 তারিখে Pub/Sub বিষয়ে দুটি রোগীর রেকর্ড বা বার্তা এবং একটি অ্যালার্জি রেকর্ড বা বার্তা প্রকাশিত হয়েছিল।

bq query --nouse_legacy_sql 'select (select count(*) from \
'$PROJECT_ID.$DATASET_ID.Patients'  where TIMESTAMP > "2019-06-25 \
01:29:00.0000 UTC" ) as Patients, (select count(*) from \
'$PROJECT_ID.$DATASET_ID.Allergies' where TIMESTAMP > "2019-06-25 \
01:29:00.0000 UTC") as Allergies;'

Waiting on bqjob_r14c8b94c1c0fe06a_0000016b960df4e1_1 ... (0s) Current status: DONE  
+----------+-----------+
| Patients | Allergies |
+----------+-----------+
|        2 |         1 |
+----------+-----------+

3. <your-topic> এ প্রকাশিত বার্তাগুলি <your-sub> গ্রাহক দ্বারা গৃহীত হয়েছে কিনা তা যাচাই করুন।

gcloud pubsub subscriptions pull --auto-ack <your-sub>

ফলাফল দেখা

রিয়েলটাইম পাইপলাইন চলাকালীন পাব/সাব টপিকে বার্তা প্রকাশিত হওয়ার পরে ফলাফল দেখতে:

1. BigQuery UI-তে টেবিলটি কোয়েরি করুন। BIGQUERY UI-তে যান।
2. নিচের কোয়েরিটি আপনার নিজস্ব প্রকল্পের নাম, ডেটাসেট এবং টেবিলে আপডেট করুন।

৮. পরিষ্কার করা

এই টিউটোরিয়ালে ব্যবহৃত রিসোর্সের জন্য আপনার Google ক্লাউড প্ল্যাটফর্ম অ্যাকাউন্টে চার্জ এড়াতে:

টিউটোরিয়ালটি শেষ করার পর, আপনি GCP-তে তৈরি করা রিসোর্সগুলি পরিষ্কার করতে পারেন যাতে সেগুলি কোটা দখল না করে এবং ভবিষ্যতে আপনাকে এর জন্য বিল করা না হয়। নিম্নলিখিত বিভাগগুলিতে এই রিসোর্সগুলি কীভাবে মুছবেন বা বন্ধ করবেন তা বর্ণনা করা হয়েছে।

BigQuery ডেটাসেট মুছে ফেলা হচ্ছে

এই টিউটোরিয়ালের অংশ হিসেবে আপনার তৈরি করা BigQuery ডেটাসেটটি মুছে ফেলার জন্য এই নির্দেশাবলী অনুসরণ করুন।

GCS বাকেট মুছে ফেলা হচ্ছে

এই টিউটোরিয়ালের অংশ হিসেবে আপনার তৈরি করা GCS বাকেটটি মুছে ফেলার জন্য এই নির্দেশাবলী অনুসরণ করুন।

ক্লাউড ডেটা ফিউশন ইনস্ট্যান্স মুছে ফেলা হচ্ছে

আপনার ক্লাউড ডেটা ফিউশন ইনস্ট্যান্স মুছে ফেলার জন্য এই নির্দেশাবলী অনুসরণ করুন।

প্রকল্পটি মুছে ফেলা হচ্ছে

বিলিং দূর করার সবচেয়ে সহজ উপায় হল টিউটোরিয়ালের জন্য তৈরি করা প্রকল্পটি মুছে ফেলা।

প্রকল্পটি মুছে ফেলার জন্য:

সতর্কতা : একটি প্রকল্প মুছে ফেলার ফলে নিম্নলিখিত প্রভাবগুলি দেখা দেয়:

• প্রকল্পের সবকিছু মুছে ফেলা হয়েছে। আপনি যদি এই টিউটোরিয়ালের জন্য একটি বিদ্যমান প্রকল্প ব্যবহার করে থাকেন, তাহলে এটি মুছে ফেলার সময়, আপনি প্রকল্পে আপনার করা অন্য কোনও কাজও মুছে ফেলবেন।
• কাস্টম প্রজেক্ট আইডি হারিয়ে গেছে। এই প্রজেক্টটি তৈরি করার সময়, আপনি হয়তো একটি কাস্টম প্রজেক্ট আইডি তৈরি করেছেন যা আপনি ভবিষ্যতে ব্যবহার করতে চান। প্রজেক্ট আইডি ব্যবহার করে এমন URL গুলি সংরক্ষণ করতে, যেমন appspot.com URL, পুরো প্রজেক্টটি মুছে ফেলার পরিবর্তে প্রোজেক্টের ভিতরে নির্বাচিত রিসোর্সগুলি মুছে ফেলুন।

যদি আপনি একাধিক টিউটোরিয়াল এবং কুইকস্টার্ট অন্বেষণ করার পরিকল্পনা করেন, তাহলে প্রকল্পের পুনঃব্যবহার আপনাকে প্রকল্পের কোটার সীমা অতিক্রম করা এড়াতে সাহায্য করতে পারে।

1. GCP কনসোলে, প্রজেক্ট পৃষ্ঠায় যান। প্রজেক্ট পৃষ্ঠায় যান ।
2. প্রকল্পের তালিকায়, আপনি যে প্রকল্পটি মুছতে চান তা নির্বাচন করুন এবং মুছুন ক্লিক করুন।
3. ডায়ালগে, প্রজেক্ট আইডি টাইপ করুন, এবং তারপর প্রজেক্টটি মুছে ফেলতে Shut down এ ক্লিক করুন।

৯. অভিনন্দন

অভিনন্দন, আপনি ক্লাউড ডেটা ফিউশন ব্যবহার করে BigQuery-তে স্বাস্থ্যসেবা ডেটা প্রবেশের কোড ল্যাব সফলভাবে সম্পন্ন করেছেন।

আপনি Pub/Sub টপিকে CSV ডেটা প্রকাশ করেছেন এবং তারপর BigQuery-তে লোড করেছেন।

আপনি বাস্তব সময়ে স্বাস্থ্যসেবা তথ্য লোড, রূপান্তর এবং মাস্ক করার জন্য দৃশ্যত একটি ডেটা-ইন্টিগ্রেশন পাইপলাইন তৈরি করেছেন।

গুগল ক্লাউড প্ল্যাটফর্মে BigQuery দিয়ে আপনার স্বাস্থ্যসেবা ডেটা অ্যানালিটিক্স যাত্রা শুরু করার জন্য প্রয়োজনীয় মূল পদক্ষেপগুলি এখন আপনি জানেন।