ক্লাউড ডেটা ফিউশন ব্যবহার করে BigQuery-এ CSV (কমা-বিভক্ত মান) ডেটা ইনজেস্ট করুন - রিয়েল টাইম ইনজেশন

1. ভূমিকা

শেষ আপডেট: 2020-02-28

এই কোডল্যাব রিয়েল টাইমে BigQuery-এ CSV ফর্ম্যাট করা স্বাস্থ্যসেবা ডেটা ইনজেস্ট করার জন্য ডেটা ইনজেশন প্যাটার্ন দেখায়। আমরা এই ল্যাবের জন্য ক্লাউড ডেটা ফিউশন রিয়েল টাইম ডেটা পাইপলাইন ব্যবহার করব। বাস্তবসম্মত স্বাস্থ্যসেবা পরীক্ষার ডেটা তৈরি করা হয়েছে এবং আপনার জন্য Google ক্লাউড স্টোরেজ বাকেট (gs://hcls_testing_data_fhir_10_patients/csv/) এ উপলব্ধ করা হয়েছে।

এই কোড ল্যাবে আপনি শিখবেন:

• ক্লাউড ডেটা ফিউশন ব্যবহার করে কিভাবে Pub/Sub থেকে BigQuery-এ CSV ডেটা (রিয়েল টাইম লোডিং) ইনজেস্ট করবেন।
• রিয়েল টাইমে স্বাস্থ্যসেবা ডেটা লোড, রূপান্তর এবং মাস্ক করার জন্য ক্লাউড ডেটা ফিউশনে কীভাবে দৃশ্যত একটি ডেটা ইন্টিগ্রেশন পাইপলাইন তৈরি করবেন।

এই ডেমো চালানোর জন্য আপনার কি দরকার?

• আপনার একটি GCP প্রকল্পে অ্যাক্সেস প্রয়োজন।
• আপনাকে অবশ্যই GCP প্রকল্পে মালিকের ভূমিকা অর্পণ করতে হবে।
• হেডার সহ CSV ফর্ম্যাটে স্বাস্থ্যসেবা ডেটা।

আপনার যদি একটি GCP প্রকল্প না থাকে, তাহলে একটি নতুন GCP প্রকল্প তৈরি করতে এই পদক্ষেপগুলি অনুসরণ করুন৷

CSV ফরম্যাটে স্বাস্থ্যসেবা ডেটা gs://hcls_testing_data_fhir_10_patients/csv/ -এ GCS বাকেটের মধ্যে আগে থেকে লোড করা হয়েছে। প্রতিটি CSV রিসোর্স ফাইলের একটি অনন্য স্কিমা কাঠামো রয়েছে। উদাহরণস্বরূপ, Patients.csv-এর Providers.csv-এর থেকে আলাদা স্কিমা রয়েছে। প্রি-লোড করা স্কিমা ফাইলগুলি gs://hcls_testing_data_fhir_10_patients/csv_schemas- এ পাওয়া যাবে।

আপনার যদি একটি নতুন ডেটাসেটের প্রয়োজন হয়, আপনি সবসময় SyntheaTM ব্যবহার করে এটি তৈরি করতে পারেন। তারপর, কপি ইনপুট ডেটা ধাপে বালতি থেকে অনুলিপি করার পরিবর্তে এটিকে GCS-এ আপলোড করুন।

তথ্যসূত্র:

Google ক্লাউড প্ল্যাটফর্ম কনসোল ব্যবহার করে ক্লাউড ডেটা ফিউশনে (কুইকস্টার্ট ) বেসিক অপারেশন।

ক্লাউড পাব/সাব পাবলিশিং মেসেজ https://cloud.google.com/pubsub/docs/publisher ।

2. GCP প্রকল্প সেটআপ

আপনার পরিবেশের জন্য শেল ভেরিয়েবল শুরু করুন।

PROJECT_ID খুঁজে পেতে, প্রকল্প সনাক্তকরণ পড়ুন।

<!-- CODELAB: Initialize shell variables ->
<!-- Your current GCP Project ID ->
export PROJECT_ID=<PROJECT_ID>
<!-- A new GCS Bucket in your current Project  - INPUT ->
export BUCKET_NAME=<BUCKET_NAME>
<!-- A new BQ Dataset ID - OUTPUT ->
export DATASET_ID=<DATASET_ID>

gsutil টুল ব্যবহার করে ইনপুট ডেটা এবং ত্রুটি লগ সংরক্ষণ করতে একটি GCS বালতি তৈরি করুন ।

gsutil mb -l us gs://$BUCKET_NAME

সিন্থেটিক ডেটাসেটে অ্যাক্সেস পান।

1. আপনি ক্লাউড কনসোলে লগইন করার জন্য যে ইমেল ঠিকানাটি ব্যবহার করছেন, সেখান থেকে [e-mail]- এ যোগদানের অনুরোধ জানিয়ে একটি ইমেল পাঠান।
2. আপনি কিভাবে কর্ম নিশ্চিত করতে নির্দেশাবলী সহ একটি ইমেল পাবেন.
3. গ্রুপে যোগ দিতে ইমেলের উত্তর দেওয়ার বিকল্পটি ব্যবহার করুন। ক্লিক করবেন না বোতাম
4. একবার আপনি নিশ্চিতকরণ ইমেল পেয়ে গেলে, আপনি কোডল্যাবের পরবর্তী ধাপে যেতে পারেন।

ইনপুট ডেটা কপি করুন।

gsutil -m cp -r gs://hcls_testing_data_fhir_10_patients/csv gs://$BUCKET_NAME

একটি BigQuery ডেটাসেট তৈরি করুন।

bq mk --location=us --dataset $PROJECT_ID:$DATASET_ID

মনে রাখবেন: আপনি সবসময় এই ল্যাবের জন্য SyntheaTM ব্যবহার করে বাস্তবসম্মত পরীক্ষার ডেটার একটি নতুন সেট তৈরি করতে পারেন। আপনার সুবিধার জন্য, আমরা নিম্নলিখিত Google ক্লাউড স্টোরেজে একটি ডেটাসেট প্রদান করছি। gs://hcls_testing_data_fhir_10_patients/csv ।

Google ক্লাউড SDK ইনস্টল এবং শুরু করুন এবং পাব বা সাব টপিক এবং সদস্যতা তৈরি করুন।

gcloud init
gcloud pubsub topics create your-topic
gcloud pubsub subscriptions create --topic your-topic your-sub

3. ক্লাউড ডেটা ফিউশন এনভায়রনমেন্ট সেটআপ

ক্লাউড ডেটা ফিউশন API সক্ষম করতে এবং প্রয়োজনীয় অনুমতি প্রদান করতে এই পদক্ষেপগুলি অনুসরণ করুন:

এপিআই সক্ষম করুন ।

1. GCP কনসোল API লাইব্রেরিতে যান।
2. প্রকল্প তালিকা থেকে, আপনার প্রকল্প নির্বাচন করুন.
3. API লাইব্রেরিতে, আপনি যে APIটি সক্ষম করতে চান সেটি নির্বাচন করুন ( ক্লাউড ডেটা ফিউশন API, ক্লাউড পাব/সাব API)। আপনার যদি API খুঁজে পেতে সাহায্যের প্রয়োজন হয়, অনুসন্ধান ক্ষেত্র এবং ফিল্টার ব্যবহার করুন।
4. API পৃষ্ঠায়, ENABLE এ ক্লিক করুন।

একটি ক্লাউড ডেটা ফিউশন উদাহরণ তৈরি করুন ।

1. GCP কনসোলে, আপনার ProjectID নির্বাচন করুন।
2. বাম মেনু থেকে ডেটা ফিউশন নির্বাচন করুন, তারপর পৃষ্ঠার মাঝখানে একটি দৃষ্টান্ত তৈরি করুন বোতামে ক্লিক করুন (1ম সৃষ্টি), অথবা শীর্ষ মেনুতে (অতিরিক্ত সৃষ্টি) INSTANCE তৈরি করুন বোতামে ক্লিক করুন।

3. উদাহরণের নাম দিন। এন্টারপ্রাইজ নির্বাচন করুন।

4. CREATE বাটনে ক্লিক করুন।

দ্রষ্টব্য: উদাহরণ তৈরির প্রক্রিয়াটি সম্পূর্ণ করতে 30 মিনিট পর্যন্ত সময় লাগতে পারে।

দৃষ্টান্ত অনুমতি সেট আপ করুন.

একটি দৃষ্টান্ত তৈরি করার পরে, আপনার প্রকল্পের উদাহরণের অনুমতিগুলির সাথে সম্পর্কিত পরিষেবা অ্যাকাউন্টটি প্রদান করতে নিম্নলিখিত পদক্ষেপগুলি ব্যবহার করুন:

দ্রষ্টব্য: একটি প্রকল্পে শুধুমাত্র একবার অনুমতি প্রদান করতে হবে।

1. দৃষ্টান্তের নামের উপর ক্লিক করে দৃষ্টান্তের বিস্তারিত পৃষ্ঠায় নেভিগেট করুন।

2. পরিষেবা অ্যাকাউন্টটি অনুলিপি করুন।

3. আপনার প্রকল্পের IAM পৃষ্ঠায় নেভিগেট করুন।
4. IAM অনুমতি পৃষ্ঠায়, অ্যাড বোতামে ক্লিক করে পরিষেবা অ্যাকাউন্টটিকে ক্লাউড ডেটা ফিউশন API পরিষেবা এজেন্ট ভূমিকা মঞ্জুর করুন৷ নতুন সদস্যদের ক্ষেত্রে "পরিষেবা অ্যাকাউন্ট" আটকান এবং পরিষেবা ব্যবস্থাপনা -> ক্লাউড ডেটা ফিউশন API সার্ভার এজেন্ট ভূমিকা নির্বাচন করুন।

5. একটি পাব/সাবস্ক্রাইবার ভূমিকা যোগ করতে + অন্য ভূমিকা যুক্ত করুন (বা ক্লাউড ডেটা ফিউশন API পরিষেবা এজেন্ট সম্পাদনা করুন) ক্লিক করুন৷

6. Save এ ক্লিক করুন।

এই পদক্ষেপগুলি সম্পন্ন হয়ে গেলে, আপনি ক্লাউড ডেটা ফিউশন দৃষ্টান্ত পৃষ্ঠায় বা একটি উদাহরণের বিবরণ পৃষ্ঠায় দেখুন ইনস্ট্যান্স লিঙ্কে ক্লিক করে ক্লাউড ডেটা ফিউশন ব্যবহার শুরু করতে পারেন।

ফায়ারওয়াল নিয়ম সেট আপ করুন।

1. GCP কনসোলে নেভিগেট করুন -> VPC নেটওয়ার্ক -> ফায়ারওয়াল নিয়মগুলি ডিফল্ট-অনুমতি-ssh নিয়ম বিদ্যমান কিনা তা পরীক্ষা করতে।

2. যদি না হয়, একটি ফায়ারওয়াল নিয়ম যোগ করুন যা ডিফল্ট নেটওয়ার্কে সমস্ত SSH ট্র্যাফিক প্রবেশের অনুমতি দেয়।

কমান্ড লাইন ব্যবহার করে:

gcloud beta compute --project={PROJECT_ID} firewall-rules create default-allow-ssh --direction=INGRESS --priority=1000 --network=default --action=ALLOW --rules=tcp:22 --source-ranges=0.0.0.0/0 --enable-logging

UI ব্যবহার করে: Create Firewall Rule এ ক্লিক করুন এবং তথ্য পূরণ করুন:

4. পাইপলাইনের জন্য নোড তৈরি করুন

এখন যেহেতু আমাদের জিসিপিতে ক্লাউড ডেটা ফিউশন পরিবেশ রয়েছে, আসুন নিম্নলিখিত পদক্ষেপগুলি ব্যবহার করে ক্লাউড ডেটা ফিউশনে ডেটা পাইপলাইন তৈরি করা শুরু করি:

1. ক্লাউড ডেটা ফিউশন উইন্ডোতে, অ্যাকশন কলামে ভিউ ইনস্ট্যান্স লিঙ্কে ক্লিক করুন। আপনাকে অন্য পৃষ্ঠায় পুনঃনির্দেশিত করা হবে। ক্লাউড ডেটা ফিউশন ইনস্ট্যান্স খুলতে প্রদত্ত url- এ ক্লিক করুন। স্বাগতম পপআপে "স্টার্ট ট্যুর" বা "না, ধন্যবাদ" বোতামে ক্লিক করার জন্য আপনার পছন্দ।
2. "হ্যামবার্গার" মেনু প্রসারিত করুন, পাইপলাইন -> তালিকা নির্বাচন করুন

3. উপরের ডানদিকে সবুজ + বোতামে ক্লিক করুন, তারপরে পাইপলাইন তৈরি করুন নির্বাচন করুন। অথবা একটি পাইপলাইন লিঙ্ক "তৈরি করুন" এ ক্লিক করুন।

4. একবার পাইপলাইন স্টুডিও প্রদর্শিত হলে, উপরের বাম দিকে, ড্রপডাউন থেকে ডেটা পাইপলাইন - রিয়েলটাইম নির্বাচন করুন।

5. ডেটা পাইপলাইন UI-তে, আপনি বাম প্যানেলে ফিল্টার, সোর্স, ট্রান্সফর্ম, অ্যানালিটিক্স, সিঙ্ক, এরর হ্যান্ডলার এবং অ্যালার্ট হিসাবে বিভিন্ন বিভাগ দেখতে পাবেন যেখানে আপনি পাইপলাইনের জন্য একটি নোড বা নোড নির্বাচন করতে পারেন।

একটি উত্স নোড নির্বাচন করুন।

1. বামদিকে প্লাগইন প্যালেটের উত্স বিভাগের অধীনে, Google ক্লাউড PubSub নোডে ডাবল-ক্লিক করুন, যা ডেটা পাইপলাইন UI-তে প্রদর্শিত হয়৷
2. PubSub সোর্স নোডের দিকে নির্দেশ করুন এবং বৈশিষ্ট্যগুলিতে ক্লিক করুন।

3. প্রয়োজনীয় ক্ষেত্রগুলি পূরণ করুন। নিম্নলিখিত ক্ষেত্র সেট করুন:

• লেবেল = {যে কোনো পাঠ্য}
• রেফারেন্স নাম = {যেকোন পাঠ্য}
• প্রকল্প আইডি = স্বয়ংক্রিয় সনাক্ত
• সাবস্ক্রিপশন = সাবস্ক্রিপশন তৈরি পাব/সাব টপিক বিভাগে তৈরি করা হয়েছে (উদাহরণস্বরূপ, আপনার-সাব )
• বিষয় = বিষয় তৈরি করা পাব/সাব টপিক বিভাগে তৈরি করা হয়েছে (উদাহরণস্বরূপ, আপনার-বিষয় )

4. বিস্তারিত ব্যাখ্যার জন্য ডকুমেন্টেশনে ক্লিক করুন। সমস্ত ইনপুট তথ্য যাচাই করতে Validate বাটনে ক্লিক করুন। সবুজ "কোন ত্রুটি পাওয়া যায়নি" সাফল্য নির্দেশ করে।

5. Pub/Sub Properties বন্ধ করতে, X বোতামে ক্লিক করুন।

ট্রান্সফর্ম নোড নির্বাচন করুন।

1. বামদিকে প্লাগইন প্যালেটের ট্রান্সফর্ম বিভাগের অধীনে, প্রজেকশন নোডটিতে ডাবল ক্লিক করুন, যা ডেটা পাইপলাইন UI-তে প্রদর্শিত হয়। পাব/সাব সোর্স নোডকে প্রজেকশন ট্রান্সফর্ম নোডে সংযুক্ত করুন।
2. প্রজেকশন নোডের দিকে নির্দেশ করুন এবং বৈশিষ্ট্য ক্লিক করুন।

3. প্রয়োজনীয় ক্ষেত্রগুলি পূরণ করুন। নিম্নলিখিত ক্ষেত্র সেট করুন:

• রূপান্তর = বাইট টাইপ থেকে স্ট্রিং টাইপে বার্তা রূপান্তর করুন।
• নামানোর ক্ষেত্র = {যে কোনো ক্ষেত্র}
• রাখার ক্ষেত্র = { বার্তা , টাইমস্ট্যাম্প , এবং বৈশিষ্ট্য } ( উদাহরণস্বরূপ, বৈশিষ্ট্যগুলি: key='filename':value='patients' Pub/Sub থেকে পাঠানো)
• পুনঃনামকরণের ক্ষেত্রের = { বার্তা , টাইমস্ট্যাম্প }

4. বিস্তারিত ব্যাখ্যার জন্য ডকুমেন্টেশনে ক্লিক করুন। সমস্ত ইনপুট তথ্য যাচাই করতে Validate বাটনে ক্লিক করুন। সবুজ "কোন ত্রুটি পাওয়া যায়নি" সাফল্য নির্দেশ করে।

5. বামদিকে প্লাগইন প্যালেটের ট্রান্সফর্ম বিভাগের অধীনে, র্যাংলার নোডে ডাবল ক্লিক করুন, যা ডেটা পাইপলাইন UI-তে প্রদর্শিত হয়। প্রজেকশন ট্রান্সফর্ম নোডকে র্যাংলার ট্রান্সফর্ম নোডের সাথে সংযুক্ত করুন। র্যাংলার নোডের দিকে নির্দেশ করুন এবং বৈশিষ্ট্যগুলি ক্লিক করুন।

6. অ্যাকশন ড্রপ ডাউনে ক্লিক করুন এবং একটি সংরক্ষিত স্কিমা আমদানি করতে আমদানি নির্বাচন করুন (উদাহরণস্বরূপ: gs://hcls_testing_data_fhir_10_patients/csv_schemas/ স্কিমা (Patients).json )।
7. শেষ ক্ষেত্রের পাশে + বোতামে ক্লিক করে আউটপুট স্কিমাতে টাইমস্ট্যাম্প ক্ষেত্র যোগ করুন (যদি এটি বিদ্যমান না থাকে) এবং 'নাল' বাক্সে টিক চিহ্ন দিন।
8. প্রয়োজনীয় ক্ষেত্রগুলি পূরণ করুন। নিম্নলিখিত ক্ষেত্র সেট করুন:

• লেবেল = {যে কোনো পাঠ্য}
• ইনপুট ক্ষেত্রের নাম = {*}
• পূর্বশর্ত = { attributes.get("filename") != "patients" } PubSub সোর্স নোড থেকে পাঠানো প্রতিটি ধরনের রেকর্ড বা বার্তা ( উদাহরণস্বরূপ, রোগী, প্রদানকারী, অ্যালার্জি ইত্যাদি ) আলাদা করতে।

9. বিস্তারিত ব্যাখ্যার জন্য ডকুমেন্টেশনে ক্লিক করুন। সমস্ত ইনপুট তথ্য যাচাই করতে Validate বাটনে ক্লিক করুন। সবুজ "কোন ত্রুটি পাওয়া যায়নি" সাফল্য নির্দেশ করে।

10. একটি পছন্দের ক্রমে কলামের নামগুলি সেট করুন এবং আপনার প্রয়োজন নেই এমন ক্ষেত্রগুলি বাদ দিন৷ নিম্নলিখিত কোড স্নিপেটটি অনুলিপি করুন এবং রেসিপি বাক্সে পেস্ট করুন।

drop attributes
parse-as-csv :body ',' false
drop body
set columns TIMESTAMP,Id,BIRTHDATE,DEATHDATE,SSN,DRIVERS,PASSPORT,PREFIX,FIRST,LAST,SUFFIX,MAIDEN,MARITAL,RACE,ETHNICITY,GENDER,BIRTHPLACE,ADDRESS,CITY,STATE,ZIP
mask-number SSN xxxxxxx####

দ্রষ্টব্য: False মানে "Set first row as header" বিকল্পটি চেক করা নেই সহ বডি কলাম পার্স করা।

11. ডেটা মাস্কিং এবং ডি-আইডেন্টিফিকেশনের জন্য CDF-এর মাধ্যমে BigQuery থেকে Batch-Codelab - CSV-এ পড়ুন। অথবা রেসিপি বক্সে এই কোড স্নিপেট মাস্ক-নম্বর SSN xxxxxxx#### যোগ করুন
12. ট্রান্সফর্ম প্রোপার্টিজ উইন্ডো বন্ধ করতে, এক্স বোতামে ক্লিক করুন।

সিঙ্ক নোড নির্বাচন করুন।

1. বামদিকে প্লাগইন প্যালেটের সিঙ্ক বিভাগের অধীনে, BigQuery নোডে ডাবল ক্লিক করুন, যা ডেটা পাইপলাইন UI-তে প্রদর্শিত হয়। র্যাংলার ট্রান্সফর্ম নোডকে BigQuery সিঙ্ক নোডে সংযুক্ত করুন।
2. BigQuery সিঙ্ক নোডের দিকে নির্দেশ করুন এবং বৈশিষ্ট্যগুলিতে ক্লিক করুন।

3. প্রয়োজনীয় ক্ষেত্রগুলি পূরণ করুন:

• লেবেল = {যে কোনো পাঠ্য}
• রেফারেন্স নাম = {যেকোন পাঠ্য}
• প্রকল্প আইডি = স্বয়ংক্রিয় সনাক্ত
• ডেটাসেট = বর্তমান প্রকল্পে ব্যবহৃত BigQuery ডেটাসেট (উদাহরণস্বরূপ, DATASET_ID)
• টেবিল = {টেবিল নাম}

4. বিস্তারিত ব্যাখ্যার জন্য ডকুমেন্টেশনে ক্লিক করুন। সমস্ত ইনপুট তথ্য যাচাই করতে Validate বাটনে ক্লিক করুন। সবুজ "কোন ত্রুটি পাওয়া যায়নি" সাফল্য নির্দেশ করে।

5. BigQuery বৈশিষ্ট্যগুলি বন্ধ করতে, X বোতামে ক্লিক করুন৷

5. রিয়েল টাইম ডেটা পাইপলাইন তৈরি করুন

পূর্ববর্তী বিভাগে আমরা ক্লাউড ডেটা ফিউশনে ডেটা পাইপলাইন তৈরির জন্য প্রয়োজনীয় নোডগুলি তৈরি করেছি। এই বিভাগে আমরা প্রকৃত পাইপলাইন তৈরি করতে নোডগুলিকে সংযুক্ত করি।

একটি পাইপলাইনে সমস্ত নোড সংযুক্ত করা হচ্ছে

1. একটি সংযোগ তীর > সোর্স নোডের ডান প্রান্তে টেনে আনুন এবং গন্তব্য নোডের বাম প্রান্তে ড্রপ করুন।
2. একটি পাইপলাইনে একাধিক শাখা থাকতে পারে যা একই PubSub সোর্স নোড থেকে প্রকাশিত বার্তা পায়।

দ্রষ্টব্য: প্রতিটি PubSub বার্তার জন্য পাইপলাইনে প্রজেকশন নোড থেকে একটি শাখা তৈরি করুন

3. পাইপলাইনের নাম দিন।

দ্রষ্টব্য: এই প্রক্রিয়া চলাকালীন, আপনি পাইপলাইন তৈরি করার সাথে সাথে স্কিমা স্বয়ংক্রিয়ভাবে প্রচারিত হয়। আপনি একটি পছন্দসই স্কিমা আমদানি করতে পারেন।

সেটাই। আপনি স্থাপন এবং চালানোর জন্য আপনার প্রথম রিয়েল টাইম ডেটা পাইপলাইন তৈরি করেছেন৷

ক্লাউড পাব/সাবের মাধ্যমে বার্তা পাঠান

পাব/সাব UI ব্যবহার করা:

1. GCP কনসোলে নেভিগেট করুন -> Pub/Sub -> বিষয়, আপনার-বিষয় নির্বাচন করুন, তারপর উপরের মেনুতে বার্তা প্রকাশ করুন-এ ক্লিক করুন।

2. বার্তা ক্ষেত্রে এক সময়ে শুধুমাত্র একটি রেকর্ড সারি রাখুন। +একটি বৈশিষ্ট্য যোগ করুন বোতামে ক্লিক করুন। কী = ফাইলের নাম , মান = < রেকর্ডের ধরন > ( উদাহরণস্বরূপ, রোগী, প্রদানকারী, অ্যালার্জি, ইত্যাদি ) প্রদান করুন।
3. বার্তা পাঠাতে পাবলিশ বোতামে ক্লিক করুন।

gcloud কমান্ড ব্যবহার করে:

1. ম্যানুয়ালি বার্তা প্রদান করুন.

gcloud pubsub topics publish <your-topic> --attribute <key>=<value> --message \
"paste one record row here"

2. ক্যাট এবং সেড ইউনিক্স কমান্ড ব্যবহার করে আধা-স্বয়ংক্রিয়ভাবে বার্তা প্রদান করুন। এই কমান্ডটি বিভিন্ন পরামিতি দিয়ে বারবার চালানো যেতে পারে।

gcloud pubsub topics publish <your-topic> --attribute <key>=<value> --message \
"$(gsutil cat gs://$BUCKET_NAME/csv/<value>.csv | sed -n '#p')"

দ্রষ্টব্য: <your-topic> - পাব/সাব সোর্স নোড বৈশিষ্ট্যে প্রদত্ত বিষয়ের মতোই

<key> - ফাইলের নাম

cat - ফাইলের বিষয়বস্তু পড়ুন

sed - আউটপুট ( -n ) দমন করুন এবং স্পষ্টভাবে প্রিন্ট করুন ( p ) নির্দিষ্ট লাইন #(1-?)। হেডার সারি বিদ্যমান থাকলে, '2p' ইত্যাদি ব্যবহার করুন।

6. পাইপলাইন কনফিগার করুন, স্থাপন করুন এবং চালান

এখন যেহেতু আমরা ডেটা পাইপলাইন তৈরি করেছি, আমরা এটিকে ক্লাউড ডেটা ফিউশনে স্থাপন এবং চালাতে পারি।

1. কনফিগার ডিফল্ট রাখুন।
2. ডেটার পূর্বরূপ দেখতে পূর্বরূপ ক্লিক করুন**।** পূর্ববর্তী উইন্ডোতে ফিরে যেতে আবার **প্রিভিউ** এ ক্লিক করুন। এছাড়াও আপনি **RUN** এ ক্লিক করে প্রিভিউ মোডে পাইপলাইন চালাতে পারেন।

3. লগ দেখতে লগ ক্লিক করুন.
4. সব পরিবর্তন সংরক্ষণ করতে সংরক্ষণ করুন ক্লিক করুন.
5. একটি নতুন পাইপলাইন তৈরি করার সময় সংরক্ষিত পাইপলাইন কনফিগারেশন আমদানি করতে আমদানিতে ক্লিক করুন।
6. একটি পাইপলাইন কনফিগারেশন রপ্তানি করতে রপ্তানি ক্লিক করুন।
7. পাইপলাইন স্থাপন করতে Deploy এ ক্লিক করুন।
8. একবার স্থাপন করা হলে, রানে ক্লিক করুন এবং পাইপলাইনটি সম্পূর্ণ হওয়ার জন্য অপেক্ষা করুন।

দ্রষ্টব্য: আপনি যখন একটি পাইপলাইন চালান, তখন ক্লাউড ডেটা ফিউশন একটি ক্ষণস্থায়ী ক্লাউড ডেটাপ্রোক ক্লাস্টারের ব্যবস্থা করে, পাইপলাইন চালায় এবং তারপর ক্লাস্টারটি ভেঙে দেয়। এতে কয়েক মিনিট সময় লাগতে পারে। আপনি এই সময়ের মধ্যে প্রভিশনিং থেকে স্টার্টিং থেকে রানিং থেকে ডিপ্রভিশনিং থেকে সাকসেড পর্যন্ত পাইপলাইন ট্রানজিশনের অবস্থা পর্যবেক্ষণ করতে পারেন।

9. যে কোনো সময় পাইপলাইন চালানো বন্ধ করতে থামাতে ক্লিক করুন।
10. আপনি অ্যাকশন বোতামের অধীনে ডুপ্লিকেট নির্বাচন করে পাইপলাইনটি নকল করতে পারেন।
11. আপনি অ্যাকশন বোতামের অধীনে রপ্তানি নির্বাচন করে পাইপলাইন কনফিগারেশন রপ্তানি করতে পারেন।

12. রানের ইতিহাস, রেকর্ড, ত্রুটির লগ এবং সতর্কতার চার্ট দেখাতে সারাংশে ক্লিক করুন।

7. বৈধতা

এই বিভাগে আমরা ডেটা পাইপলাইনের কার্য সম্পাদনকে যাচাই করি।

1. যাচাই করুন যে পাইপলাইনটি সফলভাবে চালানো হয়েছে এবং ক্রমাগত চলছে৷

2. TIMESTAMP-এর উপর ভিত্তি করে আপডেট করা রেকর্ডের সাথে BigQuery টেবিলগুলি লোড করা হয়েছে তা যাচাই করুন। এই উদাহরণে, দুটি রোগীর রেকর্ড বা বার্তা এবং একটি অ্যালার্জি রেকর্ড বা বার্তা 2019-06-25 তারিখে পাব/সাব বিষয়ে প্রকাশিত হয়েছিল।

bq query --nouse_legacy_sql 'select (select count(*) from \
'$PROJECT_ID.$DATASET_ID.Patients'  where TIMESTAMP > "2019-06-25 \
01:29:00.0000 UTC" ) as Patients, (select count(*) from \
'$PROJECT_ID.$DATASET_ID.Allergies' where TIMESTAMP > "2019-06-25 \
01:29:00.0000 UTC") as Allergies;'

Waiting on bqjob_r14c8b94c1c0fe06a_0000016b960df4e1_1 ... (0s) Current status: DONE  
+----------+-----------+
| Patients | Allergies |
+----------+-----------+
|        2 |         1 |
+----------+-----------+

3. যাচাই করুন যে <your-topic>-এ প্রকাশিত বার্তাগুলি <your-sub> গ্রাহকরা পেয়েছেন।

gcloud pubsub subscriptions pull --auto-ack <your-sub>

ফলাফল দেখা

রিয়েলটাইম পাইপলাইন চলাকালীন পাব/সাব বিষয়ে বার্তাগুলি প্রকাশিত হওয়ার পরে ফলাফলগুলি দেখতে:

1. BigQuery UI-তে টেবিলটি জিজ্ঞাসা করুন। BIGQUERY UI-এ যান
2. আপনার নিজের প্রকল্পের নাম, ডেটাসেট এবং টেবিলে নীচের প্রশ্নটি আপডেট করুন৷

8. পরিষ্কার করা

এই টিউটোরিয়ালে ব্যবহৃত সংস্থানগুলির জন্য আপনার Google ক্লাউড প্ল্যাটফর্ম অ্যাকাউন্টে চার্জ এড়াতে:

আপনি টিউটোরিয়ালটি শেষ করার পরে, আপনি GCP-তে তৈরি করা সংস্থানগুলি পরিষ্কার করতে পারেন যাতে তারা কোটা গ্রহণ না করে এবং ভবিষ্যতে আপনাকে তাদের জন্য বিল করা হবে না। নিম্নলিখিত বিভাগগুলি কীভাবে এই সংস্থানগুলি মুছতে বা বন্ধ করতে হয় তা বর্ণনা করে৷

BigQuery ডেটাসেট মুছে ফেলা হচ্ছে

এই টিউটোরিয়ালের অংশ হিসাবে আপনার তৈরি করা BigQuery ডেটাসেট মুছতে এই নির্দেশাবলী অনুসরণ করুন।

GCS বাকেট মুছে ফেলা হচ্ছে

এই টিউটোরিয়ালের অংশ হিসাবে আপনার তৈরি করা GCS বালতি মুছতে এই নির্দেশাবলী অনুসরণ করুন।

ক্লাউড ডেটা ফিউশন উদাহরণ মুছে ফেলা হচ্ছে

আপনার ক্লাউড ডেটা ফিউশন দৃষ্টান্ত মুছতে এই নির্দেশাবলী অনুসরণ করুন৷

প্রকল্প মুছে ফেলা হচ্ছে

বিলিং দূর করার সবচেয়ে সহজ উপায় হল আপনি টিউটোরিয়ালের জন্য তৈরি করা প্রকল্পটি মুছে ফেলা।

প্রকল্প মুছে ফেলতে:

সতর্কতা : একটি প্রকল্প মুছে ফেলার নিম্নলিখিত প্রভাব রয়েছে:

• প্রকল্পের সবকিছু মুছে ফেলা হয়েছে। আপনি যদি এই টিউটোরিয়ালের জন্য একটি বিদ্যমান প্রকল্প ব্যবহার করেন, আপনি এটি মুছে ফেললে, আপনি প্রকল্পে আপনার করা অন্য কোনো কাজও মুছে ফেলবেন।
• কাস্টম প্রকল্প আইডি হারিয়ে গেছে। আপনি যখন এই প্রকল্পটি তৈরি করেছেন, আপনি হয়ত একটি কাস্টম প্রকল্প আইডি তৈরি করেছেন যা আপনি ভবিষ্যতে ব্যবহার করতে চান৷ একটি appspot.com ইউআরএলের মতো প্রোজেক্ট আইডি ব্যবহার করে এমন ইউআরএল সংরক্ষণ করতে, পুরো প্রোজেক্ট মুছে ফেলার পরিবর্তে প্রোজেক্টের মধ্যে নির্বাচিত রিসোর্স মুছে দিন।

আপনি যদি একাধিক টিউটোরিয়াল এবং কুইকস্টার্ট অন্বেষণ করার পরিকল্পনা করেন, প্রকল্পগুলি পুনঃব্যবহার করা আপনাকে প্রকল্পের কোটা সীমা অতিক্রম এড়াতে সাহায্য করতে পারে।

1. GCP কনসোলে, প্রকল্প পৃষ্ঠায় যান। প্রকল্পের পৃষ্ঠায় যান
2. প্রকল্প তালিকায়, আপনি যে প্রকল্পটি মুছতে চান সেটি নির্বাচন করুন এবং মুছুন ক্লিক করুন।
3. ডায়ালগে, প্রজেক্ট আইডি টাইপ করুন এবং তারপরে প্রোজেক্ট মুছে ফেলতে শাট ডাউন ক্লিক করুন।

9. অভিনন্দন

অভিনন্দন, আপনি ক্লাউড ডেটা ফিউশন ব্যবহার করে BigQuery-এ স্বাস্থ্যসেবা ডেটা গ্রহণ করার জন্য কোড ল্যাব সফলভাবে সম্পন্ন করেছেন।

আপনি পাব/সাব টপিকে CSV ডেটা প্রকাশ করেছেন তারপর BigQuery-এ লোড করেছেন।

আপনি বাস্তব সময়ে স্বাস্থ্যসেবা ডেটা লোড, রূপান্তর এবং মাস্ক করার জন্য একটি ডেটা-ইন্টিগ্রেশন পাইপলাইন তৈরি করেছেন৷

Google ক্লাউড প্ল্যাটফর্মে BigQuery-এর সাথে আপনার হেলথকেয়ার ডেটা অ্যানালিটিক্স যাত্রা শুরু করার জন্য প্রয়োজনীয় মূল পদক্ষেপগুলি আপনি এখন জানেন৷