ক্লাউড ডেটা ফিউশন - ব্যাচ ইনজেশন ব্যবহার করে BigQuery-এ CSV ডেটা ইনজেস্ট করুন

1. ভূমিকা

12fb66cc134b50ef.png

শেষ আপডেট: 2020-02-28

এই কোডল্যাবটি CSV ফরম্যাট করা স্বাস্থ্যসেবা ডেটাকে BigQuery-এ বাল্কে ইনজেস্ট করার জন্য ডেটা ইনজেশন প্যাটার্ন দেখায়। আমরা এই ল্যাবের জন্য ক্লাউড ডেটা ফিউশন ব্যাচ ডেটা পাইপলাইন ব্যবহার করব। বাস্তবসম্মত স্বাস্থ্যসেবা পরীক্ষার ডেটা তৈরি করা হয়েছে এবং আপনার জন্য Google ক্লাউড স্টোরেজ বাকেট ( gs://hcls_testing_data_fhir_10_patients/csv/ ) এ উপলব্ধ করা হয়েছে।

এই কোড ল্যাবে আপনি শিখবেন:

  • ক্লাউড ডেটা ফিউশন ব্যবহার করে GCS থেকে BigQuery-এ কীভাবে CSV ডেটা (ব্যাচ-নির্ধারিত লোডিং) ইনজেস্ট করবেন।
  • ক্লাউড ডেটা ফিউশনে কীভাবে দৃশ্যত একটি ডেটা ইন্টিগ্রেশন পাইপলাইন তৈরি করবেন যাতে স্বাস্থ্যসেবা ডেটা লোড করা, রূপান্তর করা এবং মাস্ক করা যায় ৷

এই কোডল্যাব চালানোর জন্য আপনার কী দরকার?

  • আপনার একটি GCP প্রকল্পে অ্যাক্সেস প্রয়োজন।
  • আপনাকে অবশ্যই GCP প্রকল্পের জন্য একজন মালিকের ভূমিকা নিযুক্ত করতে হবে।
  • হেডার সহ CSV ফর্ম্যাটে স্বাস্থ্যসেবা ডেটা।

আপনার যদি একটি GCP প্রকল্প না থাকে, তাহলে একটি নতুন GCP প্রকল্প তৈরি করতে এই পদক্ষেপগুলি অনুসরণ করুন৷

CSV ফর্ম্যাটে স্বাস্থ্যসেবা ডেটা GCS বাকেটের মধ্যে gs://hcls_testing_data_fhir_10_patients/csv/ -এ আগে থেকেই লোড করা হয়েছে। প্রতিটি রিসোর্স CSV ফাইলের অনন্য স্কিমা গঠন রয়েছে। উদাহরণস্বরূপ, Patients.csv-এর Providers.csv-এর থেকে আলাদা স্কিমা রয়েছে। প্রি-লোড করা স্কিমা ফাইলগুলি gs://hcls_testing_data_fhir_10_patients/csv_schemas- এ পাওয়া যাবে।

আপনার যদি একটি নতুন ডেটাসেটের প্রয়োজন হয়, আপনি সবসময় SyntheaTM ব্যবহার করে এটি তৈরি করতে পারেন। তারপর, কপি ইনপুট ডেটা ধাপে বালতি থেকে অনুলিপি করার পরিবর্তে এটিকে GCS-এ আপলোড করুন।

2. GCP প্রকল্প সেটআপ

আপনার পরিবেশের জন্য শেল ভেরিয়েবল শুরু করুন।

PROJECT_ID খুঁজে পেতে, প্রকল্প সনাক্তকরণ পড়ুন।

<!-- CODELAB: Initialize shell variables ->
<!-- Your current GCP Project ID ->
export PROJECT_ID=<PROJECT_ID>
<!-- A new GCS Bucket in your current Project  - INPUT ->
export BUCKET_NAME=<BUCKET_NAME>
<!-- A new BQ Dataset ID - OUTPUT ->
export DATASET_ID=<DATASET_ID>

gsutil টুল ব্যবহার করে ইনপুট ডেটা এবং ত্রুটি লগ সংরক্ষণ করতে GCS বাকেট তৈরি করুন । 

gsutil mb -l us gs://$BUCKET_NAME

সিন্থেটিক ডেটাসেটে অ্যাক্সেস পান।

  1. আপনি ক্লাউড কনসোলে লগইন করার জন্য যে ইমেল ঠিকানাটি ব্যবহার করছেন, সেখান থেকে hcls-solutions-external+subscribe@google.com- এ যোগদানের অনুরোধ জানিয়ে একটি ইমেল পাঠান।
  2. আপনি কিভাবে কর্ম নিশ্চিত করতে নির্দেশাবলী সহ একটি ইমেল পাবেন. 525a0fa752e0acae.png
  3. গ্রুপে যোগ দিতে ইমেলের উত্তর দেওয়ার বিকল্পটি ব্যবহার করুন। বোতামে ক্লিক করবেন না।
  4. একবার আপনি নিশ্চিতকরণ ইমেল পেয়ে গেলে, আপনি কোডল্যাবের পরবর্তী ধাপে যেতে পারেন।

ইনপুট ডেটা কপি করুন। 

gsutil -m cp -r gs://hcls_testing_data_fhir_10_patients/csv gs://$BUCKET_NAME

একটি BigQuery ডেটাসেট তৈরি করুন। 

bq mk --location=us --dataset $PROJECT_ID:$DATASET_ID

3. ক্লাউড ডেটা ফিউশন এনভায়রনমেন্ট সেটআপ

ক্লাউড ডেটা ফিউশন API সক্ষম করতে এবং প্রয়োজনীয় অনুমতি প্রদান করতে এই পদক্ষেপগুলি অনুসরণ করুন:

এপিআই সক্ষম করুন ।

  1. GCP কনসোল API লাইব্রেরিতে যান।
  2. প্রকল্প তালিকা থেকে, আপনার প্রকল্প নির্বাচন করুন.
  3. API লাইব্রেরিতে, আপনি যে APIটি সক্ষম করতে চান সেটি নির্বাচন করুন। যদি আপনার API খুঁজে পেতে সাহায্যের প্রয়োজন হয়, অনুসন্ধান ক্ষেত্র এবং/অথবা ফিল্টার ব্যবহার করুন।
  4. API পৃষ্ঠায়, ENABLE এ ক্লিক করুন।

একটি ক্লাউড ডেটা ফিউশন উদাহরণ তৈরি করুন ।

  1. GCP কনসোলে, আপনার ProjectID নির্বাচন করুন।
  2. বাম মেনু থেকে ডেটা ফিউশন নির্বাচন করুন, তারপর পৃষ্ঠার মাঝখানে একটি দৃষ্টান্ত তৈরি করুন বোতামে ক্লিক করুন (1ম সৃষ্টি), অথবা শীর্ষ মেনুতে (অতিরিক্ত সৃষ্টি) INSTANCE তৈরি করুন বোতামে ক্লিক করুন।

a828690ff3bf3c46.png

8372c944c94737ea.png

  1. উদাহরণের নাম দিন। এন্টারপ্রাইজ নির্বাচন করুন।

5af91e46917260ff.png

  1. CREATE বাটনে ক্লিক করুন।

সেটআপ দৃষ্টান্ত অনুমতি.

একটি দৃষ্টান্ত তৈরি করার পরে, আপনার প্রকল্পের উদাহরণের অনুমতিগুলির সাথে সম্পর্কিত পরিষেবা অ্যাকাউন্টটি প্রদান করতে নিম্নলিখিত পদক্ষেপগুলি ব্যবহার করুন:

  1. দৃষ্টান্তের নামের উপর ক্লিক করে দৃষ্টান্তের বিস্তারিত পৃষ্ঠায় নেভিগেট করুন।

76ad691f795e1ab3.png

  1. পরিষেবা অ্যাকাউন্টটি অনুলিপি করুন।

6c91836afb72209d.png

  1. আপনার প্রকল্পের IAM পৃষ্ঠাতে নেভিগেট করুন।
  2. IAM অনুমতি পৃষ্ঠায়, আমরা এখন পরিষেবা অ্যাকাউন্টটিকে একটি নতুন সদস্য হিসাবে যুক্ত করব এবং এটিকে ক্লাউড ডেটা ফিউশন API পরিষেবা এজেন্ট ভূমিকা প্রদান করব৷ যোগ বোতামে ক্লিক করুন, তারপর নতুন সদস্যদের ক্ষেত্রে "পরিষেবা অ্যাকাউন্ট" পেস্ট করুন এবং পরিষেবা ব্যবস্থাপনা -> ক্লাউড ডেটা ফিউশন API সার্ভার এজেন্ট ভূমিকা নির্বাচন করুন।
  3. ea68b28d917a24b1.png
  4. Save এ ক্লিক করুন।

এই পদক্ষেপগুলি সম্পন্ন হয়ে গেলে, আপনি ক্লাউড ডেটা ফিউশন দৃষ্টান্ত পৃষ্ঠায় বা একটি উদাহরণের বিবরণ পৃষ্ঠায় দেখুন ইনস্ট্যান্স লিঙ্কে ক্লিক করে ক্লাউড ডেটা ফিউশন ব্যবহার শুরু করতে পারেন।

ফায়ারওয়াল নিয়ম সেট আপ করুন।

  1. GCP কনসোলে নেভিগেট করুন -> VPC নেটওয়ার্ক -> ফায়ারওয়াল নিয়মগুলি ডিফল্ট-অনুমতি-ssh নিয়ম বিদ্যমান কিনা তা পরীক্ষা করতে।

102adef44bbe3a45.png

  1. যদি না হয়, একটি ফায়ারওয়াল নিয়ম যোগ করুন যা ডিফল্ট নেটওয়ার্কে সমস্ত SSH ট্র্যাফিক প্রবেশের অনুমতি দেয়।

কমান্ড লাইন ব্যবহার করে:

gcloud beta compute --project={PROJECT_ID} firewall-rules create default-allow-ssh --direction=INGRESS --priority=1000 --network=default --action=ALLOW --rules=tcp:22 --source-ranges=0.0.0.0/0 --enable-logging

UI ব্যবহার করে: Create Firewall Rule এ ক্লিক করুন এবং তথ্য পূরণ করুন:

d9c69ac10496b3d9.png

2dc4971594b82a1f.png

4. রূপান্তরের জন্য একটি স্কিমা তৈরি করুন

এখন যেহেতু আমাদের জিসিপি-তে ক্লাউড ফিউশন পরিবেশ রয়েছে আসুন একটি স্কিমা তৈরি করি। CSV ডেটার রূপান্তরের জন্য আমাদের এই স্কিমার প্রয়োজন।

  1. ক্লাউড ডেটা ফিউশন উইন্ডোতে, অ্যাকশন কলামে ভিউ ইনস্ট্যান্স লিঙ্কে ক্লিক করুন। আপনাকে অন্য পৃষ্ঠায় পুনঃনির্দেশিত করা হবে। ক্লাউড ডেটা ফিউশন ইনস্ট্যান্স খুলতে প্রদত্ত url- এ ক্লিক করুন। স্বাগতম পপআপে "স্টার্ট ট্যুর" বা "না, ধন্যবাদ" বোতামে ক্লিক করার জন্য আপনার পছন্দ।
  2. "হ্যামবার্গার" মেনু প্রসারিত করুন, পাইপলাইন -> স্টুডিও নির্বাচন করুন

6561b13f30e36c3a.png

  1. বামদিকে প্লাগইন প্যালেটের ট্রান্সফর্ম বিভাগের অধীনে, র্যাংলার নোডে ডাবল-ক্লিক করুন, যা ডেটা পাইপলাইন UI-তে প্রদর্শিত হবে।

aa44a4db5fe6623a.png

  1. র্যাংলার নোডের দিকে নির্দেশ করুন এবং বৈশিষ্ট্যগুলি ক্লিক করুন। Wrangle বোতামে ক্লিক করুন, তারপরে একটি .csv সোর্স ফাইল নির্বাচন করুন (উদাহরণস্বরূপ, রোগীদের.csv), যাতে কাঙ্খিত স্কিমা তৈরি করার জন্য সমস্ত ডেটা ক্ষেত্র থাকতে হবে।
  2. প্রতিটি কলামের নামের পাশে নিচের তীর (কলাম রূপান্তর) ক্লিক করুন (উদাহরণস্বরূপ, বডি)। 802edca8a97da18.png
  3. ডিফল্টরূপে, প্রাথমিক আমদানি অনুমান করবে আপনার ডেটা ফাইলে শুধুমাত্র একটি কলাম আছে। এটিকে একটি CSV হিসাবে পার্স করতে, পার্স → CSV নির্বাচন করুন, তারপর বিভাজন নির্বাচন করুন এবং উপযুক্ত হিসাবে "প্রথম সারি শিরোনাম হিসাবে সেট করুন" বাক্সটি চেক করুন৷ Apply বাটনে ক্লিক করুন।
  4. বডি ফিল্ডের পাশে নিচের তীরটিতে ক্লিক করুন, বডি ফিল্ড মুছে ফেলতে কলাম মুছুন নির্বাচন করুন। অতিরিক্তভাবে, আপনি অন্যান্য রূপান্তরগুলি চেষ্টা করতে পারেন যেমন কলামগুলি সরানো, কিছু কলামের জন্য ডেটা টাইপ পরিবর্তন করা (ডিফল্ট হল "স্ট্রিং" টাইপ), কলামগুলি বিভক্ত করা, কলামের নাম সেট করা ইত্যাদি।

e6d2cda51ff298e7.png

  1. "কলাম" এবং "ট্রান্সফরমেশন স্টেপ" ট্যাবগুলি আউটপুট স্কিমা এবং র্যাংলারের রেসিপি দেখায়। উপরের ডানদিকে কোণায় প্রয়োগ করুন ক্লিক করুন। Validate বাটনে ক্লিক করুন। সবুজ "কোন ত্রুটি পাওয়া যায়নি" সাফল্য নির্দেশ করে।

1add853c43f2abee.png

  1. Wrangler Properties-এ, প্রয়োজনে ভবিষ্যতে আমদানির জন্য আপনার স্থানীয় স্টোরেজে পছন্দসই স্কিমা রপ্তানি করতে অ্যাকশন ড্রপডাউনে ক্লিক করুন।
  2. ভবিষ্যতে ব্যবহারের জন্য র্যাংলার রেসিপি সংরক্ষণ করুন। 
parse-as-csv :body ',' true
drop body
  1. Wrangler Properties উইন্ডো বন্ধ করতে, X বোতামে ক্লিক করুন।

5. পাইপলাইনের জন্য নোড তৈরি করুন

এই বিভাগে আমরা পাইপলাইনের উপাদানগুলি তৈরি করব।

  1. ডেটা পাইপলাইন UI-তে, উপরের বাম দিকে, আপনি দেখতে পাবেন যে ডেটা পাইপলাইন - ব্যাচ পাইপলাইনের ধরন হিসাবে নির্বাচিত হয়েছে৷

af67c42ce3d98529.png

  1. ফিল্টার, সোর্স, ট্রান্সফর্ম, অ্যানালিটিক্স, সিঙ্ক, শর্ত এবং অ্যাকশন, ত্রুটি হ্যান্ডলার এবং সতর্কতা হিসাবে বাম প্যানেলে বিভিন্ন বিভাগ রয়েছে যেখানে আপনি পাইপলাইনের জন্য একটি নোড বা নোড নির্বাচন করতে পারেন।

c4438f7682f8b19b.png

উৎস নোড

  1. সোর্স নোড নির্বাচন করুন।
  2. বামদিকে প্লাগইন প্যালেটের উত্স বিভাগের অধীনে, Google ক্লাউড স্টোরেজ নোডে ডাবল-ক্লিক করুন, যা ডেটা পাইপলাইন UI-তে প্রদর্শিত হয়৷
  3. GCS সোর্স নোডের দিকে নির্দেশ করুন এবং Properties-এ ক্লিক করুন।

87e51a3e8dae8b3f.png

  1. প্রয়োজনীয় ক্ষেত্রগুলি পূরণ করুন। নিম্নলিখিত ক্ষেত্র সেট করুন:
  • লেবেল = {যে কোনো পাঠ্য}
  • রেফারেন্স নাম = {যেকোন পাঠ্য}
  • প্রকল্প আইডি = স্বয়ংক্রিয় সনাক্ত
  • আপনার বর্তমান প্রকল্পে বালতিতে পাথ = GCS URL। উদাহরণস্বরূপ, gs://$BUCKET_NAME/csv/
  • বিন্যাস = পাঠ্য
  • পাথ ফিল্ড = ফাইলের নাম
  • পাথ ফাইলের নাম শুধুমাত্র = সত্য
  • বারবার ফাইল পড়ুন = সত্য
  1. + বোতামে ক্লিক করে GCS আউটপুট স্কিমাতে 'ফাইলের নাম' ফিল্ড যোগ করুন।
  2. বিস্তারিত ব্যাখ্যার জন্য ডকুমেন্টেশনে ক্লিক করুন। Validate বাটনে ক্লিক করুন। সবুজ "কোন ত্রুটি পাওয়া যায়নি" সাফল্য নির্দেশ করে।
  3. GCS বৈশিষ্ট্য বন্ধ করতে, X বোতামে ক্লিক করুন।

নোড রূপান্তর

  1. ট্রান্সফর্ম নোড নির্বাচন করুন।
  2. বাম দিকের প্লাগইন প্যালেটের ট্রান্সফর্ম বিভাগের অধীনে, র্যাংলার নোডটিতে ডাবল ক্লিক করুন, যা ডেটা পাইপলাইন UI-তে প্রদর্শিত হয়। র্যাংলার ট্রান্সফর্ম নোডে GCS সোর্স নোড কানেক্ট করুন।
  3. র্যাংলার নোডের দিকে নির্দেশ করুন এবং বৈশিষ্ট্যগুলি ক্লিক করুন।
  4. অ্যাকশন ড্রপ ডাউন ক্লিক করুন এবং একটি সংরক্ষিত স্কিমা আমদানি করতে আমদানি নির্বাচন করুন (উদাহরণস্বরূপ: gs://hcls_testing_data_fhir_10_patients/csv_schemas/ স্কিমা (Patients).json ), এবং পূর্ববর্তী বিভাগ থেকে সংরক্ষিত রেসিপি পেস্ট করুন ।
  5. অথবা, বিভাগ থেকে র্যাংলার নোড পুনরায় ব্যবহার করুন: রূপান্তরের জন্য একটি স্কিমা তৈরি করুন ।
  6. প্রয়োজনীয় ক্ষেত্রগুলি পূরণ করুন। নিম্নলিখিত ক্ষেত্র সেট করুন:
  • লেবেল = {যে কোনো পাঠ্য}
  • ইনপুট ক্ষেত্রের নাম = {*}
  • সোর্স নোড থেকে প্রতিটি ইনপুট ফাইল ( উদাহরণস্বরূপ, রোগী.csv, providers.csv, allergies.csv, ইত্যাদি ) আলাদা করার জন্য পূর্ব শর্ত = {filename != "patients.csv"}।

2426f8f0a6c4c670.png

  1. ব্যবহারকারী-প্রদত্ত জাভাস্ক্রিপ্ট চালানোর জন্য একটি জাভাস্ক্রিপ্ট নোড যোগ করুন যা রেকর্ডগুলিকে আরও রূপান্তরিত করে। এই কোডল্যাবে, আমরা প্রতিটি রেকর্ড আপডেটের জন্য একটি টাইমস্ট্যাম্প পেতে জাভাস্ক্রিপ্ট নোড ব্যবহার করি। র্যাংলার ট্রান্সফর্ম নোডকে জাভাস্ক্রিপ্ট ট্রান্সফর্ম নোডে সংযুক্ত করুন। জাভাস্ক্রিপ্ট বৈশিষ্ট্য খুলুন, এবং নিম্নলিখিত ফাংশন যোগ করুন:

75212f9ad98265a8.png

function transform(input, emitter, context) {
  input.TIMESTAMP = (new Date()).getTime()*1000;
  emitter.emit(input);
}
  1. + চিহ্নে ক্লিক করে আউটপুট স্কিমা (যদি এটি বিদ্যমান না থাকে) টাইমস্ট্যাম্প নামের ক্ষেত্রটি যোগ করুন। ডেটা টাইপ হিসাবে টাইমস্ট্যাম্প নির্বাচন করুন।

4227389b57661135.png

  1. বিস্তারিত ব্যাখ্যার জন্য ডকুমেন্টেশনে ক্লিক করুন। সমস্ত ইনপুট তথ্য যাচাই করতে Validate বাটনে ক্লিক করুন। সবুজ "কোন ত্রুটি পাওয়া যায়নি" সাফল্য নির্দেশ করে।
  2. ট্রান্সফর্ম প্রোপার্টিজ উইন্ডো বন্ধ করতে, এক্স বোতামে ক্লিক করুন।

ডেটা মাস্কিং এবং ডি-আইডেন্টিফিকেশন

  1. আপনি কলামের নিচের তীরটিতে ক্লিক করে এবং আপনার প্রয়োজনীয়তা অনুযায়ী মাস্ক ডেটা নির্বাচনের অধীনে মাস্কিং নিয়ম প্রয়োগ করে পৃথক ডেটা কলাম নির্বাচন করতে পারেন (উদাহরণস্বরূপ, SSN কলাম)।

bb1eb067dd6e0946.png

  1. আপনি র্যাংলার নোডের রেসিপি উইন্ডোতে আরও নির্দেশিকা যোগ করতে পারেন। উদাহরণস্বরূপ, ডি-আইডেন্টিফিকেশন উদ্দেশ্যে এই সিনট্যাক্স অনুসরণ করে হ্যাশিং অ্যালগরিদমের সাথে হ্যাশ নির্দেশিকা ব্যবহার করুন: 
hash <column> <algorithm> <encode>

<column>: name of the column
<algorithm>: Hashing algorithm (i.e. MD5, SHA-1, etc.)
<encode>: default is true (hashed digest is encoded as hex with left-padding zeros). To disable hex encoding, set <encode> to false.

cbcc9a0932f53197.png

সিঙ্ক নোড

  1. সিঙ্ক নোড নির্বাচন করুন।
  2. বামদিকে প্লাগইন প্যালেটের সিঙ্ক বিভাগের অধীনে, BigQuery নোডে ডাবল ক্লিক করুন, যা ডেটা পাইপলাইন UI-তে প্রদর্শিত হবে।
  3. BigQuery সিঙ্ক নোডের দিকে নির্দেশ করুন এবং বৈশিষ্ট্যগুলিতে ক্লিক করুন।

1be711152c92c692.png

  1. প্রয়োজনীয় ক্ষেত্রগুলি পূরণ করুন। নিম্নলিখিত ক্ষেত্র সেট করুন:
  • লেবেল = {যে কোনো পাঠ্য}
  • রেফারেন্স নাম = {যেকোন পাঠ্য}
  • প্রকল্প আইডি = স্বয়ংক্রিয় সনাক্ত
  • ডেটাসেট = বর্তমান প্রকল্পে ব্যবহৃত BigQuery ডেটাসেট (যেমন DATASET_ID)
  • টেবিল = {টেবিল নাম}
  1. বিস্তারিত ব্যাখ্যার জন্য ডকুমেন্টেশনে ক্লিক করুন। সমস্ত ইনপুট তথ্য যাচাই করতে Validate বাটনে ক্লিক করুন। সবুজ "কোন ত্রুটি পাওয়া যায়নি" সাফল্য নির্দেশ করে।

c5585747da2ef341.png

  1. BigQuery বৈশিষ্ট্যগুলি বন্ধ করতে, X বোতামে ক্লিক করুন৷

6. ব্যাচ ডেটা পাইপলাইন তৈরি করুন

একটি পাইপলাইনে সমস্ত নোড সংযুক্ত করা হচ্ছে

  1. একটি সংযোগ তীর > সোর্স নোডের ডান প্রান্তে টেনে আনুন এবং গন্তব্য নোডের বাম প্রান্তে ড্রপ করুন।
  2. একটি পাইপলাইনে একাধিক শাখা থাকতে পারে যা একই GCS সোর্স নোড থেকে ইনপুট ফাইল পায়।

67510ab46bd44d36.png

  1. পাইপলাইনের নাম দিন।

সেটাই। আপনি এইমাত্র আপনার প্রথম ব্যাচ ডেটা পাইপলাইন তৈরি করেছেন এবং পাইপলাইন স্থাপন এবং চালাতে পারেন।

ইমেলের মাধ্যমে পাইপলাইন সতর্কতা পাঠান (ঐচ্ছিক)

Pipeline Alert SendEmail বৈশিষ্ট্যটি ব্যবহার করার জন্য, কনফিগারেশনের জন্য একটি ভার্চুয়াল মেশিনের উদাহরণ থেকে মেল পাঠানোর জন্য একটি মেল সার্ভার সেটআপ করা প্রয়োজন। আরও তথ্যের জন্য নীচের রেফারেন্স লিঙ্ক দেখুন:

একটি উদাহরণ থেকে ইমেল পাঠানো হচ্ছে | কম্পিউট ইঞ্জিন ডকুমেন্টেশন

এই কোডল্যাবে, আমরা নিম্নলিখিত ধাপগুলি ব্যবহার করে মেলগানের মাধ্যমে একটি মেল রিলে পরিষেবা সেট আপ করি:

  1. Mailgun এর সাথে ইমেইল পাঠানোর নির্দেশাবলী অনুসরণ করুন | Mailgun এর সাথে একটি অ্যাকাউন্ট সেট আপ করতে এবং ইমেল রিলে পরিষেবা কনফিগার করতে ইঞ্জিন ডকুমেন্টেশন গণনা করুন । অতিরিক্ত পরিবর্তন নীচে আছে.
  2. মেলগানের অনুমোদিত তালিকায় সমস্ত প্রাপকের ইমেল ঠিকানা যোগ করুন। এই তালিকাটি বাম প্যানেলে Mailgun>Sending>Overview অপশনে পাওয়া যাবে।

7e6224cced3fa4e0.pngfa78739f1ddf2dc2.png

একবার প্রাপকরা support@mailgun.net থেকে পাঠানো ইমেলে "আমি সম্মত" ক্লিক করলে, তাদের ইমেল ঠিকানাগুলি পাইপলাইন সতর্কতা ইমেলগুলি পাওয়ার জন্য অনুমোদিত তালিকায় সংরক্ষিত হয়৷

72847c97fd5fce0f.png

  1. "আপনি শুরু করার আগে" বিভাগের ধাপ 3 - নিম্নলিখিত হিসাবে একটি ফায়ারওয়াল নিয়ম তৈরি করুন:

75b063c165091912.png

  1. "পোস্টফিক্সের সাথে মেল রিলে হিসাবে মেলগান কনফিগার করা" এর ধাপ 3। নির্দেশাবলীতে উল্লিখিত শুধুমাত্র স্থানীয় পরিবর্তে ইন্টারনেট সাইট বা স্মার্টহোস্ট সহ ইন্টারনেট নির্বাচন করুন।

8fd8474a4ef18f16.png

  1. "পোস্টফিক্সের সাথে মেল রিলে হিসাবে মেলগান কনফিগার করা" এর ধাপ 4। mynetworks শেষে 10.128.0.0/9 যোগ করতে vi /etc/postfix/main.cf সম্পাদনা করুন।

249fbf3edeff1ce8.png

  1. ডিফল্ট smtp (25) পোর্ট 587 এ পরিবর্তন করতে vi /etc/postfix/master.cf সম্পাদনা করুন।

86c82cf48c687e72.png

  1. ডেটা ফিউশন স্টুডিওর উপরের-ডান কোণে, কনফিগার ক্লিক করুন। পাইপলাইন সতর্কতায় ক্লিক করুন এবং সতর্কতা উইন্ডো খুলতে + বোতামে ক্লিক করুন। SendEmail নির্বাচন করুন।

dc079a91f1b0da68.png

  1. ইমেল কনফিগারেশন ফর্মটি পূরণ করুন। প্রতিটি সতর্কতার প্রকারের জন্য রান কন্ডিশন ড্রপডাউন থেকে সম্পূর্ণতা, সাফল্য বা ব্যর্থতা নির্বাচন করুন। ওয়ার্কফ্লো টোকেন অন্তর্ভুক্ত করলে = মিথ্যা , শুধুমাত্র বার্তা ক্ষেত্র থেকে তথ্য পাঠানো হয়। ওয়ার্কফ্লো টোকেন অন্তর্ভুক্ত করলে = সত্য , বার্তা ক্ষেত্র থেকে তথ্য এবং ওয়ার্কফ্লো টোকেন বিস্তারিত তথ্য দেওয়া হয়। প্রোটোকলের জন্য আপনাকে অবশ্যই ছোট হাতের অক্ষর ব্যবহার করতে হবে। প্রেরকের জন্য আপনার কোম্পানির ইমেল ঠিকানা ছাড়া অন্য যেকোন " ভুয়া " ইমেল ব্যবহার করুন৷

1fa619b6ce28f5e5.png

7. পাইপলাইন কনফিগার করুন, স্থাপন করুন, রান/শিডিউল করুন

db612e62a1c7ab7e.png

  1. ডেটা ফিউশন স্টুডিওর উপরের-ডান কোণে, কনফিগার ক্লিক করুন। ইঞ্জিন কনফিগারেশনের জন্য স্পার্ক নির্বাচন করুন। কনফিগার উইন্ডোতে সংরক্ষণ ক্লিক করুন।

8ecf7c243c125882.png

  1. ডেটার পূর্বরূপ দেখার জন্য পূর্বরূপ ক্লিক করুন**,** এবং পূর্ববর্তী উইন্ডোতে টগল করতে আবার **প্রিভিউ** এ ক্লিক করুন। এছাড়াও আপনি প্রিভিউ মোডে পাইপলাইন **চালান** করতে পারেন।

b3c891e5e1aa20ae.png

  1. লগ দেখতে লগ ক্লিক করুন.
  2. সব পরিবর্তন সংরক্ষণ করতে সংরক্ষণ করুন ক্লিক করুন.
  3. নতুন পাইপলাইন তৈরি করার সময় সংরক্ষিত পাইপলাইন কনফিগারেশন আমদানি করতে আমদানিতে ক্লিক করুন।
  4. একটি পাইপলাইন কনফিগারেশন রপ্তানি করতে রপ্তানি ক্লিক করুন।
  5. পাইপলাইন স্থাপন করতে Deploy এ ক্লিক করুন।
  6. একবার স্থাপন করা হলে, রানে ক্লিক করুন এবং পাইপলাইনটি সম্পূর্ণ হওয়ার জন্য অপেক্ষা করুন।

bb06001d46a293db.png

  1. আপনি অ্যাকশন বোতামের অধীনে ডুপ্লিকেট নির্বাচন করে পাইপলাইনটি নকল করতে পারেন।
  2. আপনি অ্যাকশন বোতামের অধীনে রপ্তানি নির্বাচন করে পাইপলাইন কনফিগারেশন রপ্তানি করতে পারেন।
  3. যদি ইচ্ছা হয় পাইপলাইন ট্রিগার সেট করতে স্টুডিও উইন্ডোর বাম বা ডান প্রান্তে ইনবাউন্ড ট্রিগার বা আউটবাউন্ড ট্রিগারে ক্লিক করুন।
  4. পর্যায়ক্রমে ডেটা চালানো এবং লোড করার জন্য পাইপলাইন নির্ধারণ করতে সময়সূচীতে ক্লিক করুন।

4167fa67550a49d5.png

  1. সারাংশ রানের ইতিহাস, রেকর্ড, ত্রুটির লগ এবং সতর্কতার চার্ট দেখায়।

8. বৈধতা

  1. ভ্যালিডেট পাইপলাইন সফলভাবে চালানো হয়েছে।

7dee6e662c323f14.png

  1. BigQuery ডেটাসেটে সমস্ত টেবিল থাকলে যাচাই করুন। 
bq ls $PROJECT_ID:$DATASET_ID

     tableId       Type    Labels   Time Partitioning
----------------- ------- -------- -------------------
 Allergies         TABLE
 Careplans         TABLE
 Conditions        TABLE
 Encounters        TABLE
 Imaging_Studies   TABLE
 Immunizations     TABLE
 Medications       TABLE
 Observations      TABLE
 Organizations     TABLE
 Patients          TABLE
 Procedures        TABLE
 Providers         TABLE
  1. সতর্কতা ইমেলগুলি পান (যদি কনফিগার করা থাকে)।

ফলাফল দেখা

পাইপলাইন চালানোর পরে ফলাফল দেখতে:

  1. BigQuery UI-তে টেবিলটি জিজ্ঞাসা করুন। BIGQUERY UI-এ যান
  2. আপনার নিজের প্রকল্পের নাম, ডেটাসেট এবং টেবিলে নীচের প্রশ্নটি আপডেট করুন৷

e32bfd5d965a117f.png

9. পরিষ্কার করা

এই টিউটোরিয়ালে ব্যবহৃত সংস্থানগুলির জন্য আপনার Google ক্লাউড প্ল্যাটফর্ম অ্যাকাউন্টে চার্জ এড়াতে:

আপনি টিউটোরিয়ালটি শেষ করার পরে, আপনি GCP-তে তৈরি করা সংস্থানগুলি পরিষ্কার করতে পারেন যাতে তারা আপনার কোটা গ্রহণ করতে না পারে এবং ভবিষ্যতে তাদের জন্য আপনাকে বিল করা হবে না। নিম্নলিখিত বিভাগগুলি কীভাবে এই সংস্থানগুলি মুছতে বা বন্ধ করতে হয় তা বর্ণনা করে৷

BigQuery ডেটাসেট মুছে ফেলা হচ্ছে

এই টিউটোরিয়ালের অংশ হিসাবে আপনার তৈরি করা BigQuery ডেটাসেট মুছতে এই নির্দেশাবলী অনুসরণ করুন।

GCS বাকেট মুছে ফেলা হচ্ছে

এই টিউটোরিয়ালের অংশ হিসাবে আপনার তৈরি করা GCS বালতি মুছতে এই নির্দেশাবলী অনুসরণ করুন।

ক্লাউড ডেটা ফিউশন উদাহরণ মুছে ফেলা হচ্ছে

আপনার ক্লাউড ডেটা ফিউশন দৃষ্টান্ত মুছতে এই নির্দেশাবলী অনুসরণ করুন৷

প্রকল্প মুছে ফেলা হচ্ছে

বিলিং দূর করার সবচেয়ে সহজ উপায় হল আপনি টিউটোরিয়ালের জন্য তৈরি করা প্রকল্পটি মুছে ফেলা।

প্রকল্প মুছে ফেলতে:

  1. GCP কনসোলে, প্রকল্প পৃষ্ঠায় যান। প্রকল্পের পৃষ্ঠায় যান
  2. প্রকল্প তালিকায়, আপনি যে প্রকল্পটি মুছতে চান সেটি নির্বাচন করুন এবং মুছুন ক্লিক করুন।
  3. ডায়ালগে, প্রজেক্ট আইডি টাইপ করুন এবং তারপরে প্রোজেক্ট মুছে ফেলতে শাট ডাউন ক্লিক করুন।

10. অভিনন্দন

অভিনন্দন, আপনি ক্লাউড ডেটা ফিউশন ব্যবহার করে BigQuery-এ স্বাস্থ্যসেবা ডেটা গ্রহণ করার জন্য কোড ল্যাব সফলভাবে সম্পন্ন করেছেন।

আপনি Google ক্লাউড স্টোরেজ থেকে BigQuery-এ CSV ডেটা আমদানি করেছেন।

স্বাস্থ্যসেবা ডেটা লোড, রূপান্তর এবং মাস্ক করার জন্য আপনি দৃশ্যত ডেটা ইন্টিগ্রেশন পাইপলাইন তৈরি করেছেন।

Google ক্লাউড প্ল্যাটফর্মে BigQuery-এর সাথে আপনার হেলথকেয়ার ডেটা অ্যানালিটিক্স যাত্রা শুরু করার জন্য প্রয়োজনীয় মূল পদক্ষেপগুলি আপনি এখন জানেন৷