نقل بيانات ملف CSV (القيم المفصولة بفواصل) إلى BigQuery باستخدام Cloud Data Fusion - العرض في الوقت الفعلي

1. مقدمة

تاريخ آخر تعديل: 28/02/2020

يعرض هذا الدرس التطبيقي حول الترميز نمطًا لنقل البيانات لنقل بيانات الرعاية الصحية بتنسيق CSV إلى BigQuery في الوقت الفعلي. سنستخدم مسار البيانات في الوقت الفعلي Cloud Data fusion في هذا التمرين المعملي. تم إنشاء بيانات اختبار الرعاية الصحية الواقعية وإتاحتها لك في حزمة Google Cloud Storage (gs://hcls_testing_data_fhir_10_patients/csv/).

ستتعرف في هذا التمرين المعملي على الترميز ما يلي:

• كيفية نقل بيانات ملف CSV (التحميل في الوقت الفعلي) من النشر/الاشتراك إلى BigQuery باستخدام ميزة Cloud Data Fusion
• طريقة إنشاء مسار تكامل البيانات بشكل مرئي في Cloud Data Fusion لتحميل بيانات الرعاية الصحية وتحويلها وإخفاءها في الوقت الفعلي

ما هي متطلبات تشغيل هذا العرض التوضيحي؟

• تحتاج إلى إذن بالوصول إلى مشروع Google Cloud Platform.
• يجب أن يتم منحك دور "مالك" في مشروع Google Cloud Platform.
• بيانات الرعاية الصحية بتنسيق CSV، بما في ذلك العنوان.

إذا لم يكن لديك مشروع على Google Cloud Platform، اتّبِع هذه الخطوات لإنشاء مشروع Google Cloud Platform جديد.

تم مسبقًا تحميل بيانات الرعاية الصحية بتنسيق CSV في حزمة GCS على الرابط gs://hcls_testing_data_fhir_10_patients/csv/. لكل ملف موارد CSV بنية مخطط فريدة. على سبيل المثال، يحتوي Patients.csv على مخطط مختلف عن Providers.csv. ويمكن العثور على ملفات المخططات المحمَّلة مسبقًا على الرابط gs://hcls_testing_data_fhir_10_patients/csv_schemas.

إذا كنت بحاجة إلى مجموعة بيانات جديدة، يمكنك إنشاؤها دائمًا باستخدام SyntheaTM. بعد ذلك، يمكنك تحميلها إلى خدمة GCS بدلاً من نسخها من الحزمة في خطوة "نسخ بيانات الإدخال".

المرجع:

العمليات الأساسية في Cloud Data Fusion (Quickstart) باستخدام وحدة تحكّم Google Cloud Platform.

رسائل نشر Cloud Pub/Sub https://cloud.google.com/pubsub/docs/publisher

2. إعداد مشروع Google Cloud Platform

إعداد متغيرات الغلاف لبيئتك.

للعثور على PROJECT_ID، راجِع المقالة تحديد المشاريع.

<!-- CODELAB: Initialize shell variables ->
<!-- Your current GCP Project ID ->
export PROJECT_ID=<PROJECT_ID>
<!-- A new GCS Bucket in your current Project  - INPUT ->
export BUCKET_NAME=<BUCKET_NAME>
<!-- A new BQ Dataset ID - OUTPUT ->
export DATASET_ID=<DATASET_ID>

أنشِئ حزمة GCS لتخزين بيانات الإدخال وسجلّات الأخطاء باستخدام أداة gsutil.

gsutil mb -l us gs://$BUCKET_NAME

الوصول إلى مجموعة البيانات الاصطناعية

1. من عنوان البريد الإلكتروني الذي تستخدمه لتسجيل الدخول إلى Cloud Console، أرسِل رسالة إلكترونية إلى [e-mail] لطلب الانضمام.
2. ستصلك رسالة إلكترونية تتضمّن تعليمات حول كيفية تأكيد الإجراء.
3. يمكنك استخدام خيار الردّ على الرسالة الإلكترونية للانضمام إلى المجموعة. ولا تنقر على الزر .
4. بعد تلقّي رسالة التأكيد الإلكترونية، يمكنك الانتقال إلى الخطوة التالية في الدرس التطبيقي حول الترميز.

نسخ بيانات الإدخال:

gsutil -m cp -r gs://hcls_testing_data_fhir_10_patients/csv gs://$BUCKET_NAME

أنشِئ مجموعة بيانات BigQuery.

bq mk --location=us --dataset $PROJECT_ID:$DATASET_ID

تذكير: يمكنك في أي وقت إنشاء مجموعة جديدة من بيانات الاختبار الواقعية باستخدام SyntheaTM لهذا التمرين. لتسهيل الأمر عليك، نقدّم مجموعة بيانات في خدمة Google Cloud Storage التالية. gs://hcls_testing_data_fhir_10_patients/csv.

ثبِّت حزمة Google Cloud SDK واضبطها وأنشئ نشر أو موضوع فرعي واشتراكات.

gcloud init
gcloud pubsub topics create your-topic
gcloud pubsub subscriptions create --topic your-topic your-sub

3- إعداد بيئة Cloud Data Fusion

اتّبع هذه الخطوات لتفعيل Cloud Data Fusion API ومنح الأذونات المطلوبة:

تفعيل واجهات برمجة التطبيقات

1. انتقِل إلى مكتبة واجهة برمجة التطبيقات لوحدة تحكُّم Google Cloud Platform.
2. من قائمة المشاريع، اختَر مشروعك.
3. في مكتبة واجهة برمجة التطبيقات، اختَر واجهة برمجة التطبيقات التي تريد تفعيلها ( واجهة برمجة التطبيقات Cloud Data Fusion API، وCloud Pub/Sub API). في حال احتجت إلى مساعدة في العثور على واجهة برمجة التطبيقات، استخدِم حقل البحث والفلاتر.
4. في صفحة واجهة برمجة التطبيقات، انقر على تفعيل.

إنشاء مثيل Cloud Data Fusion

1. في وحدة تحكُّم Google Cloud Platform، اختَر ProjectID.
2. حدد "Data Fusion" (دمج البيانات) من القائمة اليمنى، ثم انقر فوق الزر "CREATE AN INSTANCE" في منتصف الصفحة (الإنشاء الأول)، أو انقر على الزر "إنشاء مثيل" في القائمة العلوية (إنشاء إضافي).

3. أدخِل اسم المثيل. اختَر Enterprise.

4. انقر فوق الزر "CREATE" (إنشاء).

ملاحظة: قد يستغرق إكمال عملية إنشاء المثيل ما يصل إلى 30 دقيقة.

إعداد أذونات المثيل

بعد إنشاء مثيل، اتّبِع الخطوات التالية لمنح حساب الخدمة المرتبط بأذونات المثيل في مشروعك:

ملاحظة: يجب منح الإذن مرة واحدة فقط في المشروع.

1. انتقِل إلى صفحة تفاصيل المثيل من خلال النقر على اسم المثيل.

2. انسخ حساب الخدمة.

3. انتقِل إلى صفحة "إدارة الهوية وإمكانية الوصول" في مشروعك.
4. في صفحة أذونات "إدارة الهوية وإمكانية الوصول"، امنح حساب الخدمة دور وكيل خدمة Cloud Data Fusion API من خلال النقر على الزر إضافة. لصق "حساب الخدمة" في الحقل "الأعضاء الجدد" واختيار "إدارة الخدمة" -> دور وكيل خادم واجهة برمجة التطبيقات Data Fusion API

5. انقر على + إضافة دور آخر (أو Edit Cloud Data Fusion API Service Agent) لإضافة دور "المشترِك/المشترِك".

6. انقر على حفظ.

بعد تنفيذ هذه الخطوات، يمكنك البدء في استخدام Cloud Data Fusion من خلال النقر على الرابط عرض المثيل على صفحة مثيلات Cloud Data Fusion، أو صفحة تفاصيل المثيل.

إعداد قاعدة جدار الحماية.

1. انتقِل إلى وحدة تحكُّم Google Cloud Platform -> شبكة VPC -> قواعد جدار الحماية للتحقُّق مما إذا كانت قاعدة "allow-ssh" التلقائية متوفّرة أم لا.

2. وإذا لم يكن كذلك، أضِف قاعدة جدار حماية تسمح لجميع حركة بيانات SSH الواردة إلى الشبكة التلقائية.

باستخدام سطر الأوامر:

gcloud beta compute --project={PROJECT_ID} firewall-rules create default-allow-ssh --direction=INGRESS --priority=1000 --network=default --action=ALLOW --rules=tcp:22 --source-ranges=0.0.0.0/0 --enable-logging

استخدام واجهة المستخدم: انقر على إنشاء قاعدة جدار حماية واملأ المعلومات:

4. إنشاء عُقد لمسار التعلّم

الآن بعد أن أصبح لدينا بيئة Cloud Data Fusion في Google Cloud Platform، لنبدأ في إنشاء مسارات البيانات في Cloud Data Fusion من خلال الخطوات التالية:

1. في نافذة Cloud Data Fusion، انقر على الرابط "عرض المثيل" في عمود "الإجراء". ستتم إعادة توجيهك إلى صفحة أخرى. انقر على url المقدَّم لفتح مثيل Cloud Data Fusion. اختيارك النقر على "بدء الجولة" أو "لا، شكرًا" في النافذة المنبثقة للترحيب.
2. توسيع نطاق "الهامبرغر" القائمة، حدد Pipeline -> قائمة

3. انقر على الزر + الأخضر في أعلى يسار الصفحة، ثم اختَر إنشاء مسار. أو انقر على "إنشاء" رابط مسار التعلّم.

4. بعد ظهور استوديو مسار التعلّم، في أعلى يمين الصفحة، اختَر مسار البيانات - الوقت الفعلي من القائمة المنسدلة.

5. في واجهة مستخدم مسارات البيانات، ستظهر لك أقسام مختلفة في اللوحة اليمنى كالفلتر، والمصدر، وتحويل، والتحليلات، والمستودع، ومعالِجات الأخطاء، والتنبيهات، حيث يمكنك تحديد عُقدة أو عُقد لمسار العملية.

اختَر عقدة مصدر.

1. ضمن قسم "المصدر" في لوحة المكونات الإضافية على اليمين، انقر مرّتين على عقدة Google Cloud PubSub التي تظهر في واجهة مستخدم "مسارات البيانات".
2. أشِر إلى عقدة مصدر PubSub وانقر على الخصائص.

3. املأ الحقول المطلوبة. اضبط الحقول التالية:

• التصنيف = {any text}
• اسم المرجع = {any text}
• رقم تعريف المشروع = الاكتشاف التلقائي
• الاشتراك = يشير إلى اشتراك تم إنشاؤه في القسم "إنشاء موضوع/نشر" (مثلاً، your-sub)
• الموضوع = الموضوع الذي تم إنشاؤه في القسم "إنشاء نشر/موضوع فرعي" (مثلاً، موضوعك)

4. انقر على المستندات للحصول على شرح تفصيلي. انقر على الزر "التحقّق من الصحة" للتحقّق من صحة جميع معلومات الإدخال. أخضر "لم يتم العثور على أخطاء" يشير إلى النجاح.

5. لإغلاق مواقع النشر/الاشتراك، انقر على الزر X.

اختَر عقدة التحويل.

1. ضمن قسم "التحويل" في لوحة المكونات الإضافية على اليمين، انقر نقرًا مزدوجًا على عقدة الإسقاط، التي تظهر في واجهة مستخدم "مسارات البيانات". ربط عقدة مصدر Pub/Sub بعقدة تحويل الإسقاط.
2. أشِر إلى عقدة Projection (الإسقاط) وانقر على Properties (الخصائص).

3. املأ الحقول المطلوبة. اضبط الحقول التالية:

• التحويل = تحويل الرسالة من نوع البايت إلى نوع السلسلة.
• الحقول المطلوب إفلاتها = {any field}
• الحقول المطلوب الاحتفاظ بها = {message وtimestamp وattributes} (على سبيل المثال، السمات: key=‘filename':value=‘patients' مرسَلة من Pub/Sub)
• الحقول المطلوب إعادة تسميتها = {message، الطابع الزمني}

4. انقر على المستندات للحصول على شرح تفصيلي. انقر على الزر "التحقّق من الصحة" للتحقّق من صحة جميع معلومات الإدخال. أخضر "لم يتم العثور على أخطاء" يشير إلى النجاح.

5. ضمن قسم "التحويل" في لوحة المكونات الإضافية على اليمين، انقر نقرًا مزدوجًا على عقدة Wrangler التي تظهر في واجهة مستخدم "مسارات البيانات". ربط عقدة تحويل الإسقاط بعقدة تحويل Wrangler. أشِر إلى عقدة Wrangler، وانقر على الخصائص.

6. انقر على القائمة المنسدلة الإجراءات واختَر استيراد لاستيراد مخطط محفوظ (على سبيل المثال: gs://hcls_testing_data_fhir_10_patients/csv_schemas/ schema (Patients).json).
7. أضف الحقل TIMESTAMP في مخطط الإخراج (إذا لم يكن موجودًا) عن طريق النقر على الزر + بجوار الحقل الأخير وحدد "Null" (فارغ) .
8. املأ الحقول المطلوبة. اضبط الحقول التالية:

• التصنيف = {any text}
• اسم حقل الإدخال = {*}
• Precondition = {attributes.get("filename") != "patients"} لتمييز كل نوع من أنواع السجلات أو الرسائل (مثل المرضى ومقدّمي الخدمات وأمراض الحساسية، وما إلى ذلك) المُرسَلة من عقدة مصدر PubSub.

9. انقر على المستندات للحصول على شرح تفصيلي. انقر على الزر "التحقّق من الصحة" للتحقّق من صحة جميع معلومات الإدخال. أخضر "لم يتم العثور على أخطاء" يشير إلى النجاح.

10. اضبط أسماء الأعمدة بترتيب مفضّل، وأفلت الحقول التي لا تحتاج إليها. انسخ مقتطف الرمز التالي والصقه في مربّع الوصفة.

drop attributes
parse-as-csv :body ',' false
drop body
set columns TIMESTAMP,Id,BIRTHDATE,DEATHDATE,SSN,DRIVERS,PASSPORT,PREFIX,FIRST,LAST,SUFFIX,MAIDEN,MARITAL,RACE,ETHNICITY,GENDER,BIRTHPLACE,ADDRESS,CITY,STATE,ZIP
mask-number SSN xxxxxxx####

ملاحظة: يعني "خطأ" تحليل عمود النص باستخدام "ضبط الصف الأول كعنوان". لم يتم تحديد هذا الخيار.

11. يمكنك الرجوع إلى Batch-Codelab - CSV إلى BigQuery عبر CDF لإخفاء البيانات وإزالة تحديد الهوية فيها. أو أضِف مقتطف الرمز هذا mask-number SSN xxxxxxx#### في مربّع "وصفة"
12. لإغلاق نافذة "تحويل الخصائص"، انقر على زر X.

اختَر عقدة الحوض.

1. ضمن قسم الحوض في لوحة المكونات الإضافية على اليمين، انقر نقرًا مزدوجًا على عقدة BigQuery، التي تظهر في واجهة مستخدم مسار البيانات. ربط عقدة تحويل Wrangler بعقدة مستودع BigQuery.
2. أشِر إلى عقدة مستودع BigQuery وانقر على "Properties" (الخصائص).

3. املأ الحقول المطلوبة:

• التصنيف = {any text}
• اسم المرجع = {any text}
• رقم تعريف المشروع = الاكتشاف التلقائي
• مجموعة البيانات = مجموعة بيانات BigQuery المستخدَمة في المشروع الحالي (على سبيل المثال، DATASET_ID)
• الجدول = {table name}

4. انقر على المستندات للحصول على شرح تفصيلي. انقر على الزر "التحقّق من الصحة" للتحقّق من صحة جميع معلومات الإدخال. أخضر "لم يتم العثور على أخطاء" يشير إلى النجاح.

5. لإغلاق خصائص BigQuery، انقر على الزر X.

5- إنشاء مسار البيانات في الوقت الفعلي

في القسم السابق، أنشأنا عُقدًا مطلوبة لإنشاء مسار بيانات في Cloud Data Fusion. في هذا القسم، نربط العُقد لإنشاء المسار الفعلي.

ربط جميع العُقد في مسار معيّن

1. اسحب سهم الاتصال > على الحافة اليمنى للعقدة المصدر وإفلاتها على الحافة اليسرى للعقدة الوجهة.
2. يمكن أن يحتوي المسار على عدة فروع تتلقى الرسائل المنشورة من عقدة مصدر PubSub نفسها.

ملاحظة: يمكنك إنشاء فرع واحد من عقدة الإسقاط في مسار العملية لكل رسالة PubSub.

3. قم بتسمية مسار الممر.

ملاحظة: خلال هذه العملية، يتم نشر المخطّط تلقائيًا أثناء إنشاء المسار. ويمكنك أيضًا استيراد مخطط تريده.

ما مِن إجراءات أخرى مطلوبة. لقد أنشأت للتو أول مسار للبيانات في الوقت الفعلي ليتم نشره وتشغيله.

إرسال الرسائل من خلال Cloud Pub/Sub

باستخدام واجهة مستخدم النشر/الاشتراك:

1. انتقِل إلى وحدة تحكُّم Google Cloud Platform -> نشر/اشتراك -> المواضيع، واختَر موضوعك، ثم انقر على "نشر الرسالة" في القائمة في أعلى الصفحة.

2. ضَع صف سجلّ واحدًا فقط في كل مرة في حقل "الرسالة". انقر على زر +إضافة سمة. أدخِل المفتاح = filename، القيمة = <type of record>. (على سبيل المثال، المرضى ومقدّمو الخدمات وأمراض الحساسية وما إلى ذلك).
3. انقر على الزر "نشر" لإرسال الرسالة.

باستخدام الأمر gcloud:

1. تقديم الرسالة يدويًا

gcloud pubsub topics publish <your-topic> --attribute <key>=<value> --message \
"paste one record row here"

2. يتم تقديم الرسالة بشكل شبه تلقائي باستخدام أمرَي cat وsed Unix. يمكن تنفيذ هذا الأمر بشكل متكرر باستخدام معلَمات مختلفة.

gcloud pubsub topics publish <your-topic> --attribute <key>=<value> --message \
"$(gsutil cat gs://$BUCKET_NAME/csv/<value>.csv | sed -n '#p')"

ملاحظة: <موضوعك> - نفس الموضوع المقدَّم في مواقع عقدة مصدر النشر/الاشتراك

&lt;key&gt; - filename

cat - قراءة محتوى الملف

sed - إيقاف الإخراج (-n) وطباعة السطر المحدد (p) بوضوح #(1-?). استخدِم "2p" في حال توفّر صف العنوان. وهكذا

6- ضبط مسار التعلّم ونشره وتشغيله

الآن وبعد أن طوّرنا مسار البيانات، يمكننا نشره وتشغيله في Cloud Data Fusion.

1. احرِص على الاحتفاظ بالإعدادات التلقائية لضبط.
2. انقر على معاينة لمعاينة البيانات**.** انقر على **معاينة** مرة أخرى للرجوع إلى النافذة السابقة. يمكنك أيضًا تنفيذ العملية في وضع "المعاينة" من خلال النقر على **تشغيل**.

3. انقر على السجلات للاطّلاع على السجلّات.
4. انقر على حفظ لحفظ جميع التغييرات.
5. انقر على استيراد لاستيراد إعداد المسار المحفوظ عند إنشاء مسار جديد.
6. انقر على تصدير لتصدير إعداد المسار.
7. انقر على نشر لتفعيل العملية.
8. بعد نشر التطبيق، انقر على تشغيل وانتظر حتى اكتمال العملية.

ملاحظة: عند تشغيل أحد المسارات، توفِّر Cloud Data Fusion مجموعة عنقودية مؤقتة من Cloud Dataproc، وتدير المسار، ثم تزيل المجموعة العنقودية. قد يستغرق هذا بضع دقائق. يمكنك ملاحظة حالة انتقال المسار من توفير المتطلبات اللازمة إلى بدء التشغيل إلى قيد التشغيل إلى إيقاف توفير المتطلبات اللازمة إلى تم بنجاح خلال هذه الفترة.

9. انقر على إيقاف لإيقاف مسار التعلّم في أي وقت.
10. يمكنك تكرار المسار من خلال اختيار "نسخة طبق الأصل" ضمن الزر الإجراءات.
11. يمكنك تصدير تهيئة المسار عن طريق اختيار "تصدير" ضمن زر الإجراءات.

12. انقر على الملخّص لعرض الرسوم البيانية لسجلّ التشغيل والسجلّات وسجلّات الأخطاء والتحذيرات.

7. التحقّق من الصحة

في هذا القسم، نتحقق من صحة تنفيذ مسار البيانات.

1. تأكَّد من تنفيذ مسار العملية بنجاح وأنّه يعمل بشكلٍ مستمر.

2. تحقَّق من تحميل جداول BigQuery بسجلّات معدّلة استنادًا إلى TIMESTAMP. في هذا المثال، تم نشر سجلَّين أو رسالتَين للمريض وسجلّ أو رسالة واحدة للحساسية في موضوع Pub/Sub في 25 حزيران (يونيو) 2019.

bq query --nouse_legacy_sql 'select (select count(*) from \
'$PROJECT_ID.$DATASET_ID.Patients'  where TIMESTAMP > "2019-06-25 \
01:29:00.0000 UTC" ) as Patients, (select count(*) from \
'$PROJECT_ID.$DATASET_ID.Allergies' where TIMESTAMP > "2019-06-25 \
01:29:00.0000 UTC") as Allergies;'

Waiting on bqjob_r14c8b94c1c0fe06a_0000016b960df4e1_1 ... (0s) Current status: DONE  
+----------+-----------+
| Patients | Allergies |
+----------+-----------+
|        2 |         1 |
+----------+-----------+

3. تحقَّق من أنّ الرسائل المنشورة على <your-topic> تم استلامها من قِبل <your-sub> مشترِك.

gcloud pubsub subscriptions pull --auto-ack <your-sub>

عرض النتائج

لعرض النتائج بعد نشر الرسائل في موضوع النشر/الاشتراك أثناء تشغيل مسار "الوقت الفعلي":

1. إجراء طلب بحث عن الجدول في واجهة مستخدم BigQuery. الانتقال إلى واجهة مستخدم BIGQUERY
2. قم بتحديث الاستعلام أدناه إلى اسم مشروعك ومجموعة البيانات والجدول الخاص بك.

8. التنظيف

لتجنُّب تحمُّل الرسوم المفروضة على حسابك في Google Cloud Platform مقابل الموارد المستخدَمة في هذا البرنامج التعليمي:

بعد الانتهاء من البرنامج التعليمي، يمكنك إخلاء الموارد التي أنشأتها على Google Cloud Platform حتى لا تشغل حصة ولن يتم تحصيل رسوم منك في المستقبل. توضّح الأقسام التالية كيفية حذف هذه المراجع أو إيقافها.

حذف مجموعة بيانات BigQuery

اتبع هذه التعليمات لحذف مجموعة بيانات BigQuery التي أنشأتها كجزء من هذا البرنامج التعليمي.

حذف حزمة GCS

اتّبِع التعليمات التالية لحذف حزمة GCS التي أنشأتها كجزء من هذا الدليل التوجيهي.

حذف مثيل Cloud Data Fusion

اتَّبِع هذه التعليمات لحذف النسخة الافتراضية من Cloud Data Fusion.

حذف المشروع

أسهل طريقة لإزالة الفوترة هي حذف المشروع الذي أنشأته للبرنامج التعليمي.

لحذف المشروع:

تنبيه: يؤدي حذف المشروع إلى التأثيرات التالية:

• تم حذف كل محتوى المشروع. إذا استخدمت مشروعًا حاليًا لهذا البرنامج التعليمي، فعند حذفه، يتم أيضًا حذف أي عمل آخر قمت به في هذا المشروع.
• يتم فقدان أرقام تعريف المشاريع المخصّصة. عندما أنشأت هذا المشروع، ربما تكون قد أنشأت رقم تعريف مشروع مخصّصًا تريد استخدامه في المستقبل. للاحتفاظ بعناوين URL التي تستخدم رقم تعريف المشروع، مثل عنوان URL لـ appspot.com، احذف الموارد المحدّدة داخل المشروع بدلاً من حذف المشروع بالكامل.

إذا كنت تخطط لاستكشاف العديد من البرامج التعليمية والبدايات السريعة، فيمكن أن تساعدك إعادة استخدام المشروعات في تجنب تجاوز حدود حصة المشروع.

1. في وحدة تحكُّم Google Cloud Platform، انتقِل إلى صفحة المشاريع. الانتقال إلى صفحة "المشاريع"
2. في قائمة المشاريع، اختَر المشروع الذي تريد حذفه وانقر على حذف.
3. في مربّع الحوار، اكتب رقم تعريف المشروع، ثم انقر على إيقاف التشغيل لحذف المشروع.

9. تهانينا

تهانينا، لقد أكملت بنجاح التمرين المعملي حول الترميز لنقل بيانات الرعاية الصحية في BigQuery باستخدام Cloud Data Fusion.

لقد نشرت بيانات ملف CSV في موضوع Pub/Sub، ثم حمَّلتها في BigQuery.

لقد قمت بصريًا بإنشاء مسار دمج البيانات لتحميل بيانات الرعاية الصحية وتحويلها وإخفاءها في الوقت الفعلي.

أنت الآن على علم بالخطوات الأساسية المطلوبة لبدء عملية تحليل بيانات الرعاية الصحية باستخدام BigQuery على Google Cloud Platform.