הטמעת נתוני CSV ב-BigQuery באמצעות Cloud Data Fusion – הטמעת נתונים באצווה

1. מבוא

העדכון האחרון: 28 בפברואר 2020

ב-codelab הזה מוצג דפוס של הטמעת נתונים להטמעה של נתונים בתחום הבריאות בפורמט CSV ב-BigQuery בכמות גדולה. בשיעור ה-Lab הזה נשתמש בפייפליין נתונים באצווה של Cloud Data Fusion. נתוני בדיקה ריאליסטיים של שירותי בריאות נוצרו והועמדו לרשותכם בקטגוריה של Cloud Storage‏ (gs://hcls_testing_data_fhir_10_patients/csv/).

בשיעור ה-Lab הזה תלמדו:

• איך להטמיע נתוני CSV (טעינה מתוזמנת באצווה) מ-GCS ל-BigQuery באמצעות Cloud Data Fusion.
• איך ליצור באופן ויזואלי צינור לשילוב נתונים ב-Cloud Data Fusion כדי לטעון, לשנות ולהסתיר נתונים רפואיים בכמות גדולה.

מה צריך כדי להריץ את ה-Codelab הזה?

• צריכה להיות לכם גישה לפרויקט GCP.
• צריכה להיות לכם הרשאת 'בעלים' בפרויקט GCP.
• נתוני בריאות בפורמט CSV, כולל הכותרת.

אם אין לכם פרויקט GCP, אתם יכולים לפעול לפי השלבים האלה כדי ליצור פרויקט GCP חדש.

נתוני בריאות בפורמט CSV נטענו מראש לקטגוריית GCS בכתובת gs://hcls_testing_data_fhir_10_patients/csv/. לכל קובץ CSV של משאב יש מבנה סכמה ייחודי. לדוגמה, ל-Patients.csv יש סכימה שונה מזו של Providers.csv. אפשר למצוא קובצי סכימה שנטענו מראש בכתובת gs://hcls_testing_data_fhir_10_patients/csv_schemas.

אם אתם צריכים מערך נתונים חדש, תמיד תוכלו ליצור אותו באמצעות SyntheaTM. לאחר מכן, מעלים אותו ל-GCS במקום להעתיק אותו מהמאגר בשלב 'העתקת נתוני קלט'.

הפניה:

פעולות בסיסיות ב-Cloud Data Fusion (מדריך למתחילים) באמצעות מסוף Google Cloud Platform.

2. הגדרת פרויקט GCP

מאתחלים משתני מעטפת עבור הסביבה.

כדי למצוא את PROJECT_ID, אפשר לעיין במאמר בנושא זיהוי פרויקטים.

<!-- CODELAB: Initialize shell variables ->
<!-- Your current GCP Project ID ->
export PROJECT_ID=<PROJECT_ID>
<!-- A new GCS Bucket in your current Project  - INPUT ->
export BUCKET_NAME=<BUCKET_NAME>
<!-- A new BQ Dataset ID - OUTPUT ->
export DATASET_ID=<DATASET_ID>

יוצרים קטגוריה ב-GCS לאחסון נתוני הקלט ויומני השגיאות באמצעות הכלי gsutil.

gsutil mb -l us gs://$BUCKET_NAME

קבלת גישה למערך הנתונים הסינתטי

1. מכתובת האימייל שבה אתם משתמשים כדי להיכנס למסוף Cloud, שולחים אימייל אל [e-mail] ומבקשים להצטרף.
2. תקבלו אימייל עם הוראות לאישור הפעולה.
3. משתמשים באפשרות להשיב לאימייל כדי להצטרף לקבוצה. אל תלחצו על הלחצן.
4. אחרי שתקבלו את אישור ההרשמה באימייל, תוכלו להמשיך לשלב הבא ב-codelab.

העתקת נתוני הקלט.

gsutil -m cp -r gs://hcls_testing_data_fhir_10_patients/csv gs://$BUCKET_NAME

יוצרים מערך נתונים ב-BigQuery.

bq mk --location=us --dataset $PROJECT_ID:$DATASET_ID

חשוב לזכור: תמיד אפשר ליצור קבוצה חדשה של נתוני בדיקה ריאליסטיים באמצעות SyntheaTM למעבדה הזו. לנוחיותכם, אנחנו מספקים מערך נתונים ב-GCS: ‏ gs://hcls_testing_data_fhir_10_patients/csv

3. הגדרת סביבת Cloud Data Fusion

כדי להפעיל את Cloud Data Fusion API ולהעניק את ההרשאות הנדרשות:

מפעילים את ממשקי ה-API.

1. עוברים אל GCP Console API Library.
2. ברשימת הפרויקטים, בוחרים את הפרויקט הרצוי.
3. ב-API Library, בוחרים את ה-API שרוצים להפעיל. אם אתם צריכים עזרה באיתור ה-API, אתם יכולים להשתמש בשדה החיפוש או במסננים.
4. בדף ה-API, לוחצים על ENABLE (הפעלה).

יוצרים מכונת Cloud Data Fusion.

1. ב-GCP Console, בוחרים את ProjectID.
2. בוחרים באפשרות Data Fusion מהתפריט הימני, ואז לוחצים על הלחצן CREATE AN INSTANCE (יצירת מופע) באמצע הדף (יצירה ראשונה), או לוחצים על הלחצן CREATE INSTANCE (יצירת מופע) בתפריט העליון (יצירה נוספת).

3. מזינים את שם המכונה. בוחרים באפשרות Enterprise.

4. לוחצים על הלחצן CREATE (יצירה).

הערה: תהליך יצירת המכונה עשוי להימשך עד 30 דקות.

הגדרת הרשאות למופע.

אחרי שיוצרים מופע, מבצעים את השלבים הבאים כדי לתת לחשבון השירות שמשויך למופע הרשאות בפרויקט:

הערה: צריך להעניק הרשאה רק פעם אחת בפרויקט.

1. כדי לעבור לדף הפרטים של המכונה, לוחצים על שם המכונה.

2. מעתיקים את חשבון השירות.

3. עוברים לדף IAM של הפרויקט.
4. בדף ההרשאות של IAM, מוסיפים את חשבון השירות כחבר חדש ומעניקים לו את התפקיד Cloud Data Fusion API Service Agent. לוחצים על הלחצן Add, מדביקים את 'חשבון השירות' בשדה New members ובוחרים באפשרות Service Management -> Cloud Data Fusion API Server Agent role.
5. 
6. לוחצים על שמירה.

אחרי שמבצעים את השלבים האלה, אפשר להתחיל להשתמש ב-Cloud Data Fusion. לשם כך, לוחצים על הקישור View Instance (הצגת המכונה) בדף המכונות של Cloud Data Fusion או בדף הפרטים של מכונה.

מגדירים את הכלל בחומת האש.

1. עוברים אל מסוף GCP -> VPC Network -> Firewall rules כדי לבדוק אם הכלל default-allow-ssh קיים או לא.

2. אם לא, מוסיפים כלל חומת אש שמאפשר את כל תעבורת הנתונים הנכנסת של SSH לרשת שמוגדרת כברירת מחדל.

באמצעות שורת הפקודה:

gcloud beta compute --project={PROJECT_ID} firewall-rules create default-allow-ssh --direction=INGRESS --priority=1000 --network=default --action=ALLOW --rules=tcp:22 --source-ranges=0.0.0.0/0 --enable-logging

באמצעות ממשק המשתמש: לוחצים על Create Firewall Rule (יצירת כלל של חומת אש) וממלאים את הפרטים:

4. יצירת סכימה לטרנספורמציה

עכשיו, אחרי שיש לנו את סביבת Cloud Fusion ב-GCP, נבנה סכימה. אנחנו צריכים את הסכימה הזו כדי לבצע טרנספורמציה של נתוני ה-CSV.

1. בחלון Cloud Data Fusion, לוחצים על הקישור 'הצגת המופע' בעמודה 'פעולה'. המערכת תפנה אתכם לדף אחר. לוחצים על כתובת ה-URL שמופיעה כדי לפתוח את המכונה של Cloud Data Fusion. הבחירה שלכם אם ללחוץ על הלחצן 'התחלת סיור' או על הלחצן 'לא, תודה' בחלון הקופץ של הודעת הפתיחה.
2. מרחיבים את תפריט ההמבורגר, בוחרים באפשרות Pipeline (צינור) -> Studio (סטודיו).

3. בקטע Transform (טרנספורמציה) בפלטת התוספים בצד ימין, לוחצים פעמיים על הצומת Wrangler שיופיע בממשק המשתמש של Data Pipelines.

4. מציבים את הסמן מעל צומת ה-Wrangler ולוחצים על Properties (מאפיינים). לוחצים על הלחצן Wrangle ואז בוחרים קובץ מקור מסוג ‎.csv (לדוגמה, patients.csv). בקובץ הזה צריכים להיות כל שדות הנתונים כדי ליצור את הסכימה הרצויה.
5. לוחצים על החץ למטה (המרות של עמודות) לצד כל שם עמודה (לדוגמה, body).
6. כברירת מחדל, הייבוא הראשוני יניח שיש רק עמודה אחת בקובץ הנתונים. כדי לנתח אותו כקובץ CSV, בוחרים באפשרות ניתוח → CSV, ואז בוחרים את התו להפרדה ומסמנים את התיבה 'הגדרת השורה הראשונה ככותרת' לפי הצורך. לוחצים על הלחצן 'אישור'.
7. לוחצים על החץ למטה לצד השדה 'גוף' ובוחרים באפשרות 'מחיקת העמודה' כדי להסיר את השדה 'גוף'. בנוסף, אפשר לנסות טרנספורמציות אחרות, כמו הסרת עמודות, שינוי סוג הנתונים של חלק מהעמודות (ברירת המחדל היא סוג 'מחרוזת'), פיצול עמודות, הגדרת שמות עמודות וכו'.

8. בכרטיסיות 'עמודות' ו'שלבי טרנספורמציה' מוצגים סכימת הפלט והמתכון של Wrangler. לוחצים על אישור בפינה השמאלית העליונה. לוחצים על הלחצן 'אימות'. ההודעה הירוקה 'לא נמצאו שגיאות' מציינת שהפעולה הצליחה.

9. ב-Wrangler Properties, לוחצים על התפריט הנפתח Actions כדי Export את הסכימה הרצויה לאחסון המקומי לשימוש עתידי בImport אם צריך.
10. שומרים את המתכון של Wrangler לשימוש עתידי.

parse-as-csv :body ',' true
drop body

11. כדי לסגור את החלון Wrangler Properties (מאפייני Wrangler), לוחצים על הלחצן X.

5. פיתוח צמתים לצינור עיבוד הנתונים

בקטע הזה ניצור את רכיבי צינור העיבוד.

1. בממשק המשתמש של Data Pipelines, בפינה הימנית העליונה, אמורה להופיע האפשרות Data Pipeline - Batch (צינור נתונים – אצווה) כסוג צינור הנתונים שנבחר.

2. בחלונית הימנית יש קטעים שונים כמו Filter (מסנן), Source (מקור), Transform (שינוי), Analytics (ניתוח), Sink (יעד), Conditions and Actions (תנאים ופעולות), Error Handlers (טיפול בשגיאות) ו-Alerts (התראות), שבהם אפשר לבחור צומת או צמתים לצינור.

צומת מקור

1. בוחרים את צומת המקור.
2. בקטע Source (מקור) בלוח התוספים שמימין, לוחצים לחיצה כפולה על הצומת Google Cloud Storage שמופיע בממשק המשתמש של Data Pipelines.
3. מעבירים את העכבר מעל צומת המקור של GCS ולוחצים על מאפיינים.

4. מזינים את הפרטים בשדות הדרושים. מגדירים את השדות הבאים:

• ‫Label = {any text}
• שם הפניה = {כל טקסט}
• ‫Project ID = זיהוי אוטומטי
• ‫Path = כתובת GCS URL לדלי בפרויקט הנוכחי. לדוגמה, gs://$BUCKET_NAME/csv/
• ‫Format = text
• ‫Path Field = filename
• ‫Path Filename Only = true
• ‫Read Files Recursively = true

5. מוסיפים את השדה filename (שם הקובץ) לסכימת הפלט של GCS על ידי לחיצה על הלחצן +.
6. לחיצה על Documentation תציג הסבר מפורט. לוחצים על הלחצן 'אימות'. ההודעה הירוקה 'לא נמצאו שגיאות' מציינת שהפעולה הצליחה.
7. כדי לסגור את המאפיינים של GCS, לוחצים על הלחצן X.

צומת של טרנספורמציה

1. בוחרים את צומת הטרנספורמציה.
2. בקטע Transform (טרנספורמציה) בפלטת התוספים בצד ימין, לוחצים פעמיים על הצומת Wrangler שמופיע בממשק המשתמש של Data Pipelines (צינורות נתונים). מחברים את צומת המקור GCS לצומת ההמרה Wrangler.
3. מציבים את הסמן מעל צומת ה-Wrangler ולוחצים על Properties (מאפיינים).
4. לוחצים על התפריט הנפתח פעולות ובוחרים באפשרות ייבוא כדי לייבא סכימה שמורה (לדוגמה: gs://hcls_testing_data_fhir_10_patients/csv_schemas/ schema (Patients).json), ומדביקים את המתכון השמור מהקטע הקודם.
5. אפשר גם להשתמש מחדש בצומת Wrangler מהקטע יצירת סכימה לטרנספורמציה.
6. מזינים את הפרטים בשדות הדרושים. מגדירים את השדות הבאים:

• Label = {any text}
• שם השדה להזנת קלט = {*}
• ‫Precondition = {filename != "patients.csv"} כדי להבחין בין כל קובץ קלט (לדוגמה, patients.csv,‏ providers.csv,‏ allergies.csv וכו') לבין צומת המקור.

7. מוסיפים צומת JavaScript כדי להריץ את ה-JavaScript שהמשתמש סיפק, שמשנה עוד יותר את הרשומות. ב-codelab הזה, אנחנו משתמשים בצומת JavaScript כדי לקבל חותמת זמן לכל עדכון של רשומה. מחברים את צומת ההמרה של Wrangler לצומת ההמרה של JavaScript. פותחים את Properties (מאפיינים) של JavaScript ומוסיפים את הפונקציה הבאה:

function transform(input, emitter, context) {
  input.TIMESTAMP = (new Date()).getTime()*1000;
  emitter.emit(input);
}

8. לוחצים על הסמל + כדי להוסיף את השדה TIMESTAMP לסכימת הפלט (אם הוא לא קיים). בוחרים את חותמת הזמן כסוג הנתונים.

9. לקבלת הסבר מפורט, לוחצים על Documentation (מסמכים). לוחצים על הלחצן 'אימות' כדי לאמת את כל פרטי הקלט. ההודעה הירוקה 'לא נמצאו שגיאות' מציינת שהפעולה הצליחה.
10. כדי לסגור את החלון 'מאפייני שינוי הצורה', לוחצים על הלחצן X.

אנונימיזציה והסרת פרטי הזיהוי מהנתונים

1. אפשר לבחור עמודות נתונים ספציפיות על ידי לחיצה על החץ למטה בעמודה והחלת כללי מיסוך בהתאם לדרישות (לדוגמה, עמודת מספר הביטוח הלאומי).

2. אפשר להוסיף עוד הוראות בחלון Recipe של הצומת Wrangler. לדוגמה, כדי להסיר את הפרטים המזהים, משתמשים בהנחיית הגיבוב עם אלגוריתם הגיבוב לפי התחביר הבא:

hash <column> <algorithm> <encode>

<column>: name of the column
<algorithm>: Hashing algorithm (i.e. MD5, SHA-1, etc.)
<encode>: default is true (hashed digest is encoded as hex with left-padding zeros). To disable hex encoding, set <encode> to false.

הערה: הערך True מציין שהעמודה body תנותח עם הסימון של האפשרות Set first row as header (הגדרת השורה הראשונה ככותרת).

צומת יעד

1. בוחרים את צומת היעד.
2. בקטע Sink בפלטת התוספים בצד ימין, לוחצים פעמיים על הצומת BigQuery שיופיע בממשק המשתמש של Data Pipeline.
3. מציבים את הסמן מעל צומת היעד של BigQuery ולוחצים על Properties (מאפיינים).

4. ממלאים את שדות החובה. מגדירים את השדות הבאים:

• ‫Label = {any text}
• שם הפניה = {כל טקסט}
• ‫Project ID = זיהוי אוטומטי
• ‫Dataset = מערך נתונים ב-BigQuery שמשמש בפרויקט הנוכחי (כלומר, DATASET_ID)
• ‫Table = {table name}

5. לקבלת הסבר מפורט, לוחצים על Documentation (מסמכים). לוחצים על הלחצן 'אימות' כדי לאמת את כל פרטי הקלט. ההודעה הירוקה 'לא נמצאו שגיאות' מציינת שהפעולה הצליחה.

6. כדי לסגור את BigQuery Properties, לוחצים על הלחצן X.

6. פיתוח פייפליין נתונים באצווה

חיבור כל הצמתים בצינור

1. גוררים חץ של חיבור > מהקצה הימני של צומת המקור ומשחררים אותו בקצה השמאלי של צומת היעד.
2. לצינור יכולים להיות כמה ענפים שמקבלים קובצי קלט מאותו צומת מקור GCS.

הערה: צריך ליצור ענף אחד מהצומת של המקור בצינור לכל קובץ קלט מסוג CSV.

3. נותנים שם לצינור.

הערה: במהלך התהליך הזה, הסכימה מתפשטת באופן אוטומטי כשיוצרים את צינור הנתונים. אפשר גם לייבא את הסכימה הרצויה.

זה הכול. יצרתם עכשיו את פייפליין הנתונים הראשון שלכם לעיבוד באצווה, ואתם יכולים לפרוס ולהפעיל אותו.

שליחת התראות על צינורות עיבוד נתונים באימייל (אופציונלי)

כדי להשתמש בתכונה Pipeline Alert SendEmail, צריך להגדיר שרת דואר לשליחת דואר ממופע של מכונה וירטואלית. מידע נוסף זמין בקישור הבא:

שליחת אימייל ממכונה | מאמרי העזרה של Compute Engine

ב-Codelab הזה נגדיר שרת ממסר דואר דרך Mailgun לפי השלבים הבאים:

1. כדי להגדיר חשבון ב-Mailgun ולהגדיר את שירות ממסר האימייל, פועלים לפי ההוראות במאמר שליחת אימייל באמצעות Mailgun | חומרי עזר של Compute Engine. בהמשך מפורטים שינויים נוספים.
2. מוסיפים את כל כתובות האימייל של הנמענים לרשימת ההרשאות של Mailgun. הרשימה הזו נמצאת באפשרות Mailgun>Sending>Overview בחלונית הימנית.

אחרי שהנמענים ילחצו על 'אני מסכים/ה' באימייל שנשלח מכתובת [e-mail], כתובות האימייל שלהם יישמרו ברשימה המורשית לקבלת התראות על צינורות.

3. שלב 3 בקטע 'לפני שמתחילים' – יצירת כלל לחומת האש באופן הבא:

4. שלב 3 מתוך 'הגדרת Mailgun כממסר דואר עם Postfix'. בוחרים באפשרות אתר אינטרנט או אינטרנט עם שרת חכם במקום באפשרות רק מקומי, כמו שמופיע בהוראות.

5. שלב 4 מתוך 'הגדרת Mailgun כשרת ממסר דואר באמצעות Postfix'. עורכים את vi /etc/postfix/main.cf כדי להוסיף את 10.128.0.0/9 בסוף mynetworks.

6. עורכים את vi /etc/postfix/master.cf כדי לשנות את ברירת המחדל של smtp ‏ (25) ליציאה 587.

7. בפינה השמאלית העליונה של סטודיו Data Fusion, לוחצים על Configure (הגדרה). לוחצים על Pipeline alert (התראה על צינור) ואז על לחצן + כדי לפתוח את החלון Alerts (התראות). בוחרים באפשרות SendEmail.

8. ממלאים את טופס ההגדרה של אימייל. בתפריט הנפתח Run Condition בוחרים באפשרות completion, success או failure לכל סוג התראה. אם Include Workflow Token = false, יישלח רק המידע מהשדה Message. אם Include Workflow Token = true, המידע מהשדה Message ופרטים על Workflow Token נשלחים. חובה להשתמש באותיות קטנות בשדה פרוטוקול. אל תשתמשו בכתובת אימייל פיקטיבית בשדה שולח, אלא בכתובת האימייל של החברה שלכם.

7. הגדרה, פריסה, הפעלה או תזמון של צינור עיבוד נתונים

1. בפינה השמאלית העליונה של סטודיו Data Fusion, לוחצים על Configure (הגדרה). בוחרים באפשרות Spark for Engine Config (הגדרת מנוע). לוחצים על Save (שמירה) בחלון Configure (הגדרה).

2. לוחצים על תצוגה מקדימה כדי לראות תצוגה מקדימה של הנתונים**,** ולוחצים שוב על **תצוגה מקדימה** כדי לחזור לחלון הקודם. אפשר גם **להפעיל** את צינור הנתונים במצב תצוגה מקדימה.

3. לוחצים על יומנים כדי לראות את היומנים.
4. לוחצים על שמירה כדי לשמור את כל השינויים.
5. לוחצים על ייבוא כדי לייבא הגדרת צינור עיבוד נתונים שנשמרה כשיוצרים צינור עיבוד נתונים חדש.
6. לוחצים על ייצוא כדי לייצא הגדרה של צינור עיבוד נתונים.
7. לוחצים על Deploy (פריסה) כדי לפרוס את צינור עיבוד הנתונים.
8. אחרי הפריסה, לוחצים על Run ומחכים עד שהצינור יפעל עד הסוף.

הערה: כשמריצים צינור, Cloud Data Fusion מקצה אשכול זמני של Cloud Dataproc, מריץ את הצינור ואז מפרק את האשכול. היא עשויה להימשך כמה דקות. במהלך הזמן הזה, תוכלו לראות את הסטטוס של המעבר של צינור הנתונים מהקצאת הרשאות להפעלה לפועל לביטול של ניהול הקצאות להושלם.

9. כדי לשכפל את צינור המכירות, לוחצים על הכפתור פעולות ובוחרים באפשרות 'שכפול'.
10. כדי לייצא את הגדרות צינור עיבוד הנתונים, לוחצים על פעולות ואז על ייצוא.
11. אם רוצים להגדיר טריגרים של צינורות, לוחצים על Inbound triggers (טריגרים נכנסים) או על Outbound triggers (טריגרים יוצאים) בקצה השמאלי או הימני של חלון Studio.
12. לוחצים על תזמון כדי לתזמן את הפעלת צינור הנתונים וטעינת הנתונים באופן תקופתי.

13. בכרטיסייה סיכום מוצגים תרשימים של היסטוריית ההרצה, רשומות, יומני שגיאות ואזהרות.

8. אימות

1. הצינור Validate הופעל בהצלחה.

2. מוודאים שלמערך הנתונים ב-BigQuery יש את כל הטבלאות.

bq ls $PROJECT_ID:$DATASET_ID

     tableId       Type    Labels   Time Partitioning
----------------- ------- -------- -------------------
 Allergies         TABLE
 Careplans         TABLE
 Conditions        TABLE
 Encounters        TABLE
 Imaging_Studies   TABLE
 Immunizations     TABLE
 Medications       TABLE
 Observations      TABLE
 Organizations     TABLE
 Patients          TABLE
 Procedures        TABLE
 Providers         TABLE

3. קבלת התראות באימייל (אם הוגדרו).

איך רואים את התוצאות

כדי לראות את התוצאות אחרי הפעלת הצינור:

1. מריצים שאילתה על הטבלה בממשק המשתמש של BigQuery. מעבר לממשק המשתמש של BigQuery
2. מעדכנים את השאילתה שלמטה לשם הפרויקט, מערך הנתונים והטבלה שלכם.

9. סידור וארגון

כדי להימנע מחיובים בחשבון Google Cloud Platform בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה:

בסיום המדריך, חשוב למחוק את המשאבים שיצרתם ב-GCP כדי שלא יתפסו חלק מהמכסה שלכם ולא תחויבו עליהם בעתיד. בסעיפים הבאים מוסבר איך למחוק או להשבית את המשאבים האלו.

מחיקת מערך הנתונים ב-BigQuery

כדי למחוק את מערך הנתונים ב-BigQuery שיצרתם במסגרת המדריך הזה, פועלים לפי ההוראות האלה.

מחיקת קטגוריית GCS

כדי למחוק את קטגוריית ה-GCS שיצרתם כחלק מההדרכה הזו, פועלים לפי ההוראות הבאות.

מחיקת מכונת Cloud Data Fusion

פועלים לפי ההוראות כדי למחוק את מופע Cloud Data Fusion.

מחיקת הפרויקט

הדרך הקלה ביותר לבטל את החיוב היא למחוק את הפרויקט שיצרתם בשביל המדריך.

כדי למחוק את הפרויקט:

זהירות: כשמוחקים פרויקט:

• התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
• מאבדים את מזהה הפרויקט בהתאמה אישית. כשיצרתם את הפרויקט, יכולתם לבחור לו מזהה פרויקט בהתאמה אישית כדי להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו כתובת URL של appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו.

אם אתם מתכננים להיעזר במספר מדריכי לימוד או מדריכים למתחילים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

1. במסוף GCP, נכנסים לדף Projects. כניסה לדף Projects
2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על מחיקה.
3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

10. מזל טוב

סיימתם בהצלחה את סדנת הקוד להטמעת נתונים בתחום הבריאות ב-BigQuery באמצעות Cloud Data Fusion.

ייבאתם נתוני CSV מ-Google Cloud Storage ל-BigQuery.

יצרתם באופן ויזואלי את צינור עיבוד הנתונים לשילוב נתונים כדי לטעון, לשנות ולהסתיר נתונים של שירותי בריאות בכמות גדולה.

עכשיו אתם יודעים מהם השלבים העיקריים שצריך לבצע כדי להתחיל את התהליך של ניתוח נתונים בתחום הבריאות באמצעות BigQuery ב-Google Cloud Platform.