הטמעת נתוני CSV ב-BigQuery באמצעות Cloud Data Fusion – הטמעת נתונים באצווה

1. מבוא

העדכון האחרון: 28 בפברואר 2020

בשיעור Codelab הזה נסביר איך להטמיע נתונים בפורמט CSV של נתוני בריאות ב-BigQuery בכמות גדולה. בשיעור ה-Lab הזה נשתמש בצינור נתונים באצווה של Cloud Data Fusion. נתוני בדיקה ריאליסטיים של שירותי בריאות נוצרו והועמדו לרשותכם בקטגוריה של Google Cloud Storage ‏ (gs://hcls_testing_data_fhir_10_patients/csv/).

בשיעור ה-Lab הזה תלמדו:

• איך מטמיעים נתוני CSV (טעינה מתוזמנת באצוות) מ-GCS ל-BigQuery באמצעות Cloud Data Fusion.
• איך ליצור באופן ויזואלי צינור לשילוב נתונים ב-Cloud Data Fusion כדי לטעון, לשנות ולהסתיר נתונים בתחום הבריאות בכמות גדולה.

מה צריך כדי להריץ את ה-Codelab הזה?

• אתם צריכים גישה לפרויקט GCP.
• צריכה להיות לכם הרשאת 'בעלים' בפרויקט GCP.
• נתוני בריאות בפורמט CSV, כולל הכותרת.

אם אין לכם פרויקט ב-GCP, אתם יכולים לפעול לפי השלבים האלה כדי ליצור פרויקט חדש ב-GCP.

נתוני בריאות בפורמט CSV נטענו מראש לקטגוריית GCS בכתובת gs://hcls_testing_data_fhir_10_patients/csv/. לכל קובץ CSV של משאב יש מבנה סכמה ייחודי. לדוגמה, ל-Patients.csv יש סכימה שונה מזו של Providers.csv. אפשר למצוא קובצי סכימה שנטענו מראש בכתובת gs://hcls_testing_data_fhir_10_patients/csv_schemas.

אם אתם צריכים מערך נתונים חדש, תמיד תוכלו ליצור אותו באמצעות SyntheaTM. לאחר מכן, מעלים אותו ל-GCS במקום להעתיק אותו מהמאגר בשלב 'העתקת נתוני קלט'.

מקור:

פעולות בסיסיות ב-Cloud Data Fusion (מדריך למתחילים) באמצעות מסוף Google Cloud Platform.

2. הגדרת פרויקט GCP

מאתחלים משתני מעטפת עבור הסביבה.

כדי למצוא את PROJECT_ID, אפשר לעיין במאמר בנושא זיהוי פרויקטים.

<!-- CODELAB: Initialize shell variables ->
<!-- Your current GCP Project ID ->
export PROJECT_ID=<PROJECT_ID>
<!-- A new GCS Bucket in your current Project  - INPUT ->
export BUCKET_NAME=<BUCKET_NAME>
<!-- A new BQ Dataset ID - OUTPUT ->
export DATASET_ID=<DATASET_ID>

יוצרים קטגוריה ב-GCS לאחסון נתוני הקלט ויומני השגיאות באמצעות הכלי gsutil.

gsutil mb -l us gs://$BUCKET_NAME

קבלת גישה למערך הנתונים הסינתטי

1. מכתובת האימייל שבה אתם משתמשים כדי להיכנס למסוף Cloud, שולחים אימייל אל [e-mail] ומבקשים להצטרף.
2. תקבלו אימייל עם הוראות לאישור הפעולה.
3. משתמשים באפשרות להשיב לאימייל כדי להצטרף לקבוצה. אל תלחצו על הלחצן.
4. אחרי שתקבלו את אישור ההרשמה באימייל, תוכלו להמשיך לשלב הבא ב-codelab.

העתקת נתוני הקלט.

gsutil -m cp -r gs://hcls_testing_data_fhir_10_patients/csv gs://$BUCKET_NAME

יוצרים מערך נתונים ב-BigQuery.

bq mk --location=us --dataset $PROJECT_ID:$DATASET_ID

חשוב לזכור: תמיד אפשר ליצור קבוצה חדשה של נתוני בדיקה ריאליסטיים באמצעות SyntheaTM למעבדה הזו. לנוחיותכם, אנחנו מספקים מערך נתונים ב-GCS: ‏ gs://hcls_testing_data_fhir_10_patients/csv

3. הגדרת סביבת Cloud Data Fusion

כדי להפעיל את Cloud Data Fusion API ולהעניק את ההרשאות הנדרשות:

מפעילים את ממשקי ה-API.

1. עוברים אל GCP Console API Library.
2. ברשימת הפרויקטים, בוחרים את הפרויקט הרצוי.
3. ב-API Library, בוחרים את ה-API שרוצים להפעיל. אם אתם צריכים עזרה באיתור ה-API, אתם יכולים להשתמש בשדה החיפוש או במסננים.
4. בדף ה-API, לוחצים על ENABLE (הפעלה).

יוצרים מכונת Cloud Data Fusion.

1. ב-GCP Console, בוחרים את ProjectID.
2. בתפריט הימני, בוחרים באפשרות Data Fusion ולוחצים על הלחצן CREATE AN INSTANCE (יצירת מופע) באמצע הדף (יצירה ראשונה) או בתפריט העליון (יצירה נוספת).

3. מזינים את שם המכונה. בוחרים באפשרות Enterprise.

4. לוחצים על הלחצן CREATE (יצירה).

הערה: תהליך יצירת המכונה עשוי להימשך עד 30 דקות.

הגדרת הרשאות למופע.

אחרי שיוצרים מופע, מבצעים את השלבים הבאים כדי לתת לחשבון השירות שמשויך למופע הרשאות בפרויקט:

הערה: צריך להעניק הרשאה רק פעם אחת בפרויקט.

1. כדי לעבור לדף הפרטים של המכונה, לוחצים על שם המכונה.

2. מעתיקים את חשבון השירות.

3. עוברים לדף IAM של הפרויקט.
4. בדף ההרשאות של IAM, מוסיפים את חשבון השירות כחבר חדש ומעניקים לו את התפקיד Cloud Data Fusion API Service Agent. לוחצים על הלחצן Add, מדביקים את 'חשבון השירות' בשדה New members ובוחרים באפשרות Service Management -> Cloud Data Fusion API Server Agent role.
5. 
6. לוחצים על שמירה.

אחרי שמבצעים את השלבים האלה, אפשר להתחיל להשתמש ב-Cloud Data Fusion. לשם כך, לוחצים על הקישור View Instance (הצגת המכונה) בדף המכונות של Cloud Data Fusion או בדף הפרטים של מכונה.

מגדירים את הכלל בחומת האש.

1. עוברים אל GCP Console -> VPC Network -> Firewall rules כדי לבדוק אם הכלל default-allow-ssh קיים או לא.

2. אם לא, מוסיפים כלל חומת אש שמאפשר את כל תעבורת הנתונים הנכנסת דרך SSH לרשת שמוגדרת כברירת מחדל.

באמצעות שורת הפקודה:

gcloud beta compute --project={PROJECT_ID} firewall-rules create default-allow-ssh --direction=INGRESS --priority=1000 --network=default --action=ALLOW --rules=tcp:22 --source-ranges=0.0.0.0/0 --enable-logging

באמצעות ממשק המשתמש: לוחצים על Create Firewall Rule (יצירת כלל של חומת אש) וממלאים את הפרטים:

4. יצירת סכימה לטרנספורמציה

עכשיו, אחרי שיש לנו את סביבת Cloud Fusion ב-GCP, נבנה סכימה. אנחנו צריכים את הסכימה הזו כדי לבצע טרנספורמציה של נתוני ה-CSV.

1. בחלון Cloud Data Fusion, לוחצים על הקישור 'הצגת המופע' בעמודה 'פעולה'. המערכת תפנה אתכם לדף אחר. לוחצים על כתובת ה-URL שמופיעה כדי לפתוח את מכונת Cloud Data Fusion. הבחירה שלכם אם ללחוץ על הלחצן 'התחלת סיור' או על הלחצן 'לא, תודה' בחלון הקופץ של הודעת הפתיחה.
2. מרחיבים את תפריט ההמבורגר, בוחרים באפשרות Pipeline (צינור) -> Studio.

3. בקטע Transform (טרנספורמציה) בפלטת התוספים בצד ימין, לוחצים לחיצה כפולה על הצומת Wrangler שיופיע בממשק המשתמש של Data Pipelines (צינורות נתונים).

4. מציבים את הסמן מעל צומת ה-Wrangler ולוחצים על Properties (מאפיינים). לוחצים על הלחצן Wrangle ואז בוחרים קובץ מקור מסוג ‎.csv (לדוגמה, patients.csv). בקובץ הזה צריכים להיות כל שדות הנתונים כדי ליצור את הסכימה הרצויה.
5. לוחצים על החץ למטה (שינויים בעמודות) לצד כל שם עמודה (לדוגמה, body).
6. כברירת מחדל, הייבוא הראשוני יניח שיש רק עמודה אחת בקובץ הנתונים. כדי לנתח אותו כקובץ CSV, בוחרים באפשרות ניתוח → CSV, ואז בוחרים את התו להפרדה ומסמנים את התיבה 'הגדרת השורה הראשונה ככותרת' לפי הצורך. לוחצים על הלחצן 'אישור'.
7. לוחצים על החץ למטה לצד השדה 'גוף ההודעה' ובוחרים באפשרות 'מחיקת העמודה' כדי להסיר את השדה 'גוף ההודעה'. בנוסף, אפשר לנסות טרנספורמציות אחרות כמו הסרת עמודות, שינוי סוג הנתונים של חלק מהעמודות (ברירת המחדל היא סוג 'מחרוזת'), פיצול עמודות, הגדרת שמות עמודות וכו'.

8. בכרטיסיות 'עמודות' ו'שלבי טרנספורמציה' מוצגים סכימת הפלט והמתכון של Wrangler. לוחצים על אישור בפינה השמאלית העליונה. לוחצים על הלחצן 'אימות'. ההודעה הירוקה 'לא נמצאו שגיאות' מציינת שהפעולה הצליחה.

9. ב-Wrangler Properties, לוחצים על התפריט הנפתח Actions (פעולות) כדי Export (לייצא) את הסכימה הרצויה לאחסון המקומי לטובת Import (ייבוא) עתידי, אם צריך.
10. שומרים את המתכון של Wrangler לשימוש עתידי.

parse-as-csv :body ',' true
drop body

11. כדי לסגור את החלון Wrangler Properties (מאפייני Wrangler), לוחצים על הלחצן X.

5. פיתוח צמתים לצינור עיבוד הנתונים

בקטע הזה ניצור את רכיבי צינור העיבוד.

1. בממשק המשתמש של צינורות להעברת נתונים, בפינה הימנית העליונה, אמורה להיות האפשרות צינור להעברת נתונים – אצווה שנבחרה כסוג הצינור.

2. בחלונית הימנית יש קטעים שונים כמו Filter (סינון), Source (מקור), Transform (שינוי), Analytics (ניתוח), Sink (יעד), Conditions and Actions (תנאים ופעולות), Error Handlers (טיפול בשגיאות) ו-Alerts (התראות), שבהם אפשר לבחור צומת או צמתים לצינור.

צומת מקור

1. בוחרים את צומת המקור.
2. בקטע Source (מקור) בלוח התוספים מימין, לוחצים לחיצה כפולה על הצומת Google Cloud Storage שמופיע בממשק המשתמש של Data Pipelines.
3. מצביעים על צומת המקור של GCS ולוחצים על מאפיינים.

4. מזינים את הפרטים בשדות הדרושים. מגדירים את השדות הבאים:

• ‫Label = {any text}
• שם הפניה = {כל טקסט}
• ‫Project ID = זיהוי אוטומטי
• ‫Path = כתובת ה-URL של GCS לקטגוריה בפרויקט הנוכחי. לדוגמה, gs://$BUCKET_NAME/csv/
• ‫Format = text
• ‫Path Field = filename
• ‫Path Filename Only = true
• ‫Read Files Recursively = true

5. מוסיפים את השדה filename (שם הקובץ) לסכימת הפלט של GCS בלחיצה על הלחצן +.
6. לחיצה על Documentation תציג הסבר מפורט. לוחצים על הלחצן 'אימות'. ההודעה הירוקה 'לא נמצאו שגיאות' מציינת שהפעולה הצליחה.
7. כדי לסגור את המאפיינים של GCS, לוחצים על הלחצן X.

צומת של שינוי

1. בוחרים את צומת הטרנספורמציה.
2. בקטע Transform (טרנספורמציה) בלוח התוספים בצד ימין, לוחצים פעמיים על הצומת Wrangler שמופיע בממשק המשתמש של Data Pipelines (צינורות נתונים). מחברים את צומת המקור GCS לצומת ההמרה Wrangler.
3. מציבים את הסמן מעל צומת ה-Wrangler ולוחצים על Properties (מאפיינים).
4. לוחצים על התפריט הנפתח פעולות ובוחרים באפשרות ייבוא כדי לייבא סכימה שנשמרה (לדוגמה: gs://hcls_testing_data_fhir_10_patients/csv_schemas/ schema (Patients).json), ומדביקים את המתכון שנשמר מהקטע הקודם.
5. אפשר גם להשתמש מחדש בצומת Wrangler מהקטע יצירת סכימה לטרנספורמציה.
6. מזינים את הפרטים בשדות הדרושים. מגדירים את השדות הבאים:

• Label = {any text}
• שם השדה להזנת קלט = {*}
• ‫Precondition = {filename != "patients.csv"} כדי להבחין בין כל קובץ קלט (לדוגמה, patients.csv,‏ providers.csv,‏ allergies.csv וכו') לבין צומת המקור.

7. מוסיפים צומת JavaScript כדי להפעיל את ה-JavaScript שהמשתמש סיפק, שמבצע טרנספורמציה נוספת של הרשומות. בשיעור Codelab הזה נשתמש בצומת JavaScript כדי לקבל חותמת זמן לכל עדכון של רשומה. מחברים את צומת ההמרה של Wrangler לצומת ההמרה של JavaScript. פותחים את Properties (מאפיינים) של JavaScript ומוסיפים את הפונקציה הבאה:

function transform(input, emitter, context) {
  input.TIMESTAMP = (new Date()).getTime()*1000;
  emitter.emit(input);
}

8. לוחצים על הסמל + כדי להוסיף את השדה TIMESTAMP (אם הוא לא קיים) לסכימת הפלט. בוחרים את חותמת הזמן כסוג הנתונים.

9. לקבלת הסבר מפורט, לוחצים על Documentation (מסמכים). לוחצים על הלחצן 'אימות' כדי לאמת את כל פרטי הקלט. ההודעה הירוקה 'לא נמצאו שגיאות' מציינת שהפעולה הצליחה.
10. כדי לסגור את החלון Transform Properties (מאפייני שינוי הצורה), לוחצים על הלחצן X.

אנונימיזציה והסרת פרטי הזיהוי מהנתונים

1. כדי לבחור עמודות נתונים ספציפיות, לוחצים על החץ למטה בעמודה ומחילים כללי מיסוך בהתאם לדרישות (לדוגמה, עמודת מספר הביטוח הלאומי).

2. אפשר להוסיף עוד הוראות בחלון Recipe (מתכון) של הצומת Wrangler (מנהל נתונים). לדוגמה, כדי להסיר את הפרטים המזהים, משתמשים בהנחיית הגיבוב עם אלגוריתם הגיבוב לפי התחביר הבא:

hash <column> <algorithm> <encode>

<column>: name of the column
<algorithm>: Hashing algorithm (i.e. MD5, SHA-1, etc.)
<encode>: default is true (hashed digest is encoded as hex with left-padding zeros). To disable hex encoding, set <encode> to false.

הערה: הערך True מציין שהעמודה body מנותחת עם הסימון של האפשרות 'הגדרת השורה הראשונה ככותרת'.

Sink node

1. בוחרים את צומת היעד.
2. בקטע Sink בפלטת התוספים בצד ימין, לוחצים פעמיים על הצומת BigQuery שיופיע בממשק המשתמש של צינור הנתונים.
3. מציבים את הסמן מעל צומת היעד של BigQuery ולוחצים על Properties (מאפיינים).

4. ממלאים את שדות החובה. מגדירים את השדות הבאים:

• ‫Label = {any text}
• שם הפניה = {כל טקסט}
• ‫Project ID = זיהוי אוטומטי
• ‫Dataset = מערך נתונים ב-BigQuery שמשמש בפרויקט הנוכחי (כלומר, DATASET_ID)
• ‫Table = {table name}

5. לקבלת הסבר מפורט, לוחצים על Documentation (מסמכים). לוחצים על הלחצן 'אימות' כדי לאמת את כל פרטי הקלט. ההודעה הירוקה 'לא נמצאו שגיאות' מציינת שהפעולה הצליחה.

6. כדי לסגור את BigQuery Properties (מאפייני BigQuery), לוחצים על הלחצן X.

6. פיתוח צינור עיבוד נתונים באצווה

חיבור כל הצמתים בצינור

1. גוררים חץ של חיבור > מהקצה השמאלי של צומת המקור ומשחררים אותו על הקצה הימני של צומת היעד.
2. לצינור יכולים להיות כמה ענפים שמקבלים קובצי קלט מאותו צומת מקור GCS.

הערה: צריך ליצור ענף אחד מהצומת של המקור בצינור לכל קובץ קלט מסוג CSV

3. נותנים שם לצינור.

הערה: במהלך התהליך הזה, הסכימה מתפשטת באופן אוטומטי כשיוצרים את צינור הנתונים. אפשר גם לייבא את הסכימה הרצויה.

זה הכול. יצרתם עכשיו את צינור הנתונים הראשון שלכם לעיבוד באצווה, ואתם יכולים לפרוס ולהפעיל אותו.

שליחת התראות על צינורות עיבוד נתונים באימייל (אופציונלי)

כדי להשתמש בתכונה Pipeline Alert SendEmail, צריך להגדיר שרת דואר לשליחת דואר ממופע של מכונה וירטואלית. מידע נוסף זמין בקישור הבא:

שליחת אימייל ממופע | מאמרי עזרה של Compute Engine

ב-Codelab הזה נגדיר שרת ממסר דואר דרך Mailgun לפי השלבים הבאים:

1. פועלים לפי ההוראות במאמר שליחת אימייל באמצעות Mailgun | חומרי עזר בנושא Compute Engine כדי להגדיר חשבון ב-Mailgun ולהגדיר את שירות ממסר האימייל. בהמשך מפורטים שינויים נוספים.
2. מוסיפים את כל כתובות האימייל של הנמענים לרשימת ההרשאות של Mailgun. הרשימה הזו נמצאת באפשרות Mailgun>Sending>Overview בחלונית הימנית.

אחרי שהנמענים ילחצו על 'אני מסכים/ה' באימייל שנשלח מכתובת [e-mail], כתובות האימייל שלהם יישמרו ברשימה המורשית לקבלת התראות על צינורות.

3. שלב 3 בקטע 'לפני שמתחילים' – יצירת כלל לחומת האש באופן הבא:

4. שלב 3 מתוך 'הגדרת Mailgun כממסר דואר עם Postfix'. בוחרים באפשרות אתר אינטרנט או אינטרנט עם שרת חכם, במקום באפשרות רק מקומי כמו שמופיע בהוראות.

5. שלב 4 במאמר בנושא הגדרת Mailgun כשרת דואר ממסר באמצעות Postfix. עורכים את vi /etc/postfix/main.cf כדי להוסיף את 10.128.0.0/9 בסוף mynetworks.

6. עורכים את vi /etc/postfix/master.cf כדי לשנות את ברירת המחדל של smtp ‏ (25) ליציאה 587.

7. בפינה השמאלית העליונה של סטודיו Data Fusion, לוחצים על Configure (הגדרה). לוחצים על התראה על צינור ואז על לחצן + כדי לפתוח את החלון התראות. בוחרים באפשרות SendEmail (שליחת אימייל).

8. ממלאים את טופס ההגדרה של אימייל. בתפריט הנפתח Run Condition בוחרים באפשרות completion, success או failure לכל סוג התראה. אם Include Workflow Token = false, נשלח רק המידע מהשדה Message. אם Include Workflow Token = true, המידע מהשדה Message ופרטים על Workflow Token נשלחים. צריך להשתמש באותיות קטנות בשדה Protocol. אל תשתמשו בכתובת אימייל פיקטיבית בשדה שולח, אלא בכתובת האימייל של החברה.

7. הגדרה, פריסה, הפעלה או תזמון של צינור עיבוד נתונים

1. בפינה השמאלית העליונה של סטודיו Data Fusion, לוחצים על Configure (הגדרה). בוחרים באפשרות Spark for Engine Config (הגדרת מנוע). לוחצים על Save (שמירה) בחלון Configure (הגדרה).

2. לוחצים על תצוגה מקדימה כדי לראות תצוגה מקדימה של הנתונים**,** ולוחצים שוב על תצוגה מקדימה כדי לחזור לחלון הקודם. אפשר גם להפעיל את צינור העיבוד במצב תצוגה מקדימה.

3. לוחצים על יומנים כדי לראות את היומנים.
4. לוחצים על שמירה כדי לשמור את כל השינויים.
5. לוחצים על ייבוא כדי לייבא הגדרת צינור עיבוד נתונים שנשמרה כשיוצרים צינור עיבוד נתונים חדש.
6. לוחצים על ייצוא כדי לייצא הגדרה של צינור עיבוד נתונים.
7. לוחצים על Deploy (פריסה) כדי לפרוס את צינור עיבוד הנתונים.
8. אחרי הפריסה, לוחצים על Run ומחכים עד שהצינור יפעל עד הסוף.

הערה: כשמריצים צינור נתונים, Cloud Data Fusion מקצה אשכול זמני של Cloud Dataproc, מריץ את צינור הנתונים ואז מפרק את האשכול. הפעולה עשויה להימשך כמה דקות. במהלך הזמן הזה, תוכלו לראות את הסטטוס של המעבר של צינור הנתונים מהקצאת משאבים להפעלה לפועל לביטול הקצאת משאבים להושלם.

9. כדי לשכפל את צינור המכירות, לוחצים על Duplicate (שכפול) מתחת ללחצן Actions (פעולות).
10. כדי לייצא את הגדרות הצינור, לוחצים על Export (ייצוא) מתחת ללחצן Actions (פעולות).
11. אם רוצים להגדיר טריגרים של צינורות, לוחצים על Inbound triggers (טריגרים נכנסים) או על Outbound triggers (טריגרים יוצאים) בקצה השמאלי או הימני של חלון Studio.
12. לוחצים על תזמון כדי לתזמן את הפעלת צינור הנתונים וטעינת הנתונים באופן תקופתי.

13. בכרטיסייה סיכום מוצגים תרשימים של היסטוריית ההרצה, הרשומות, יומני השגיאות והאזהרות.

8. אימות

1. הצינור Validate הופעל בהצלחה.

2. מוודאים שלמערך הנתונים ב-BigQuery יש את כל הטבלאות.

bq ls $PROJECT_ID:$DATASET_ID

     tableId       Type    Labels   Time Partitioning
----------------- ------- -------- -------------------
 Allergies         TABLE
 Careplans         TABLE
 Conditions        TABLE
 Encounters        TABLE
 Imaging_Studies   TABLE
 Immunizations     TABLE
 Medications       TABLE
 Observations      TABLE
 Organizations     TABLE
 Patients          TABLE
 Procedures        TABLE
 Providers         TABLE

3. קבלת התראות באימייל (אם הוגדרו).

איך רואים את התוצאות

כדי לראות את התוצאות אחרי הפעלת הצינור:

1. מריצים שאילתה בטבלה בממשק המשתמש של BigQuery. מעבר לממשק המשתמש של BigQuery
2. מעדכנים את השאילתה שלמטה לשם הפרויקט, מערך הנתונים והטבלה שלכם.

9. סידור וארגון

כדי להימנע מחיובים בחשבון Google Cloud Platform בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה:

בסיום המדריך, חשוב להסיר את המשאבים שיצרתם ב-GCP כדי שלא יתפסו את המכסה שלכם ולא תחויבו עליהם בעתיד. בסעיפים הבאים מוסבר איך למחוק או להשבית את המשאבים האלו.

מחיקת מערך הנתונים ב-BigQuery

כדי למחוק את מערך הנתונים ב-BigQuery שיצרתם כחלק מההדרכה הזו, פועלים לפי ההוראות האלה.

מחיקת קטגוריית GCS

כדי למחוק את קטגוריית GCS שיצרתם כחלק מההדרכה הזו, פועלים לפי ההוראות הבאות.

מחיקת מכונת Cloud Data Fusion

פועלים לפי ההוראות כדי למחוק את מופע Cloud Data Fusion.

מחיקת הפרויקט

הדרך הקלה ביותר לבטל את החיוב היא למחוק את הפרויקט שיצרתם בשביל המדריך.

כדי למחוק את הפרויקט:

זהירות: כשמוחקים פרויקט:

• התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
• מאבדים את מזהה הפרויקט בהתאמה אישית. כשיצרתם את הפרויקט, יכולתם לבחור לו מזהה פרויקט בהתאמה אישית כדי להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו כתובת URL של appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו.

אם אתם מתכננים להיעזר במספר מדריכי לימוד או מדריכים למתחילים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

1. במסוף GCP, נכנסים לדף Projects. כניסה לדף Projects
2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

10. מזל טוב

סיימתם בהצלחה את סדנת הקוד להטמעת נתונים בתחום הבריאות ב-BigQuery באמצעות Cloud Data Fusion.

ייבאתם נתוני CSV מ-Google Cloud Storage ל-BigQuery.

יצרתם באופן ויזואלי את צינור עיבוד הנתונים לשילוב נתונים כדי לטעון, לשנות ולהסתיר נתונים של שירותי בריאות בכמות גדולה.

עכשיו אתם יודעים מהם השלבים העיקריים שצריך לבצע כדי להתחיל לנתח נתונים בתחום הבריאות באמצעות BigQuery ב-Google Cloud Platform.