Menyerap data CSV ke BigQuery menggunakan Cloud Data Fusion - Penyerapan batch

1. Pengantar

Terakhir Diperbarui: 28-02-2020

Codelab ini menunjukkan pola penyerapan data untuk menyerap data layanan kesehatan berformat CSV ke BigQuery secara massal. Kita akan menggunakan pipeline Data Batch Cloud Data Fusion untuk lab ini. Data pengujian layanan kesehatan yang realistis telah dibuat dan tersedia di bucket Google Cloud Storage (gs://hcls_testing_data_fhir_10_patients/csv/) untuk Anda.

Dalam codelab ini, Anda akan mempelajari:

• Cara menyerap data CSV (pemuatan terjadwal batch) dari GCS ke BigQuery menggunakan Cloud Data Fusion.
• Cara membuat pipeline integrasi data secara visual di Cloud Data Fusion untuk memuat, mengubah, dan menyamarkan data layanan kesehatan secara massal.

Apa yang Anda butuhkan untuk menjalankan codelab ini?

• Anda memerlukan akses ke Project GCP.
• Anda harus diberi peran Pemilik untuk Project GCP.
• Data layanan kesehatan dalam format CSV, termasuk header.

Jika Anda tidak memiliki Project GCP, ikuti langkah-langkah ini untuk membuat Project GCP baru.

Data kesehatan dalam format CSV telah dimuat sebelumnya ke bucket GCS di gs://hcls_testing_data_fhir_10_patients/csv/. Setiap file CSV resource memiliki struktur skema yang unik. Misalnya, Patients.csv memiliki skema yang berbeda dengan Providers.csv. File skema yang telah dimuat sebelumnya dapat ditemukan di gs://hcls_testing_data_fhir_10_patients/csv_schemas.

Jika memerlukan set data baru, Anda dapat membuatnya kapan saja menggunakan SyntheaTM. Kemudian, upload ke GCS, bukan menyalinnya dari bucket pada langkah Menyalin data input.

Referensi:

Operasi Dasar di Cloud Data Fusion (Panduan memulai) menggunakan Konsol Google Cloud Platform.

2. Penyiapan Project GCP

Lakukan inisialisasi variabel shell untuk lingkungan Anda.

Untuk menemukan PROJECT_ID, lihat Mengidentifikasi project.

<!-- CODELAB: Initialize shell variables ->
<!-- Your current GCP Project ID ->
export PROJECT_ID=<PROJECT_ID>
<!-- A new GCS Bucket in your current Project  - INPUT ->
export BUCKET_NAME=<BUCKET_NAME>
<!-- A new BQ Dataset ID - OUTPUT ->
export DATASET_ID=<DATASET_ID>

Buat bucket GCS untuk menyimpan data input dan log error menggunakan alat gsutil.

gsutil mb -l us gs://$BUCKET_NAME

Dapatkan akses ke set data sintetis.

1. Dari alamat email yang Anda gunakan untuk login ke Konsol Cloud, kirim email ke [e-mail] untuk meminta bergabung.
2. Anda akan menerima email berisi petunjuk tentang cara mengonfirmasi tindakan tersebut.
3. Gunakan opsi untuk membalas email guna bergabung dengan grup. JANGAN klik tombol tersebut.
4. Setelah menerima email konfirmasi, Anda dapat melanjutkan ke langkah berikutnya dalam codelab.

Menyalin data input.

gsutil -m cp -r gs://hcls_testing_data_fhir_10_patients/csv gs://$BUCKET_NAME

Buat Set Data BigQuery.

bq mk --location=us --dataset $PROJECT_ID:$DATASET_ID

Ingat: Anda selalu dapat membuat kumpulan data pengujian baru yang realistis menggunakan SyntheaTM untuk lab ini. Untuk memudahkan Anda, kami menyediakan set data di GCS: gs://hcls_testing_data_fhir_10_patients/csv

3. Penyiapan Lingkungan Cloud Data Fusion

Ikuti langkah-langkah berikut untuk mengaktifkan Cloud Data Fusion API dan memberikan izin yang diperlukan:

Aktifkan API.

1. Buka Library API Konsol GCP.
2. Dari daftar project, pilih project Anda.
3. Di Library API, pilih API yang ingin Anda aktifkan. Jika Anda memerlukan bantuan untuk menemukan API, gunakan kolom penelusuran dan/atau filter.
4. Di halaman API, klik AKTIFKAN.

Buat instance Cloud Data Fusion.

1. Di Konsol GCP, pilih ProjectID Anda.
2. Pilih Penggabungan Data dari menu kiri, lalu klik tombol BUAT INSTANS di tengah halaman (pembuatan pertama), atau klik tombol BUAT INSTANS di menu atas (pembuatan tambahan).

3. Berikan nama instance. Pilih Enterprise.

4. Klik tombol BUAT.

Catatan: Proses pembuatan instance dapat memerlukan waktu hingga 30 menit untuk selesai.

Siapkan izin instance.

Setelah membuat instance, gunakan langkah-langkah berikut untuk memberikan izin akun layanan yang terkait dengan instance pada project Anda:

Catatan: Pemberian izin hanya perlu dilakukan satu kali dalam project.

1. Buka halaman detail instance dengan mengklik nama instance.

2. Salin akun layanan.

3. Buka Halaman IAM project Anda.
4. Di halaman izin IAM, kita akan menambahkan akun layanan sebagai anggota baru dan memberikan peran Cloud Data Fusion API Service Agent kepadanya. Klik tombol Add, lalu tempelkan "akun layanan" di kolom New members dan pilih peran Service Management -> Cloud Data Fusion API Server Agent.
5. 
6. Klik Simpan.

Setelah langkah-langkah ini selesai, Anda dapat mulai menggunakan Cloud Data Fusion dengan mengklik link Lihat Instance di halaman instance Cloud Data Fusion, atau halaman detail instance.

Siapkan aturan firewall.

1. Buka GCP Console -> VPC Network -> Firewall rules untuk memeriksa apakah aturan default-allow-ssh ada atau tidak.

2. Jika tidak, tambahkan aturan firewall yang mengizinkan semua traffic SSH masuk ke jaringan default.

Menggunakan command line:

gcloud beta compute --project={PROJECT_ID} firewall-rules create default-allow-ssh --direction=INGRESS --priority=1000 --network=default --action=ALLOW --rules=tcp:22 --source-ranges=0.0.0.0/0 --enable-logging

Menggunakan UI: Klik Buat Aturan Firewall dan isi informasi:

4. Membangun Skema untuk transformasi

Setelah memiliki lingkungan Cloud Fusion di GCP, mari kita buat skema. Kita memerlukan skema ini untuk transformasi data CSV.

1. Di jendela Cloud Data Fusion, klik link Lihat Instance di kolom Tindakan. Anda akan dialihkan ke halaman lain. Klik URL yang diberikan untuk membuka instance Cloud Data Fusion. Pilihan Anda untuk mengklik tombol "Mulai Tur" atau "Tidak, Terima Kasih" di jendela pop-up Selamat Datang.
2. Perluas menu "hamburger", pilih Pipeline -> Studio

3. Di bagian Transform pada palet Plugin di sebelah kiri, klik dua kali pada node Wrangler, yang akan muncul di UI Data Pipelines.

4. Arahkan kursor ke node Wrangler, lalu klik Properties. Klik tombol Atur, lalu pilih file sumber .csv (misalnya, patients.csv), yang harus memiliki semua kolom data untuk membuat skema yang diinginkan.
5. Klik Panah bawah (Transformasi Kolom) di samping setiap nama kolom (misalnya, body).
6. Secara default, impor awal akan mengasumsikan hanya ada satu kolom dalam file data Anda. Untuk menguraikannya sebagai CSV, pilih Parse → CSV, lalu pilih pemisah dan centang kotak "Set first row as header" sesuai kebutuhan. Klik tombol Terapkan.
7. Klik panah bawah di samping kolom Isi, pilih Hapus Kolom untuk menghapus kolom Isi. Selain itu, Anda dapat mencoba transformasi lain seperti menghapus kolom, mengubah jenis data untuk beberapa kolom (defaultnya adalah jenis "string"), memisahkan kolom, menetapkan nama kolom, dll.

8. Tab "Kolom" dan "Langkah-langkah transformasi" menampilkan skema output dan resep Wrangler. Klik Terapkan di pojok kanan atas. Klik tombol Validasi. "Tidak ada error" berwarna hijau menunjukkan keberhasilan.

9. Di Properti Wrangler, klik dropdown Tindakan untuk Mengekspor skema yang diinginkan ke penyimpanan lokal Anda untuk Impor di masa mendatang jika diperlukan.
10. Simpan Resep Wrangler untuk penggunaan di masa mendatang.

parse-as-csv :body ',' true
drop body

11. Untuk menutup jendela Wrangler Properties, klik tombol X.

5. Membangun node untuk pipeline

Di bagian ini, kita akan membuat komponen pipeline.

1. Di UI Data Pipelines, di kiri atas, Anda akan melihat bahwa Data Pipeline - Batch dipilih sebagai jenis pipeline.

2. Ada berbagai bagian di panel kiri seperti Filter, Sumber, Transformasi, Analytics, Sink, Kondisi dan Tindakan, Penanganan Error, dan Pemberitahuan tempat Anda dapat memilih satu atau beberapa node untuk pipeline.

Source node

1. Pilih node Sumber.
2. Di bagian Source pada palet Plugin di sebelah kiri, klik dua kali node Google Cloud Storage, yang muncul di UI Data Pipelines.
3. Arahkan kursor ke node sumber GCS, lalu klik Properties.

4. Isi bidang yang diperlukan. Tetapkan kolom berikut:

• Label = {any text}
• Nama referensi = {any text}
• Project ID = deteksi otomatis
• Path = URL GCS ke bucket di project Anda saat ini. Misalnya, gs://$BUCKET_NAME/csv/
• Format = text
• Path Field = filename
• Path Filename Only = true
• Read Files Recursively = true

5. Tambahkan kolom 'filename' ke Skema Output GCS dengan mengklik tombol +.
6. Klik Dokumentasi untuk penjelasan mendetail. Klik tombol Validasi. "Tidak ada error" berwarna hijau menunjukkan keberhasilan.
7. Untuk menutup Properti GCS, klik tombol X.

Transformasikan node

1. Pilih node Transform.
2. Di bagian Transformasi pada palet Plugin di sebelah kiri, klik dua kali node Wrangler, yang muncul di UI Data Pipelines. Hubungkan node sumber GCS ke node transformasi Wrangler.
3. Arahkan kursor ke node Wrangler, lalu klik Properties.
4. Klik drop-down Actions, lalu pilih Import untuk mengimpor skema yang disimpan (misalnya: gs://hcls_testing_data_fhir_10_patients/csv_schemas/ schema (Patients).json), lalu tempel resep yang disimpan dari bagian sebelumnya.
5. Atau, gunakan kembali node Wrangler dari bagian: Membangun skema untuk transformasi.
6. Isi bidang yang diperlukan. Tetapkan kolom berikut:

• Label = {any text}
• Nama kolom input = {*}
• Kondisi Prasyarat = {filename != "patients.csv"} untuk membedakan setiap file input (misalnya, patients.csv, providers.csv, allergies.csv, dll.) dari node Sumber.

7. Tambahkan node JavaScript untuk menjalankan JavaScript yang disediakan pengguna yang selanjutnya mentransformasi kumpulan data. Dalam codelab ini, kita akan menggunakan node JavaScript untuk mendapatkan stempel waktu untuk setiap pembaruan data. Hubungkan node transformasi Wrangler ke node transformasi JavaScript. Buka Properties JavaScript, dan tambahkan fungsi berikut:

function transform(input, emitter, context) {
  input.TIMESTAMP = (new Date()).getTime()*1000;
  emitter.emit(input);
}

8. Tambahkan kolom bernama TIMESTAMP ke Skema Output (jika tidak ada) dengan mengklik tanda +. Pilih stempel waktu sebagai jenis data.

9. Klik Dokumentasi untuk penjelasan mendetail. Klik tombol Validasi untuk memvalidasi semua informasi input. "Tidak ada error" berwarna hijau menunjukkan keberhasilan.
10. Untuk menutup jendela Transform Properties, klik tombol X.

Penyamaran dan de-identifikasi data

1. Anda dapat memilih kolom data individual dengan mengklik panah bawah di kolom dan menerapkan aturan penyamaran di bagian pilihan Samarkan data sesuai persyaratan Anda (misalnya, kolom SSN).

2. Anda dapat menambahkan lebih banyak Petunjuk di jendela Resep pada node Wrangler. Misalnya, menggunakan direktif hash dengan algoritma hashing yang mengikuti sintaksis ini untuk tujuan de-identifikasi:

hash <column> <algorithm> <encode>

<column>: name of the column
<algorithm>: Hashing algorithm (i.e. MD5, SHA-1, etc.)
<encode>: default is true (hashed digest is encoded as hex with left-padding zeros). To disable hex encoding, set <encode> to false.

Catatan: Benar berarti mengurai kolom isi dengan opsi "Tetapkan baris pertama sebagai header" dicentang.

Sink node

1. Pilih node sink.
2. Di bagian Sink di palet Plugin di sebelah kiri, klik dua kali pada node BigQuery, yang akan muncul di UI Data Pipeline.
3. Arahkan kursor ke node sink BigQuery, lalu klik Properties.

4. Lengkapi kolom wajib diisi. Tetapkan kolom berikut:

• Label = {any text}
• Nama referensi = {any text}
• Project ID = deteksi otomatis
• Dataset = Set data BigQuery yang digunakan dalam project saat ini (yaitu DATASET_ID)
• Table = {table name}

5. Klik Dokumentasi untuk penjelasan mendetail. Klik tombol Validasi untuk memvalidasi semua informasi input. "Tidak ada error" berwarna hijau menunjukkan keberhasilan.

6. Untuk menutup Properti BigQuery, klik tombol X.

6. Membangun pipeline data Batch

Menghubungkan semua node dalam pipeline

1. Tarik panah koneksi > di tepi kanan node sumber dan lepas di tepi kiri node tujuan.
2. Pipeline dapat memiliki beberapa cabang yang mendapatkan file input dari node Sumber GCS yang sama.

Catatan: Buat satu cabang dari node sumber di pipeline untuk setiap file .csv input

3. Beri nama pipeline.

Catatan: Selama proses ini, skema akan otomatis disebarkan saat Anda membangun pipeline. Anda juga dapat mengimpor skema yang diinginkan.

Selesai. Anda baru saja membuat Batch data pipeline pertama dan dapat men-deploy serta menjalankan pipeline.

Mengirim pemberitahuan pipeline melalui email (opsional)

Untuk memanfaatkan fitur Pipeline Alert SendEmail, konfigurasi memerlukan penyiapan server email untuk mengirim email dari instance virtual machine. Lihat link referensi di bawah untuk mengetahui informasi selengkapnya:

Mengirim email dari instance | Dokumentasi Compute Engine

Dalam codelab ini, kita akan menyiapkan layanan relai email melalui Mailgun menggunakan langkah-langkah berikut:

1. Ikuti petunjuk di Mengirim email dengan Mailgun | Dokumentasi Compute Engine untuk menyiapkan akun dengan Mailgun dan mengonfigurasi layanan relai email. Modifikasi tambahan ada di bawah.
2. Tambahkan semua alamat email penerima ke daftar yang diizinkan Mailgun. Daftar ini dapat ditemukan di opsi Mailgun> Sending> Overview di panel kiri.

Setelah penerima mengklik "Saya Setuju" pada email yang dikirim dari [e-mail], alamat email mereka akan disimpan dalam daftar yang diberi otorisasi untuk menerima email pemberitahuan pipeline.

3. Langkah 3 bagian "Sebelum memulai" - buat aturan Firewall sebagai berikut:

4. Langkah 3 dari "Mengonfigurasi Mailgun sebagai relai email dengan Postfix". Pilih Internet Site atau Internet with smarthost, bukan Local Only seperti yang disebutkan dalam petunjuk.

5. Langkah 4 dari "Mengonfigurasi Mailgun sebagai relai email dengan Postfix". Edit vi /etc/postfix/main.cf untuk menambahkan 10.128.0.0/9 di akhir mynetworks.

6. Edit vi /etc/postfix/master.cf untuk mengubah smtp default (25) ke port 587.

7. Di sudut kanan atas studio Penggabungan Data, klik Konfigurasi. Klik Peringatan pipeline, lalu klik tombol + untuk membuka jendela Peringatan. Pilih SendEmail.

8. Isi formulir konfigurasi Email. Pilih penyelesaian, keberhasilan, atau kegagalan dari dropdown Kondisi Run untuk setiap jenis pemberitahuan. Jika Sertakan Token Alur Kerja = false, hanya informasi dari kolom Pesan yang dikirim. Jika Include Workflow Token = true, informasi dari kolom Message dan informasi mendetail Workflow Token akan dikirim. Anda harus menggunakan huruf kecil untuk Protocol. Gunakan email "palsu" selain alamat email perusahaan Anda untuk Pengirim.

7. Mengonfigurasi, Men-deploy, Menjalankan/Menjadwalkan Pipeline

1. Di sudut kanan atas studio Penggabungan Data, klik Konfigurasi. Pilih Spark untuk Konfigurasi Engine. Klik Simpan di jendela Configure.

2. Klik Pratinjau untuk melihat Pratinjau data**,** dan klik **Pratinjau** lagi untuk beralih kembali ke jendela sebelumnya. Anda juga dapat **Menjalankan** pipeline dalam mode Pratinjau.

3. Klik Logs untuk melihat log.
4. Klik Simpan untuk menyimpan semua perubahan.
5. Klik Impor untuk mengimpor konfigurasi pipeline tersimpan saat membuat pipeline baru.
6. Klik Ekspor untuk mengekspor konfigurasi pipeline.
7. Klik Deploy untuk men-deploy pipeline.
8. Setelah di-deploy, klik Run dan tunggu hingga pipeline selesai berjalan.

Catatan: Saat Anda menjalankan pipeline, Cloud Data Fusion akan menyediakan cluster Cloud Dataproc efemeral, menjalankan pipeline, lalu menghentikan cluster. Tindakan ini memerlukan waktu beberapa menit. Anda dapat mengamati status transisi pipeline dari Penyediaan ke Memulai ke Menjalankan ke Membatalkan penyediaan ke Berhasil selama waktu ini.

9. Anda dapat Menduplikasi pipeline dengan memilih Duplikasikan di tombol Tindakan.
10. Anda dapat Mengekspor Konfigurasi Pipeline dengan memilih Ekspor di bagian tombol Tindakan.
11. Klik Pemicu masuk atau Pemicu keluar di tepi kiri atau kanan jendela Studio untuk menyetel pemicu pipeline jika diinginkan.
12. Klik Jadwalkan untuk menjadwalkan pipeline agar berjalan dan memuat data secara berkala.

13. Ringkasan menampilkan diagram Histori operasi, catatan, log error, dan peringatan.

8. Validasi

1. Pipeline Validasi berhasil dieksekusi.

2. Validasi apakah Set Data BigQuery memiliki semua tabel.

bq ls $PROJECT_ID:$DATASET_ID

     tableId       Type    Labels   Time Partitioning
----------------- ------- -------- -------------------
 Allergies         TABLE
 Careplans         TABLE
 Conditions        TABLE
 Encounters        TABLE
 Imaging_Studies   TABLE
 Immunizations     TABLE
 Medications       TABLE
 Observations      TABLE
 Organizations     TABLE
 Patients          TABLE
 Procedures        TABLE
 Providers         TABLE

3. Menerima email pemberitahuan (jika dikonfigurasi).

Melihat hasil

Untuk melihat hasil setelah pipeline berjalan:

1. Kueri tabel di UI BigQuery. BUKA UI BIGQUERY
2. Perbarui kueri di bawah ke nama project, set data, dan tabel Anda sendiri.

9. Pembersihan

Agar tidak menimbulkan biaya pada akun Google Cloud Platform Anda untuk resource yang digunakan dalam tutorial ini:

Setelah menyelesaikan tutorial, Anda dapat membersihkan resource yang dibuat di GCP agar tidak menggunakan kuota Anda, dan Anda tidak akan ditagih untuk resource tersebut di masa mendatang. Bagian berikut menjelaskan cara menghapus atau menonaktifkan resource ini.

Menghapus set data BigQuery

Ikuti petunjuk ini untuk menghapus set data BigQuery yang Anda buat sebagai bagian dari tutorial ini.

Menghapus Bucket GCS

Ikuti petunjuk ini untuk menghapus bucket GCS yang Anda buat sebagai bagian dari tutorial ini.

Menghapus instance Cloud Data Fusion

Ikuti petunjuk ini untuk menghapus instance Cloud Data Fusion Anda.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

Perhatian: Menghapus project akan mengakibatkan:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tutorial ini, saat menghapusnya, Anda juga akan menghapus pekerjaan lain yang telah dilakukan dalam project tersebut.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin Anda gunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa tutorial dan panduan memulai, menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di Konsol GCP, buka halaman Project. BUKA HALAMAN PROJECT
2. Dalam daftar project, pilih project yang ingin dihapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

10. Selamat

Selamat, Anda telah berhasil menyelesaikan codelab untuk menyerap data kesehatan di BigQuery menggunakan Cloud Data Fusion.

Anda telah mengimpor data CSV dari Google Cloud Storage ke BigQuery.

Anda telah membangun pipeline integrasi data secara visual untuk memuat, mentransformasi, dan menyamarkan data layanan kesehatan secara massal.

Sekarang Anda mengetahui langkah-langkah utama yang diperlukan untuk memulai perjalanan Analisis Data Layanan Kesehatan dengan BigQuery di Google Cloud Platform.