Menyerap data CSV ke BigQuery menggunakan Cloud Data Fusion - Penyerapan batch

1. Pengantar

Terakhir diperbarui: 28-02-2020

Codelab ini menunjukkan pola penyerapan data untuk menyerap data layanan kesehatan berformat CSV ke BigQuery secara massal. Kita akan menggunakan pipeline Cloud Data fusion Batch Data untuk lab ini. Data pengujian layanan kesehatan yang realistis telah dibuat dan tersedia di bucket Google Cloud Storage (gs://hcls_testing_data_fhir_10_patients/csv/) untuk Anda.

Dalam codelab ini, Anda akan mempelajari:

• Cara menyerap data CSV (pemuatan terjadwal batch) dari GCS ke BigQuery menggunakan Cloud Data Fusion.
• Cara membangun pipeline integrasi data secara visual di Cloud Data Fusion untuk memuat, mengubah, dan menyamarkan data layanan kesehatan secara massal.

Apa yang Anda perlukan untuk menjalankan codelab ini?

• Anda memerlukan akses ke Project GCP.
• Anda harus diberi peran Pemilik untuk Project GCP.
• Data perawatan kesehatan dalam format CSV, termasuk header.

Jika Anda tidak memiliki Project GCP, ikuti langkah-langkah berikut untuk membuat Project GCP baru.

Data layanan kesehatan dalam format CSV telah dimuat sebelumnya ke dalam bucket GCS di gs://hcls_testing_data_fhir_10_patients/csv/. Setiap file CSV resource memiliki struktur skema uniknya masing-masing. Misalnya, Patients.csv memiliki skema yang berbeda dengan Providers.csv. File skema yang dimuat sebelumnya dapat ditemukan di gs://hcls_testing_data_fhir_10_patients/csv_schemas.

Jika membutuhkan set data baru, Anda selalu dapat membuatnya menggunakan SyntheaTM. Kemudian, upload ke GCS, bukan menyalinnya dari bucket pada langkah Salin data input.

Referensi:

Operasi Dasar di Cloud Data Fusion (Panduan Memulai) menggunakan Google Cloud Platform Console.

2. Penyiapan Project GCP

Melakukan inisialisasi variabel shell untuk lingkungan Anda.

Untuk menemukan PROJECT_ID, lihat Identifying projects.

<!-- CODELAB: Initialize shell variables ->
<!-- Your current GCP Project ID ->
export PROJECT_ID=<PROJECT_ID>
<!-- A new GCS Bucket in your current Project  - INPUT ->
export BUCKET_NAME=<BUCKET_NAME>
<!-- A new BQ Dataset ID - OUTPUT ->
export DATASET_ID=<DATASET_ID>

Buat bucket GCS untuk menyimpan data input dan log error menggunakan alat gsutil.

gsutil mb -l us gs://$BUCKET_NAME

Dapatkan akses ke set data sintetis.

1. Dari alamat email yang Anda gunakan untuk login ke Konsol Cloud, kirim email ke [e-mail] untuk meminta izin bergabung.
2. Anda akan menerima email berisi petunjuk tentang cara mengonfirmasi tindakan tersebut.
3. Gunakan opsi untuk membalas email agar bergabung dengan grup. JANGAN klik tombolnya.
4. Setelah menerima email konfirmasi, Anda dapat melanjutkan ke langkah berikutnya di codelab.

Menyalin data input.

gsutil -m cp -r gs://hcls_testing_data_fhir_10_patients/csv gs://$BUCKET_NAME

Membuat Set Data BigQuery.

bq mk --location=us --dataset $PROJECT_ID:$DATASET_ID

Ingat: Anda selalu dapat membuat kumpulan data pengujian baru yang realistis menggunakan SyntheaTM untuk lab ini. Untuk memudahkan Anda, kami menyediakan set data di GCS: gs://hcls_testing_data_fhir_10_patients/csv

3. Penyiapan Lingkungan Cloud Data Fusion

Ikuti langkah-langkah berikut untuk mengaktifkan Cloud Data Fusion API dan memberikan izin yang diperlukan:

Aktifkan API.

1. Buka Library API GCP Console.
2. Dari daftar project, pilih project Anda.
3. Di Library API, pilih API yang ingin Anda aktifkan. Jika Anda memerlukan bantuan untuk menemukan API, gunakan kolom penelusuran dan/atau filter.
4. Di halaman API, klik AKTIFKAN.

Buat instance Cloud Data Fusion.

1. Di GCP Console, pilih ProjectID Anda.
2. Pilih Data Fusion dari menu kiri, lalu klik tombol CREATE AN INSTANCE di tengah halaman (pembuatan pertama), atau klik tombol CREATE INSTANCE di menu atas (kreasi tambahan).

3. Berikan nama instance. Pilih Enterprise.

4. Klik tombol CREATE.

Catatan: Diperlukan waktu hingga 30 menit untuk menyelesaikan proses pembuatan instance.

Siapkan izin instance.

Setelah membuat instance, gunakan langkah-langkah berikut untuk memberikan akun layanan yang terkait dengan izin instance di project Anda:

Catatan: Pemberian izin hanya perlu dilakukan satu kali dalam suatu project.

1. Buka halaman detail instance dengan mengklik nama instance.

2. Salin akun layanan.

3. Buka Halaman IAM project Anda.
4. Di halaman izin IAM, kita sekarang akan menambahkan akun layanan sebagai anggota baru dan memberinya peran Cloud Data Fusion API Service Agent. Klik tombol Add, lalu tempel "akun layanan" di kolom Anggota baru dan pilih Pengelolaan Layanan -> Peran Cloud Data Fusion API Server Agent.
5. 
6. Klik Simpan.

Setelah langkah-langkah ini selesai, Anda dapat mulai menggunakan Cloud Data Fusion dengan mengklik link Lihat Instance di halaman instance Cloud Data Fusion, atau halaman detail instance.

Siapkan aturan firewall.

1. Buka GCP Console -> Jaringan VPC -> Aturan firewall untuk memeriksa apakah aturan default-allow-ssh ada atau tidak.

2. Jika tidak, tambahkan aturan firewall yang mengizinkan semua traffic masuk SSH ke jaringan default.

Menggunakan command line:

gcloud beta compute --project={PROJECT_ID} firewall-rules create default-allow-ssh --direction=INGRESS --priority=1000 --network=default --action=ALLOW --rules=tcp:22 --source-ranges=0.0.0.0/0 --enable-logging

Menggunakan UI: Klik Create Firewall Rule dan isi informasinya:

4. Membuat Skema untuk transformasi

Setelah lingkungan Cloud Fusion di GCP tersedia, mari kita membangun skema. Kita memerlukan skema ini untuk transformasi data CSV.

1. Di jendela Cloud Data Fusion, klik link View Instance di kolom Action. Anda akan dialihkan ke halaman lain. Klik url yang diberikan untuk membuka instance Cloud Data Fusion. Pilihan Anda untuk mengklik "Mulai Tur" atau "Lain Kali" pada {i>Welcome pop-up<i}.
2. Luaskan "hamburger" menu, pilih Pipeline -> Studio

3. Di bagian Transform pada palet Plugin di sebelah kiri, klik dua kali node Wrangler, yang akan muncul di UI Data Pipelines.

4. Arahkan kursor ke node Wrangler, lalu klik Properties. Klik tombol Wrangle, lalu pilih file sumber .csv (misalnya, patient.csv), yang harus memiliki semua kolom data untuk membuat skema yang diinginkan.
5. Klik Panah bawah (Transformasi Kolom) di samping setiap nama kolom (misalnya, isi).
6. Secara default, impor awal akan mengasumsikan hanya ada satu kolom dalam file data Anda. Untuk mengurainya sebagai CSV, pilih Parse → CSV, lalu pilih pembatas dan centang "Tetapkan baris pertama sebagai header" sebagaimana mestinya. Klik tombol Terapkan.
7. Klik panah bawah di samping kolom Isi, pilih Hapus Kolom untuk menghapus kolom Isi. Selain itu, Anda dapat mencoba transformasi lain seperti menghapus kolom, mengubah jenis data untuk beberapa kolom (default-nya adalah jenis "string"), memisahkan kolom, menetapkan nama kolom, dll.

8. "Kolom" dan "Langkah transformasi" tab menampilkan skema {i>output<i} dan urutan langkah Wrangler. Klik Terapkan di sudut kanan atas. Klik tombol Validasi. Ikon "Tidak ditemukan kesalahan" berwarna hijau menunjukkan keberhasilan.

9. Di Wrangler Properties, klik dropdown Actions untuk Export skema yang diinginkan ke penyimpanan lokal Anda untuk Import mendatang jika diperlukan.
10. Simpan Resep Wrangler untuk penggunaan di masa mendatang.

parse-as-csv :body ',' true
drop body

11. Untuk menutup jendela Wrangler Properties, klik tombol X.

5. Membangun node untuk pipeline

Di bagian ini, kita akan membangun komponen pipeline.

1. Pada UI Data Pipelines, di kiri atas, Anda akan melihat bahwa Data Pipeline - Batch dipilih sebagai jenis pipeline.

2. Terdapat beberapa bagian di panel kiri seperti Filter, Sumber, Transformasi, Analytics, Sink, Kondisi dan Tindakan, Pengendali Error, dan Notifikasi tempat Anda dapat memilih node atau node untuk pipeline.

Node sumber

1. Pilih node Source.
2. Pada bagian Source pada palet Plugin di sebelah kiri, klik dua kali node Google Cloud Storage, yang muncul di UI Data Pipelines.
3. Arahkan kursor ke node sumber GCS, lalu klik Properties.

4. Isi bidang yang diperlukan. Tetapkan kolom berikut:

• Label = {teks apa pun}
• Nama referensi = {any text}
• ID Project = deteksi otomatis
• Path = URL GCS ke bucket di project Anda saat ini. Misalnya, gs://$BUCKET_NAME/csv/
• Format = teks
• Kolom Jalur = nama file
• Hanya Nama File Jalur = true
• Membaca File secara Rekursif = true

5. Tambahkan kolom 'filename' ke Skema Output GCS dengan mengklik tombol +.
6. Klik Dokumentasi untuk penjelasan mendetail. Klik tombol Validasi. Ikon "Tidak ditemukan kesalahan" berwarna hijau menunjukkan keberhasilan.
7. Untuk menutup Properti GCS, klik tombol X.

Mengubah node

1. Pilih node Transform.
2. Pada bagian Transform pada palet Plugin di sebelah kiri, klik dua kali node Wrangler, yang muncul di UI Data Pipelines. Hubungkan node sumber GCS ke node transformasi Wrangler.
3. Arahkan kursor ke node Wrangler, lalu klik Properties.
4. Klik drop-down Tindakan dan pilih Impor untuk mengimpor skema yang tersimpan (misalnya: gs://hcls_testing_data_fhir_10_patients/csv_schemas/ schema (Patients).json), dan menempelkan resep yang disimpan dari bagian sebelumnya.
5. Atau, gunakan kembali node Wrangler dari bagian: Membuat skema untuk transformasi.
6. Isi bidang yang diperlukan. Tetapkan kolom berikut:

• Label = {teks apa pun}
• Nama kolom input = {*}
• Precondition = {filename != "patients.csv"} untuk membedakan setiap file input (misalnya, pasien.csv, providers.csv, allergies.csv, dll.) dari node Sumber.

7. Tambahkan node JavaScript untuk menjalankan JavaScript yang disediakan pengguna yang mentransformasi kumpulan data lebih lanjut. Dalam codelab ini, kita menggunakan node JavaScript untuk mendapatkan stempel waktu untuk setiap pembaruan data. Hubungkan node transformasi Wrangler ke node transformasi JavaScript. Buka Properties JavaScript, dan tambahkan fungsi berikut:

function transform(input, emitter, context) {
  input.TIMESTAMP = (new Date()).getTime()*1000;
  emitter.emit(input);
}

8. Tambahkan kolom bernama TIMESTAMP ke Skema Output (jika belum ada) dengan mengklik tanda +. Pilih stempel waktu sebagai jenis data.

9. Klik Dokumentasi untuk mendapatkan penjelasan mendetail. Klik tombol Validasi untuk memvalidasi semua informasi input. Hijau "Tidak ditemukan error" menunjukkan keberhasilan.
10. Untuk menutup jendela Transform Properties, klik tombol X.

Penyamaran dan de-identifikasi data

1. Anda dapat memilih kolom data individual dengan mengklik panah bawah di kolom dan menerapkan aturan penyamaran pada pemilihan Masker data sesuai persyaratan Anda (misalnya, kolom SSN).

2. Anda dapat menambahkan Directive lainnya di jendela Recipe pada node Wrangler. Misalnya, gunakan perintah hash dengan algoritma hashing yang mengikuti sintaksis ini untuk tujuan de-identifikasi:

hash <column> <algorithm> <encode>

<column>: name of the column
<algorithm>: Hashing algorithm (i.e. MD5, SHA-1, etc.)
<encode>: default is true (hashed digest is encoded as hex with left-padding zeros). To disable hex encoding, set <encode> to false.

Catatan: Benar berarti menguraikan kolom isi dengan "Tetapkan baris pertama sebagai header" dicentang.

Node sink

1. Pilih node sink.
2. Di bagian Sink pada palet Plugin di sebelah kiri, klik dua kali node BigQuery, yang akan muncul di UI Data Pipeline.
3. Arahkan kursor ke node sink BigQuery, lalu klik Properties.

4. Lengkapi kolom yang wajib diisi. Tetapkan kolom berikut:

• Label = {teks apa pun}
• Nama referensi = {any text}
• ID Project = deteksi otomatis
• Set data = Set data BigQuery yang digunakan dalam project saat ini (yaitu DATASET_ID)
• Tabel = {nama tabel}

5. Klik Dokumentasi untuk mendapatkan penjelasan mendetail. Klik tombol Validasi untuk memvalidasi semua informasi input. Hijau "Tidak ditemukan error" menunjukkan keberhasilan.

6. Untuk menutup Properti BigQuery, klik tombol X.

6. Membangun pipeline data Batch

Menghubungkan semua node dalam pipeline

1. Tarik panah koneksi > di tepi kanan {i>node<i} sumber, lalu letakkan di tepi kiri {i>node<i} tujuan.
2. Pipeline dapat memiliki beberapa cabang yang mendapatkan file input dari node Sumber GCS yang sama.

Catatan: Membuat satu cabang dari node sumber di pipeline untuk setiap file .csv input

3. Beri nama pipeline tersebut.

Catatan: Selama proses ini, skema akan otomatis diterapkan saat Anda membangun pipeline. Anda juga dapat mengimpor skema yang diinginkan.

Selesai. Anda baru saja membuat pipeline data Batch pertama serta dapat men-deploy dan menjalankan pipeline.

Mengirim pemberitahuan pipeline melalui email (opsional)

Untuk memanfaatkan fitur SendEmail Pemberitahuan Pipeline, konfigurasi ini memerlukan penyiapan server email untuk mengirim email dari instance virtual machine. Lihat link referensi di bawah untuk informasi selengkapnya:

Mengirim email dari instance | Dokumentasi Compute Engine

Dalam codelab ini, kita akan menyiapkan layanan relai email melalui Mailgun menggunakan langkah-langkah berikut:

1. Ikuti petunjuknya di Mengirim email dengan Mailgun | Dokumentasi Compute Engine untuk menyiapkan akun dengan Mailgun dan mengonfigurasi layanan relai email. Modifikasi tambahan ada di bawah.
2. Tambahkan semua penerima ke daftar resmi Mailgun. Daftar ini dapat ditemukan di opsi Mailgun>Sending>Overview di panel kiri.

Setelah penerima mengklik "Saya Setuju" di email yang dikirim dari [e-mail], alamat email mereka disimpan dalam daftar yang diberi otorisasi untuk menerima email pemberitahuan pipeline.

3. Langkah 3 dari "Sebelum memulai" - buat aturan Firewall sebagai berikut:

4. Langkah 3 "Configure Mailgun as a mail relay with Postfix". Pilih Internet Site atau Internet with smarthost, bukan Local Only seperti yang disebutkan dalam petunjuk.

5. Langkah 4 "Configure Mailgun as a mail relay with Postfix". Edit vi /etc/postfix/main.cf untuk menambahkan 10.128.0.0/9 di akhir mynetworks.

6. Edit vi /etc/postfix/master.cf untuk mengubah smtp (25) default ke port 587.

7. Di pojok kanan atas Data Fusion Studio, klik Configure. Klik Pipeline Alert, lalu klik tombol + untuk membuka jendela Alerts. Pilih SendEmail.

8. Isi formulir konfigurasi Email. Pilih penyelesaian, keberhasilan, atau kegagalan dari drop-down Jalankan Kondisi untuk setiap jenis pemberitahuan. Jika Sertakan Token Alur Kerja = false, hanya informasi dari kolom Pesan yang akan dikirim. Jika Sertakan Token Alur Kerja = true, informasi dari kolom Pesan dan informasi detail Token Alur Kerja akan dikirim. Anda harus menggunakan huruf kecil untuk Protokol. Gunakan "palsu" email selain alamat email perusahaan Anda untuk Pengirim.

7. Mengonfigurasi, Men-deploy, Menjalankan/Menjadwalkan Pipeline

1. Di pojok kanan atas Data Fusion Studio, klik Configure. Pilih Spark untuk Konfigurasi Mesin. Klik Simpan di jendela Konfigurasi.

2. Klik Preview untuk Preview data**,** dan klik **Preview** lagi untuk beralih kembali ke jendela sebelumnya. Anda juga bisa **Menjalankan** pipeline dalam mode Pratinjau.

3. Klik Log untuk melihat log.
4. Klik Save untuk menyimpan semua perubahan.
5. Klik Impor untuk mengimpor konfigurasi pipeline yang tersimpan saat membuat pipeline baru.
6. Klik Export untuk mengekspor konfigurasi pipeline.
7. Klik Deploy untuk men-deploy pipeline.
8. Setelah di-deploy, klik Run dan tunggu hingga pipeline berjalan hingga selesai.

Catatan: Saat Anda menjalankan pipeline, Cloud Data Fusion akan menyediakan cluster Cloud Dataproc sementara, menjalankan pipeline, lalu membongkar cluster. Tindakan ini memerlukan waktu beberapa menit. Anda dapat mengamati status transisi pipeline dari Provisioning ke Starting ke Running ke Mencabut Akses ke Succeeded selama jangka waktu ini.

9. Anda dapat membuat duplikat pipeline dengan memilih Duplikasikan di bawah tombol Tindakan.
10. Anda dapat Mengekspor Konfigurasi Pipeline dengan memilih Ekspor di bawah tombol Tindakan.
11. Klik Pemicu masuk atau Pemicu keluar di tepi kiri atau kanan jendela Studio untuk menetapkan pemicu pipeline jika diinginkan.
12. Klik Jadwalkan untuk menjadwalkan pipeline agar berjalan dan memuat data secara berkala.

13. Ringkasan menampilkan diagram Histori pengoperasian, kumpulan data, log error, dan peringatan.

8. Validasi

1. Pipeline Validasi berhasil dijalankan.

2. Validasi apakah Set Data BigQuery memiliki semua tabel.

bq ls $PROJECT_ID:$DATASET_ID

     tableId       Type    Labels   Time Partitioning
----------------- ------- -------- -------------------
 Allergies         TABLE
 Careplans         TABLE
 Conditions        TABLE
 Encounters        TABLE
 Imaging_Studies   TABLE
 Immunizations     TABLE
 Medications       TABLE
 Observations      TABLE
 Organizations     TABLE
 Patients          TABLE
 Procedures        TABLE
 Providers         TABLE

3. Terima email peringatan (jika dikonfigurasikan).

Melihat hasil

Untuk melihat hasil setelah pipeline berjalan:

1. Buat kueri tabel di UI BigQuery. BUKA UI BIGQUERY
2. Perbarui kueri di bawah ini dengan memasukkan nama project, set data, dan tabel Anda.

9. Pembersihan

Agar tidak menimbulkan biaya pada akun Google Cloud Platform Anda untuk resource yang digunakan dalam tutorial ini:

Setelah menyelesaikan tutorial, Anda dapat membersihkan resource yang dibuat di GCP sehingga tidak menghabiskan kuota, dan Anda tidak akan ditagih di masa mendatang. Bagian berikut menjelaskan cara menghapus atau menonaktifkan resource tersebut.

Menghapus set data BigQuery

Ikuti petunjuk ini untuk menghapus set data BigQuery yang Anda buat sebagai bagian dari tutorial ini.

Menghapus Bucket GCS

Ikuti petunjuk ini untuk menghapus bucket GCS yang Anda buat sebagai bagian dari tutorial ini.

Menghapus instance Cloud Data Fusion

Ikuti petunjuk ini untuk menghapus instance Cloud Data Fusion Anda.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk tutorial ini, saat menghapusnya, Anda juga akan menghapus semua pekerjaan lain yang telah Anda lakukan di project tersebut.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang masih ingin Anda gunakan pada masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus keseluruhan project.

Jika Anda berencana untuk mempelajari berbagai tutorial dan panduan memulai, menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di GCP Console, buka halaman Project. BUKA HALAMAN PROJECT
2. Dalam daftar project, pilih project yang ingin dihapus, lalu klik Hapus.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

10. Selamat

Selamat, Anda telah berhasil menyelesaikan codelab untuk menyerap data layanan kesehatan di BigQuery menggunakan Cloud Data Fusion.

Anda telah mengimpor data CSV dari Google Cloud Storage ke BigQuery.

Anda telah membangun pipeline integrasi data secara visual untuk memuat, mengubah, dan menyamarkan data layanan kesehatan secara massal.

Anda sekarang telah mengetahui langkah-langkah utama yang diperlukan untuk memulai perjalanan Analisis Data Layanan Kesehatan dengan BigQuery di Google Cloud Platform.