Membangun Pipeline Data Serverless: IoT ke Analisis

1. Ringkasan/Pengantar

Meskipun aplikasi multi-lapis yang terdiri dari web, server aplikasi, dan database merupakan dasar untuk pengembangan web dan merupakan titik awal bagi banyak situs, kesuksesan sering kali akan menimbulkan tantangan seputar skalabilitas, integrasi, dan fleksibilitas. Misalnya, bagaimana data dapat ditangani secara real-time dan bagaimana data tersebut dapat didistribusikan ke beberapa sistem bisnis utama? Masalah ini ditambah dengan tuntutan aplikasi berskala internet mendorong kebutuhan akan sistem pesan terdistribusi dan memunculkan pola arsitektur penggunaan data pipeline untuk mencapai sistem real-time yang tangguh. Oleh karena itu, memahami cara memublikasikan data real-time ke sistem pesan terdistribusi, lalu cara membuat pipeline data, adalah keterampilan penting bagi developer dan arsitek.

Tertarik dengan latar belakang lainnya? Simak kisah bagaimana LinkedIn mengembangkan arsitekturnya dari aplikasi multi-tingkat menjadi aplikasi yang memanfaatkan streaming sebagai komponen pusat serta bagaimana dan mengapa Spotify memilih untuk mengubah arsitektur streaming mereka menjadi arsitektur berbasis Cloud.

Yang akan Anda buat

Dalam codelab ini, Anda akan membangun pipeline data cuaca yang dimulai dengan perangkat Internet of Things (IoT), menggunakan antrean pesan untuk menerima dan mengirimkan data, memanfaatkan fungsi serverless untuk memindahkan data ke data warehouse, lalu membuat dasbor yang menampilkan informasi tersebut. Raspberry Pi dengan sensor cuaca akan digunakan untuk perangkat IoT dan beberapa komponen Google Cloud Platform akan membentuk pipeline data. Membuat Raspberry Pi, meskipun bermanfaat, adalah bagian opsional dari codelab ini dan data cuaca streaming dapat diganti dengan skrip.

Setelah menyelesaikan langkah-langkah dalam codelab ini, Anda akan memiliki pipeline data streaming yang memberi makan dasbor yang menampilkan suhu, kelembapan, titik embun, dan tekanan udara.

Yang akan Anda pelajari

• Cara menggunakan Google Pub/Sub
• Cara men-deploy Google Cloud Function
• Cara memanfaatkan Google BigQuery
• Cara membuat dasbor menggunakan Google Data Studio
• Selain itu, jika membuat sensor IoT, Anda juga akan mempelajari cara menggunakan Google Cloud SDK dan cara mengamankan panggilan akses jarak jauh ke Google Cloud Platform

Yang Anda butuhkan

• Akun Google Cloud Platform. Pengguna baru Google Cloud Platform memenuhi syarat untuk mendapatkan uji coba gratis senilai $300.

Jika Anda ingin mem-build bagian sensor IoT dari codelab ini, bukan memanfaatkan data contoh dan skrip, Anda juga memerlukan hal berikut (yang dapat dipesan sebagai kit lengkap atau sebagai bagian terpisah di sini)...

• Raspberry Pi Zero W dengan catu daya, kartu memori SD, dan casing
• Pembaca kartu USB
• Hub USB (agar keyboard dan mouse dapat disambungkan ke satu-satunya port USB di Raspberry Pi)
• Kabel papan tempat memotong roti (breadboard) perempuan ke perempuan
• Header Hammer GPIO
• Sensor BME280
• Besi penyolderan dengan pasokan

Selain itu, Anda harus memiliki akses ke monitor komputer atau TV dengan input HDMI, kabel HDMI, keyboard, dan mouse.

Raspberry Pi Zero W direkomendasikan untuk codelab ini, tetapi Raspberry Pi 3 Model B juga akan berfungsi, tidak memerlukan pin header palu atau hub USB, memiliki CPU yang lebih baik, tetapi akan lebih hemat biaya. Jika Anda memilih untuk melanjutkan dengan perangkat alternatif, pastikan Anda memiliki catu daya dan kartu SD yang sesuai.

2. Mempersiapkan

Penyiapan lingkungan mandiri

Jika belum memiliki Akun Google (Gmail atau G Suite), Anda harus membuatnya. Terlepas dari apakah Anda sudah memiliki akun Google atau belum, pastikan untuk memanfaatkan uji coba gratis senilai$300!

Login ke Google Cloud Platform console (console.cloud.google.com). Anda dapat menggunakan project default ("My First Project") untuk lab ini atau memilih untuk membuat project baru. Jika ingin membuat project baru, Anda dapat menggunakan halaman Mengelola resource. Project ID harus berupa nama unik di semua project Google Cloud (nama yang ditampilkan di bawah ini sudah digunakan dan tidak akan berfungsi untuk Anda). Catat project ID Anda (misalnya, project ID Anda akan menjadi _____) karena akan diperlukan nanti.

Jika Anda lupa, project ID tersebut terletak di Konsol Cloud di area Home.

Menjalankan operasi dalam codelab ini seharusnya tidak memerlukan biaya lebih dari beberapa dolar, tetapi bisa lebih mahal jika Anda memutuskan untuk menggunakan lebih banyak resource atau jika Anda membiarkannya berjalan. Pastikan untuk membaca bagian Pembersihan di akhir codelab.

Ingin lebih memahami harga Google Cloud Platform? Lihat kalkulator harga.

3. Membuat tabel BigQuery

BigQuery adalah data warehouse perusahaan tanpa server, sangat skalabel, dan murah, serta akan menjadi opsi ideal untuk menyimpan data yang di-streaming dari perangkat IoT sekaligus memungkinkan dasbor analisis membuat kueri informasi.

Mari kita buat tabel yang akan menyimpan semua data cuaca IoT. Pilih BigQuery dari konsol Cloud. Tindakan ini akan membuka BigQuery di jendela baru (jangan tutup jendela asli karena Anda harus mengaksesnya lagi).

Klik ikon panah bawah di samping nama project, lalu pilih "Create new dataset"

Masukkan "weatherData" untuk Set Data, pilih lokasi tempat data akan disimpan, lalu klik "OK"

Klik tanda "+" di samping Set Data untuk membuat tabel baru

Untuk Data Sumber, pilih Buat tabel kosong. Untuk Nama tabel tujuan, masukkan weatherDataTable. Di bagian Skema, klik tombol Tambahkan Kolom hingga ada total 9 kolom. Isi kolom seperti yang ditunjukkan di bawah ini, pastikan juga untuk memilih Jenis yang sesuai untuk setiap kolom. Setelah semuanya selesai, klik tombol Create Table.

Setiap kesalahan ejaan untuk nama kolom atau nama tabel dapat menyebabkan masalah saat Cloud Functions mencoba menambahkan data nanti dalam codelab ini.

Anda akan melihat hasil seperti ini...

Anda sekarang memiliki konfigurasi data warehouse untuk menerima data cuaca.

Apakah Anda melakukan kesalahan saat membuat tabel? Jika ya, arahkan kursor ke nama tabel di sisi kiri jendela, klik ikon panah bawah, lalu klik Hapus Tabel. Sekarang Anda dapat mengulangi langkah-langkah di atas untuk membuat ulang tabel.

4. Membuat topik Pub/Sub

Cloud Pub/Sub adalah fondasi sederhana, andal, dan skalabel untuk analisis streaming dan sistem komputasi berbasis peristiwa. Hasilnya, layanan ini sangat cocok untuk menangani pesan IoT yang masuk, lalu mengizinkan sistem downstream untuk memprosesnya.

Jika Anda masih berada di jendela untuk BigQuery, beralihlah kembali ke Konsol Cloud. Jika Anda menutup Konsol Cloud, buka https://console.cloud.google.com

Dari Konsol Cloud, pilih Pub/Sub, lalu Topics.

Jika Anda melihat prompt Enable API, klik tombol Enable API.

Klik tombol Create a topic

Masukkan "weatherdata" sebagai nama topik, lalu klik Buat

Anda akan melihat topik yang baru dibuat

Anda sekarang memiliki topik Pub/Sub untuk memublikasikan pesan IoT dan mengizinkan proses lain mengakses pesan tersebut.

Memublikasikan ke topik dengan aman

Jika Anda berencana memublikasikan pesan ke topik Pub/Sub dari resource di luar Google Cloud Console (misalnya, sensor IoT), Anda harus mengontrol akses dengan lebih ketat menggunakan akun layanan dan memastikan keamanan koneksi dengan membuat sertifikat kepercayaan.

Jika Anda tidak berencana membangun perangkat IoT fisik sebagai bagian dari lab ini, langkah-langkah berikut tidak diperlukan dan Anda dapat melewatinya. Lanjutkan ke bagian berikutnya, Membuat Cloud Function. Jika Anda ingin memahami cara membuat kunci keamanan untuk melindungi komunikasi antara perangkat IoT dan Google Cloud Platform, baca bagian selanjutnya.

Dari Konsol Cloud, pilih IAM &Admin, lalu Service accounts

Klik tombol Create service account

Di menu drop-down Peran, pilih peran Pub/Sub Publisher

Ketik nama akun layanan (iotWeatherPublisher), centang kotak centang Berikan kunci pribadi baru, pastikan Jenis kunci ditetapkan ke JSON, lalu klik "Buat"

Kunci keamanan akan didownload secara otomatis. Hanya ada satu kunci, jadi pastikan kunci tersebut tidak hilang. Klik Tutup.

Ingin lebih memahami kontrol akses menggunakan Google Cloud Identity and Access Management? Lihat dokumentasi.

Anda akan melihat bahwa akun layanan telah dibuat dan ada ID Kunci yang terkait dengannya.

Langkah-langkah berikut dilakukan untuk menyederhanakan proses agar dapat menyalin kunci keamanan ke Raspberry Pi sehingga fokus lab ini dapat diarahkan pada pengembangan pipeline data lengkap. Namun, pendekatan yang lebih baik adalah menyalin kunci keamanan menggunakan SFTP atau SCP, tetapi membahas nuansa penyiapan SFTP atau SCP di semua kemungkinan sistem operasi berada di luar cakupan codelab ini. Bagi yang tertarik untuk mempelajari lebih lanjut, halaman web ini merupakan titik awal yang baik untuk mempelajari cara menyiapkan SFTP untuk mengakses Raspberry Pi Anda.

Agar dapat mengakses kunci dengan mudah nanti, kita akan menyimpannya di Google Cloud Storage. Dari Cloud Console, pilih Storage, lalu Browser.

Klik tombol Create Bucket

Pilih nama untuk bucket penyimpanan (nama tersebut harus unik secara global di seluruh Google Cloud) lalu klik tombol Buat

Temukan kunci keamanan yang didownload secara otomatis, lalu tarik lalu lepas atau upload ke bucket penyimpanan

Setelah upload kunci selesai, kunci akan muncul di browser Cloud Storage

Catat nama bucket penyimpanan dan nama file kunci keamanan untuk nanti.

5. Membuat Cloud Function

Cloud computing memungkinkan model komputasi tanpa server sepenuhnya, dengan logika dapat dijalankan sesuai permintaan sebagai respons terhadap peristiwa yang berasal dari mana saja. Untuk lab ini, Cloud Function akan dimulai setiap kali pesan dipublikasikan ke topik cuaca, akan membaca pesan, lalu menyimpannya di BigQuery.

Dari Cloud Console, pilih Cloud Functions

Jika Anda melihat pesan API, klik tombol Enable API

Klik tombol Buat fungsi

Di kolom Name, ketik function-weatherPubSubToBQ. Untuk Trigger, pilih topik Cloud Pub/Sub dan pada menu dropdown Topic pilih weatherdata. Untuk kode sumber, pilih editor inline. Di tab index.js, tempel kode berikut di atas kode yang ada untuk memulai. Pastikan untuk mengubah konstanta untuk projectId, datasetId, dan tableId agar sesuai dengan lingkungan Anda.

Jika Anda perlu menemukannya, ID project tersebut ada di halaman beranda Cloud Console.

Jika Anda mengikuti rekomendasi di lab ini dan tidak menyesuaikan nama, datasetId Anda harus "weatherData" dan tableId harus "weatherDataTable". projectId Anda akan unik karena setiap project di Google Cloud memerlukan nama unik, jadi ambil nama yang Anda berikan untuk project Anda di langkah pertama codelab ini.

/**
 * Background Cloud Function to be triggered by PubSub.
 *
 * @param {object} event The Cloud Functions event.
 * @param {function} callback The callback function.
 */
exports.subscribe = function (event, callback) {
  const BigQuery = require('@google-cloud/bigquery');
  const projectId = "myProject"; //Enter your project ID here
  const datasetId = "myDataset"; //Enter your BigQuery dataset name here
  const tableId = "myTable"; //Enter your BigQuery table name here -- make sure it is setup correctly
  const PubSubMessage = event.data;
  // Incoming data is in JSON format
  const incomingData = PubSubMessage.data ? Buffer.from(PubSubMessage.data, 'base64').toString() : "{'sensorID':'na','timecollected':'1/1/1970 00:00:00','zipcode':'00000','latitude':'0.0','longitude':'0.0','temperature':'-273','humidity':'-1','dewpoint':'-273','pressure':'0'}";
  const jsonData = JSON.parse(incomingData);
  var rows = [jsonData];

  console.log(`Uploading data: ${JSON.stringify(rows)}`);

  // Instantiates a client
  const bigquery = BigQuery({
    projectId: projectId
  });

  // Inserts data into a table
  bigquery
    .dataset(datasetId)
    .table(tableId)
    .insert(rows)
    .then((foundErrors) => {
      rows.forEach((row) => console.log('Inserted: ', row));

      if (foundErrors && foundErrors.insertErrors != undefined) {
        foundErrors.forEach((err) => {
            console.log('Error: ', err);
        })
      }
    })
    .catch((err) => {
      console.error('ERROR:', err);
    });
  // [END bigquery_insert_stream]


  callback();
};

Di tab package.json, tempel kode berikut di atas kode placeholder yang ada

{
  "name": "function-weatherPubSubToBQ",
  "version": "0.0.1",
  "private": true,
  "license": "Apache-2.0",
  "author": "Google Inc.",
  "dependencies": {
    "@google-cloud/bigquery": "^0.9.6"
  }
}

Jika Function yang akan dieksekusi disetel ke "HelloWorld", ubah menjadi "subscribe". Klik tombol Buat

Perlu waktu sekitar 2 menit hingga fungsi Anda menunjukkan bahwa fungsi tersebut telah di-deploy

Selamat! Anda baru saja menghubungkan Pub/Sub ke BigQuery melalui Functions.

6. Menyiapkan hardware IoT (opsional)

Membangun sensor IoT tidak diperlukan, tetapi memberikan pengalaman dalam menggunakan Google Cloud SDK dan komponen keamanan. Jika ingin, Anda dapat membaca sekilas konten dan melanjutkan ke langkah berikutnya (Memulai Pipeline Data).

Memasang Raspberry Pi dan sensor

Jika ada lebih dari 7 pin, pangkas header menjadi hanya 7 pin. Solder pin header ke papan sensor.

Pasang pin header palu dengan hati-hati ke dalam Raspberry Pi.

Format kartu SD dan instal penginstal NOOBS (New Out Of Box Software) dengan mengikuti langkah-langkah di sini. Masukkan kartu SD ke dalam Raspberry Pi dan tempatkan Raspberry Pi ke dalam casingnya.

Gunakan kabel papan tempat memotong roti untuk menghubungkan sensor ke Raspberry Pi sesuai dengan diagram di bawah.

Pin Raspberry Pi	Koneksi sensor
Pin 1 (3,3 V)	STNK
Pin 3 (CPIO2)	SDI
Pin 5 (GPIO3)	SCK
Pin 9 (Darat)	GND

Hubungkan monitor (menggunakan konektor mini-HDMI), keyboard/mouse (dengan hub USB), dan terakhir, adaptor daya.

Mengonfigurasi Raspberry Pi dan sensor

Setelah Raspberry Pi selesai {i>booting<i}, pilih Raspbian untuk sistem operasi yang diinginkan, pastikan bahasa yang Anda inginkan sudah benar dan kemudian klik {i>Install<i} (ikon {i>hard drive<i} di bagian kiri atas jendela).

Klik ikon Wifi (kanan atas layar) dan pilih jaringan. Jika jaringan tersebut aman, masukkan sandi (pre-shared key).

Klik ikon raspberry (kiri atas layar), pilih Preferensi, lalu Konfigurasi Raspberry Pi. Dari tab Interfaces, aktifkan I2C. Dari tab Pelokalan, setel Lokalitas dan Zona Waktu. Setelah menetapkan Zona Waktu, biarkan Raspberry Pi memulai ulang.

Setelah {i>reboot<i} selesai, klik ikon Terminal untuk membuka jendela terminal.

Ketik perintah berikut untuk memastikan sensor terhubung dengan benar.

  sudo i2cdetect -y 1

Hasilnya akan terlihat seperti ini – pastikan hasilnya 77.

Hasil semua 0 menunjukkan bahwa sensor tidak dibaca oleh Raspberry Pi – periksa kabel dan koneksinya.

Hasil selain 77 dapat menunjukkan bahwa jenis sensor tidak cocok dengan yang direkomendasikan oleh codelab ini dan ini akan menyebabkan driver sensor tidak berfungsi dengan benar. Untuk memperbaiki situasi ini, Anda harus mengedit skrip Adafruit_BME280.py yang didownload di bagian "Menginstal software sensor dan skrip cuaca" di bawah. Misalnya, jika hasilnya menampilkan 76, Anda harus mengubah BME280_I2CADDR menjadi 0x76.

Menginstal Google Cloud SDK

Agar dapat memanfaatkan alat ini di platform Google Cloud, Google Cloud SDK harus diinstal di Raspberry Pi. SDK ini mencakup alat yang diperlukan untuk mengelola dan memanfaatkan Google Cloud Platform serta tersedia untuk beberapa bahasa pemrograman.

Pelajari lebih lanjut Google Cloud SDK

Buka jendela terminal di Raspberry Pi jika belum terbuka, lalu tetapkan variabel lingkungan yang akan mencocokkan versi SDK dengan sistem operasi di Raspberry Pi.

  export CLOUD_SDK_REPO="cloud-sdk-$(lsb_release -c -s)"

Sekarang, tambahkan lokasi penyimpanan paket Google Cloud SDK sehingga alat penginstalan akan tahu tempat mencari saat diminta untuk menginstal SDK.

  echo "deb http://packages.cloud.google.com/apt $CLOUD_SDK_REPO main" |  sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list

Tambahkan kunci publik dari repositori paket Google sehingga Raspberry Pi akan memverifikasi keamanan dan memercayai konten selama penginstalan

  curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -

Pastikan semua software di Raspberry Pi sudah yang terbaru dan instal Google Cloud SDK inti

  sudo apt-get update && sudo apt-get install google-cloud-sdk

Saat muncul prompt "Do you want to continue?", tekan Enter.

Kecepatan penginstalan SDK bergantung pada kecepatan jaringan dan prosesor Raspberry Pi. Raspberry Pi Zero W dapat membutuhkan waktu sekitar 30 menit untuk menyelesaikan penginstalan. Jika Anda menggunakan perangkat keras alternatif (Raspberry Pi 3 Model B), waktu penginstalan biasanya jauh lebih cepat.

Menginstal paket tendo menggunakan pengelola paket Python. Paket ini digunakan untuk memeriksa apakah skrip berjalan lebih dari sekali dan diinstal untuk aplikasinya ke skrip cuaca.

  pip install tendo

Pastikan paket Google Cloud PubSub dan OAuth2 untuk Python sudah diinstal dan diupdate menggunakan pengelola paket Python

  sudo pip install --upgrade google-cloud-pubsub
  sudo pip install --upgrade oauth2client

Menginisialisasi Google Cloud SDK

SDK memungkinkan akses jarak jauh yang diautentikasi ke Google Cloud. Untuk codelab ini, kode ini akan digunakan untuk mengakses bucket penyimpanan sehingga kunci keamanan dapat didownload dengan mudah ke Raspberry Pi.

Dari baris perintah di Raspberry Pi, masukkan

  gcloud init --console-only

Saat muncul pertanyaan "Apakah Anda ingin login (Y/n)?", tekan Enter.

Saat Anda melihat "Buka link berikut di browser:" yang diikuti dengan URL panjang yang diawali dengan https://accounts.google.com/o/oauth?..., arahkan kursor ke URL menggunakan mouse, klik kanan, lalu pilih "Salin URL". Kemudian buka {i>browser<i} web (ikon bola dunia biru di sudut kiri atas layar), klik kanan pada bilah alamat dan klik "{i>Paste<i}/Tempel".

Jika Anda tidak sengaja menggunakan pintasan Ctrl-C untuk mencoba menyalin URL, perintah gcloud akan dibatalkan. Coba kembali perintah gcloud di atas dan gunakan mouse dan klik kanan untuk memerintahkan URL.

Setelah melihat layar Login, masukkan alamat email Anda yang terkait dengan akun Google Cloud, lalu tekan Enter. Kemudian, masukkan sandi Anda dan klik tombol Berikutnya.

Pendekatan ini disediakan untuk memudahkan dan mengasumsikan bahwa Raspberry Pi adalah perangkat satu pengguna hanya untuk pengujian. Untuk mempelajari Google Cloud Identity and Access Management lebih lanjut, lihat dokumentasi.

Anda akan diminta untuk mengizinkan Google Cloud SDK mengakses Akun Google Anda. Klik tombol Izinkan.

Anda akan melihat kode verifikasi. Dengan mouse, tandai, lalu klik kanan dan pilih Salin. Kembali ke jendela terminal, pastikan kursor ada di sebelah kanan "Masukkan kode verifikasi:", klik kanan dengan mouse, lalu pilih Tempel. Tekan tombol Enter.

Jika Anda diminta untuk memilih "Pilih project cloud yang akan digunakan:", masukkan angka yang sesuai dengan nama project yang telah Anda gunakan untuk codelab ini, lalu tekan Enter.

Jika Anda diminta untuk mengaktifkan Compute API, tekan tombol Enter untuk mengaktifkannya. Setelah itu, Anda akan diminta untuk mengonfigurasi setelan Google Compute Engine. Tekan Enter. Anda akan melihat daftar potensi wilayah/zona – pilih salah satu yang terdekat dengan Anda, masukkan nomor yang sesuai, lalu tekan Enter.

Beberapa saat lagi, Anda akan melihat beberapa informasi tambahan ditampilkan. Google Cloud SDK kini telah dikonfigurasi. Anda dapat menutup jendela browser web karena tidak akan menggunakannya lagi.

Menginstal software sensor dan skrip cuaca

Dari command line di Raspberry Pi, clone paket yang diperlukan untuk membaca informasi dari pin input/output.

  git clone https://github.com/adafruit/Adafruit_Python_GPIO

Instal paket yang didownload

  cd Adafruit_Python_GPIO

  sudo python setup.py install

  cd ..

Meng-clone kode project yang mengaktifkan sensor cuaca

  git clone https://github.com/googlecodelabs/iot-data-pipeline

Salin driver sensor ke direktori yang sama dengan software yang didownload.

  cd iot-data-pipeline/third_party/Adafruit_BME280

  mv Adafruit_BME280.py ../..

  cd ../..

Edit skrip dengan mengetik...

  nano checkWeather.py

Ubah project menjadi Project ID Anda dan topik menjadi nama topik Pub/Sub Anda (ini telah dicatat di bagian Menyiapkan dan Membuat topik Pub/Sub dalam codelab ini).

Ubah nilai sensorID, sensorZipCode, sensorLat, dan sensorLong menjadi nilai apa pun yang Anda inginkan. Nilai Lintang dan Bujur untuk lokasi atau alamat tertentu dapat ditemukan di sini.

Setelah selesai membuat perubahan yang diperlukan, tekan Ctrl-X untuk mulai keluar dari editor nano. Tekan Y untuk mengonfirmasi.

# constants - change to fit your project and location
SEND_INTERVAL = 10 #seconds
sensor = BME280(t_mode=BME280_OSAMPLE_8, p_mode=BME280_OSAMPLE_8, h_mode=BME280_OSAMPLE_8)
credentials = GoogleCredentials.get_application_default()
project="myProject" #change this to your Google Cloud project id
topic = "myTopic" #change this to your Google Cloud PubSub topic name
sensorID = "s-Googleplex"
sensorZipCode = "94043"
sensorLat = "37.421655"
sensorLong = "-122.085637"

Menginstal kunci keamanan

Salin kunci keamanan (dari bagian "Publikasi aman ke topik") ke Raspberry Pi.

Jika Anda menggunakan SFTP atau SCP untuk menyalin kunci keamanan dari komputer lokal ke Raspberry Pi (ke direktori /home/pi), Anda dapat melewati langkah berikutnya dan langsung mengekspor jalur.

Jika Anda menempatkan kunci keamanan ke dalam bucket penyimpanan, Anda harus mengingat nama bucket penyimpanan dan nama filenya. Gunakan perintah gsutil untuk menyalin kunci keamanan. Perintah ini dapat mengakses Google Storage (mengapa jalurnya diberi nama gsutil dan mengapa jalur ke file dimulai dengan gs://). Pastikan Anda mengubah perintah di bawah untuk mendapatkan nama bucket dan nama file.

  gsutil cp gs://nameOfYourBucket/yourSecurityKeyFilename.json .

Anda akan melihat pesan bahwa file sedang disalin dan operasi telah selesai.

Jika melihat "CommandException: Tidak ada URL yang cocok", masalah yang paling mungkin adalah nama bucket atau file Anda salah atau salah eja.

Dari command line di Raspberry Pi, ekspor jalur ke kunci keamanan (ubah nama file agar sesuai dengan yang Anda miliki)

  export GOOGLE_APPLICATION_CREDENTIALS=/home/pi/iot-data-pipeline/yourSecurityKeyFilename.json

Jika Anda berencana menggunakan Raspberry Pi secara ekstensif untuk pengukuran cuaca, sebaiknya tempatkan pernyataan ekspor ke dalam file .profile agar dapat dipertahankan saat perangkat dimulai ulang. File .profile berada di direktori /home/pi dan dapat diedit menggunakan editor apa pun yang tersedia (misalnya, vi atau nano). Letakkan pernyataan ekspor di akhir file.

Sekarang Anda memiliki sensor cuaca IoT yang sudah selesai dan siap mengirimkan data ke Google Cloud.

Jika Anda ingin skrip dimulai secara otomatis setelah Raspberry Pi melakukan booting, Anda juga perlu menambahkan kode berikut ini ke .profile setelah pernyataan ekspor:

python /home/pi/iot-data-pipeline/checkWeather.py &

7. Memulai pipeline data

Mungkin perlu mengaktifkan Compute API

Streaming data dari Raspberry Pi

Jika Anda membuat sensor cuaca IoT Raspberry Pi, mulai skrip yang akan membaca data cuaca dan mengirimkannya ke Google Cloud Pub/Sub. Jika Anda tidak berada di direktori /home/pi/iot-data-pipeline, pindah ke sana terlebih dahulu

  cd /home/pi/iot-data-pipeline

Mulai skrip cuaca

  python checkWeather.py

Anda akan melihat jendela terminal yang mencerminkan hasil data cuaca setiap menit. Dengan aliran data, Anda dapat langsung menuju ke bagian berikutnya (Periksa Apakah Data Mengalir).

Simulasi streaming data

Jika tidak membuat sensor cuaca IoT, Anda dapat menyimulasikan streaming data menggunakan set data publik yang telah disimpan di Google Cloud Storage dan memasukkannya ke topik Pub/Sub yang sudah ada. Google Dataflow beserta template yang disediakan Google untuk membaca dari Cloud Storage dan memublikasikan ke Pub/Sub akan digunakan.

Sebagai bagian dari proses, Dataflow akan memerlukan lokasi penyimpanan sementara, jadi mari kita buat bucket penyimpanan untuk tujuan ini.

Dari Cloud Console, pilih Storage, lalu Browser.

Klik tombol Create Bucket

Pilih nama untuk bucket penyimpanan (ingat, nama tersebut harus unik secara global di semua Google Cloud) lalu klik tombol Create. Ingat nama bucket penyimpanan ini karena Anda akan segera membutuhkannya.

Dari Konsol Cloud, pilih Dataflow.

Anda mungkin diminta untuk mengaktifkan Dataflow API dan, jika demikian, Anda harus mengklik tombol "Aktifkan API". Jika Anda tidak diminta untuk mengaktifkan API dan belum pernah menggunakan Dataflow sebelumnya, hal ini dapat menyebabkan error di langkah berikutnya. Gunakan Cloud Console untuk membuka APIs & Services, klik Enable APIs and Services, di jenis kotak penelusuran "Welcome to the new API Library" di "Dataflow", klik Google Dataflow API, lalu klik tombol Enable. Setelah API diaktifkan, gunakan Cloud Console untuk kembali ke Dataflow dan lanjutkan ke langkah berikutnya di bawah.

Klik Create Job from Template (bagian atas layar)

Isi detail tugas seperti yang ditunjukkan di bawah dengan memperhatikan hal-hal berikut:

• Masukkan nama tugas dataflow-gcs-to-pubsub
• Region Anda akan dipilih secara otomatis sesuai dengan tempat project Anda dihosting dan tidak perlu diubah.
• Pilih template Cloud Dataflow dari Teks GCS ke Cloud Pub/Sub
• Untuk File Input Cloud Storage, masukkan gs://codelab-iot-data-pipeline-sampleweatherdata/*.json (ini adalah set data publik)
• Untuk Topik Pub/Sub Output, jalur pasti akan bergantung pada nama project Anda dan akan terlihat seperti "projects/yourProjectName/topics/weatherdata"

Jika tidak ingat nama project atau topik, Anda dapat menemukan nama topik Pub/Sub lengkap di halaman Pub/Sub. Membuka tab baru di browser, lalu menggunakan Cloud Console adalah cara mudah untuk kembali menemukan informasi tanpa mengganggu alur kerja Anda di codelab ini.

• Tetapkan Lokasi Sementara ke nama bucket Google Cloud Storage yang baru saja Anda buat beserta awalan nama file "tmp". URL tersebut akan terlihat seperti "gs://myStorageBucketName/tmp".

Jika tidak ingat nama bucket, Anda dapat menemukannya di halaman Storage.

Setelah Anda mengisi semua informasi (lihat di bawah), klik tombol Run job

Tugas Dataflow akan mulai dijalankan.

Jika tugas Dataflow tidak berjalan, periksa kembali apakah Dataflow API telah diaktifkan. Gunakan Cloud Console untuk membuka API & Layanan, klik Aktifkan API dan Layanan, di kotak penelusuran "Selamat datang di Library API baru", ketik "Dataflow", klik Google Dataflow API, lalu klik tombol Aktifkan. Setelah API diaktifkan, gunakan Cloud Console untuk kembali ke Dataflow

Perlu waktu sekitar satu menit untuk menyelesaikan tugas Dataflow.

8. Memeriksa apakah data mengalir

Log Cloud Function

Memastikan Cloud Function dipicu oleh Pub/Sub

  gcloud beta functions logs read function-weatherPubSubToBQ

Log akan menunjukkan bahwa fungsi sedang dieksekusi, data diterima, dan data tersebut disisipkan ke BigQuery

Jika Anda melihat error yang menunjukkan 'ID Project Tidak Valid 'myProject'', ini menunjukkan bahwa bagian index.js dari fungsi tidak mengubah ID project dari kode default yang diberikan. Kembali ke bagian Function dan edit fungsi. Jika Anda memilih untuk tidak membangun Raspberry Pi dan menyimulasikan data streaming menggunakan Dataflow, ulangi bagian tersebut.

Perhatikan bahwa "Insert errors" yang menampilkan jenis "bigquery#tableDataInsertAllResponse" adalah pesan konfirmasi bahwa penyisipan berhasil.

Data BigQuery

Periksa untuk memastikan bahwa data mengalir ke tabel BigQuery. Dari Konsol Cloud, buka BigQuery (bigquery.cloud.google.com).

Di bawah nama proyek (di sisi kiri jendela), klik {i>Dataset<i} (weatherData), lalu pada tabel (weatherDataTable), kemudian klik tombol Query Table

Tambahkan tanda bintang ke pernyataan SQL sehingga tertulis SELECT * FROM... seperti yang ditunjukkan di bawah ini dan kemudian klik tombol RUN QUERY

Jika diminta, klik tombol Run query

Jika hasilnya muncul, berarti data mengalir dengan benar.

Dengan data yang mengalir, Anda kini siap membuat dasbor analisis.

9. Membuat dasbor Data Studio

Google Data Studio mengubah data Anda menjadi dasbor dan laporan informatif yang mudah dibaca, mudah dibagikan, dan dapat disesuaikan sepenuhnya.

Dari browser web, buka https://datastudio.google.com

Di bagian "Mulai laporan baru", klik Kosong, lalu klik tombol Mulai

Centang kotak untuk menyetujui persyaratan, klik tombol Berikutnya, pilih email yang ingin Anda terima, lalu klik tombol Selesai. Sekali lagi, di bagian "Mulai laporan baru", klik Kosong

Klik tombol Create New Data Source

Klik BigQuery, lalu tombol Authorize lalu pilih Akun Google yang ingin Anda gunakan dengan Data Studio (harus sama dengan akun yang telah Anda gunakan untuk codelab).

Klik tombol Izinkan

Pilih nama project, set data, dan tabel Anda. Kemudian klik tombol Hubungkan.

Ubah kolom jenis seperti yang ditunjukkan di bawah (semuanya harus berupa angka kecuali timecollected dan sensorID). Perhatikan bahwa timecollected ditetapkan ke Date Hour (dan bukan hanya Date). Ubah kolom Agregasi seperti yang ditunjukkan di bawah (titik embun, suhu, kelembapan, dan tekanan harus berupa rata-rata, dan yang lainnya harus disetel ke "Tidak ada"). Klik tombol Buat Laporan.

Menetapkan timecollected ke "Date" secara tidak sengaja akan menghasilkan diagram yang hanya menampilkan rata-rata berdasarkan hari, bukan per jam.

Konfirmasi dengan mengklik tombol Tambahkan ke laporan

Jika diminta untuk memilih Akun Google Anda, lakukan, lalu klik tombol Izinkan untuk mengizinkan Data Studio menyimpan laporannya di Google Drive.

Anda akan melihat kanvas kosong untuk membuat dasbor. Dari baris atas ikon, pilih Deret Waktu.

Gambar persegi panjang di sudut kiri atas lembar kosong. Seharusnya, gambar ini menempati sekitar ¼ dari total lembar kosong.

Jumlah data yang Anda lihat di diagram yang dihasilkan akan bergantung pada seberapa banyak data yang telah dikumpulkan. Jika Anda membuat sensor IoT dan baru saja mulai mengumpulkan data, Anda mungkin hanya melihat satu titik. Jika menyimulasikan data streaming menggunakan Dataflow, Anda akan melihat data yang mencakup lebih dari satu hari penuh.

Di sisi kanan jendela, pilih tab Gaya. Ubah Data yang Tidak Ada dari "Baris ke Nol" menjadi "Pemisah Baris". Di bagian Sumbu Y Kiri, hapus 0 dari Sumbu Min. untuk mengubahnya menjadi (Otomatis).

Klik grafik di sheet, lalu salin/tempel (Ctrl-C/Ctrl-V) 3 kali. Sejajarkan grafik sehingga masing-masing memiliki ¼ tata letak.

Klik pada setiap grafik dan di bagian Properti Deret Waktu dan Data, klik metrik yang ada (titik embun), pilih metrik yang berbeda untuk ditampilkan hingga keempat pembacaan cuaca (titik embun, suhu, kelembapan, dan tekanan) memiliki grafiknya sendiri.

Sekarang Anda memiliki dasbor dasar.

Data Studio memiliki banyak kemampuan yang tidak dibahas dalam codelab ini. Jangan ragu untuk mengeksplorasi dengan menambahkan judul, warna garis, dan elemen lain yang mungkin menarik bagi Anda.

10. Selamat!

Anda telah membuat seluruh pipeline data. Dengan demikian, Anda telah mempelajari cara menggunakan Google Pub/Sub, cara men-deploy Fungsi serverless, cara memanfaatkan BigQuery, dan cara membuat dasbor analisis menggunakan Data Studio. Selain itu, Anda telah melihat bagaimana Google Cloud SDK dapat digunakan dengan aman untuk memindahkan data ke Google Cloud Platform. Terakhir, Anda sekarang memiliki pengalaman langsung dengan pola arsitektur penting yang dapat menangani volume tinggi sekaligus mempertahankan ketersediaan.

Membersihkan

Setelah selesai bereksperimen dengan data cuaca dan pipeline analisis, Anda dapat menghapus resource yang sedang berjalan.

Jika Anda mem-build sensor IoT, nonaktifkan. Tekan Ctrl-C di jendela terminal untuk menghentikan skrip, lalu ketik perintah berikut untuk mematikan Raspberry Pi

  shutdown -h now

Buka Cloud Functions, klik kotak centang di samping function-weatherPubSubToBQ, lalu klik Hapus

Buka Pub/Sub, klik Topik, klik kotak centang di samping topik weatherdata, lalu klik Hapus

Buka Storage, klik kotak centang di samping bucket penyimpanan, lalu klik Delete

Buka bigquery.cloud.google.com, klik panah bawah di samping nama project Anda, klik panah bawah di sebelah kanan set data weatherData, lalu klik Hapus set data.

Saat diminta, ketik ID set data (weatherData) untuk menyelesaikan penghapusan data.