Mentransformasi dan Memuat Respons Survei Google Formulir ke BigQuery

1. Pengantar

Ada banyak alasan untuk menjalankan survei: menilai kepuasan pelanggan, menjalankan riset pasar, meningkatkan kualitas produk atau layanan, atau menilai engagement karyawan. Namun, jika Anda pernah mencoba menggunakan data survei sebelumnya, Anda mungkin tahu bahwa format standar sulit digunakan. Dalam panduan ini, kami akan membuat pipeline otomatis yang mengambil hasil Google Formulir, menyiapkan data untuk analisis dengan Cloud Dataprep, memuat data ke BigQuery, dan memungkinkan tim Anda melakukan analisis visual menggunakan alat seperti Looker atau Data Studio.

Yang akan Anda bangun

Dalam codelab ini, Anda akan menggunakan Dataprep untuk mengubah respons dari contoh survei Google Formulir menjadi format yang berguna untuk analisis data. Anda akan mendorong data yang diubah ke BigQuery, tempat Anda dapat mengajukan pertanyaan yang lebih mendalam dengan SQL dan menggabungkannya ke set data lain untuk analisis yang lebih efektif. Pada akhirnya, Anda dapat menjelajahi dasbor bawaan, atau menghubungkan alat business intelligence Anda sendiri ke BigQuery untuk membuat laporan baru.

Yang akan Anda pelajari

• Cara mentransformasi data survei menggunakan Dataprep
• Cara mengirim data survei ke BigQuery
• Cara mendapatkan lebih banyak insight dari data survei

Yang Anda butuhkan

• Project Google Cloud dengan penagihan, BigQuery, dan Dataprep diaktifkan
• Pengetahuan dasar tentang Dataprep akan membantu, tetapi tidak wajib
• Pengetahuan dasar tentang BigQuery dan SQL akan membantu, tetapi tidak diwajibkan

2. Mengelola Respons Google Formulir

Kita akan mulai dengan melihat lebih dekat respons Google Formulir terhadap contoh survei kami.

Hasil survei dapat diekspor dari tab "respons" dengan mengklik ikon Google Spreadsheet dan membuat spreadsheet baru atau memuat hasil ke spreadsheet yang sudah ada. Google Formulir akan terus menambahkan respons ke spreadsheet saat responden mengirimkan balasan mereka hingga Anda membatalkan pilihan tombol "Menerima respons".

Sekarang, mari kita tinjau setiap jenis respons dan terjemahannya dalam file Google Spreadsheet.

3. Mentransformasi Respons Survei

Pertanyaan survei dapat dikelompokkan ke dalam empat keluarga yang akan memiliki format ekspor tertentu. Berdasarkan jenis pertanyaan, Anda harus menyusun ulang data dengan cara tertentu. Di sini, kita akan meninjau setiap grup dan jenis transformasi yang perlu diterapkan.

Pertanyaan Pilihan Tunggal: jawaban singkat, paragraf, dropdown, skala linear, dll.

• Nama pertanyaan: nama kolom
• Respons: nilai sel
• Persyaratan transformasi: tidak diperlukan transformasi; respons dimuat apa adanya.

Pertanyaan Pilihan Ganda: pilihan ganda, kotak centang

• Nama pertanyaan: nama kolom
• Respons: daftar nilai dengan pemisah titik koma (misalnya, "Resp 1; Resp 4; Resp 6")
• Persyaratan transformasi: daftar nilai perlu diekstrak dan diputar, sehingga setiap respons menjadi baris baru.

Pertanyaan Petak Pilihan Ganda

Berikut adalah contoh pertanyaan pilihan ganda. Anda harus memilih satu nilai dari setiap baris.

• Nama pertanyaan: setiap pertanyaan menjadi nama kolom dengan format "Pertanyaan [Opsi]".
• Respons: setiap respons dalam petak menjadi kolom dengan nilai unik.
• Persyaratan transformasi: setiap pertanyaan/jawaban harus menjadi baris baru dalam tabel dan dibagi menjadi dua kolom. Satu kolom menyebutkan opsi pertanyaan dan kolom lainnya berisi respons.

Pertanyaan Petak Kotak Centang Pilihan Ganda

Berikut adalah contoh petak kotak centang. Anda dapat memilih tidak ada hingga beberapa nilai dari setiap baris.

• Nama pertanyaan: setiap pertanyaan menjadi nama kolom dengan format "Pertanyaan [Opsi]".
• Response: setiap respons dalam petak menjadi kolom dengan daftar nilai yang dipisahkan titik koma.
• Persyaratan transformasi: jenis pertanyaan ini menggabungkan kategori "kotak centang" dan "Petak pilihan ganda" dan harus diselesaikan dalam urutan ini.

Pertama, daftar nilai setiap respons harus diekstrak dan diputar, sehingga setiap jawaban menjadi baris baru untuk pertanyaan tertentu.

Kedua: setiap respons harus menjadi baris baru dalam tabel dan dibagi menjadi dua kolom. Satu kolom menyebutkan opsi pertanyaan dan kolom lainnya berisi jawaban.

Selanjutnya, kita akan menunjukkan cara transformasi ini ditangani dengan Cloud Dataprep.

4. Membuat Alur Cloud Dataprep

Mengimpor "Pola Desain Analisis Google Formulir" di Cloud Dataprep

Download paket alur Pola Desain Analisis Google Formulir (tanpa mengekstraknya). Di aplikasi Cloud Dataprep, klik ikon Flows di menu navigasi sebelah kiri. Kemudian, di halaman Flow, pilih Impor dari menu konteks.

Setelah Anda mengimpor alur, pilih alur yang diimpor untuk mengeditnya, layar Anda akan terlihat seperti ini:

Menghubungkan Spreadsheet Hasil Survei Google Spreadsheet

Di sisi kiri alur, sumber data harus dihubungkan kembali ke Google Spreadsheet yang berisi hasil Google Formulir. Klik kanan objek set data Google Spreadsheet, lalu pilih "Ganti".

Kemudian, klik link "Import Datasets" di bagian bawah modal. Klik pensil "Edit jalur".

Dari sana, ganti nilai saat ini dengan link ini yang mengarah ke Google Spreadsheet dengan beberapa hasil Google Formulir. Anda dapat menggunakan contoh kami atau salinan Anda sendiri: https://docs.google.com/spreadsheets/d/1DgIlvlLceFDqWEJs91F8rt1B-X0PJGLY6shkKGBPWpk/edit?usp=sharing

Klik "Go", lalu "Import & Add to Flow" di kanan bawah. Saat Anda kembali ke modal, klik tombol "Ganti" di kanan bawah.

Menghubungkan Tabel BigQuery

Di sisi kanan alur, Anda perlu menghubungkan output ke instance BigQuery Anda sendiri. Untuk setiap output, klik ikon, lalu edit propertinya sebagai berikut.

Pertama, mulai dengan mengedit "Tujuan manual"

Di layar "Setelan Publikasi" berikut, klik tombol edit

Saat melihat layar "Publishing Action", Anda perlu mengubah setelan koneksi dengan mengklik koneksi BigQuery dan mengedit propertinya.

Pilih set data BigQuery tempat Anda ingin hasil Google Formulir dimuat. Anda dapat memilih "default" jika belum membuat set data BigQuery.

Setelah Anda mengedit "Tujuan manual", lanjutkan dengan cara yang sama untuk output "Tujuan terjadwal".

Tujuan manual memungkinkan Anda menjalankan setiap tugas output secara independen dan on demand. Hal ini memudahkan untuk menguji resep persiapan data dan memvalidasi hasil selama desain alur Anda.

Tujuan terjadwal digunakan saat Anda ingin menjalankan alur secara rutin. Misalnya, Anda mungkin ingin memuat ulang hasil Google Formulir ke BigQuery setiap hari agar laporan Anda diperbarui dengan jawaban terbaru.

Lakukan iterasi pada setiap output dengan mengikuti langkah-langkah yang sama. Totalnya, Anda harus mengedit 8 tujuan.

5. Penjelasan Alur Cloud Dataprep

Ide dasar alur "Pola Desain Analisis Google Formulir" adalah melakukan transformasi pada respons survei seperti yang dijelaskan sebelumnya - dengan membagi setiap kategori pertanyaan menjadi resep transformasi data Cloud Dataprep tertentu.

Alur ini membagi pertanyaan menjadi 4 tabel (sesuai dengan 4 kategori pertanyaan, untuk memudahkan)

Sebaiknya Anda mempelajari setiap resep satu per satu, mulai dari "Clean Headers", lalu "SingleChoiceSELECT-Questions", diikuti dengan setiap resep lainnya di bawahnya.

Semua resep diberi komentar untuk menjelaskan berbagai langkah transformasi. Saat berada di sebuah resep, Anda dapat mengedit langkah dan melihat pratinjau status sebelum/setelah kolom tertentu.

6. Menjalankan Alur Cloud Dataprep

Setelah sumber dan tujuan dikonfigurasi dengan benar, Anda dapat menjalankan alur untuk mengubah dan memuat respons ke BigQuery. Pilih setiap output, lalu klik tombol "Run". Jika tabel BigQuery yang ditentukan ada, Dataprep akan menambahkan baris baru. Jika tidak, Dataprep akan membuat tabel baru.

Klik ikon "histori tugas" di panel kiri untuk memantau tugas. Perlu waktu beberapa menit untuk melanjutkan dan memuat tabel BigQuery.

Setelah semua tugas selesai, hasil survei akan dimuat di BigQuery dalam format yang bersih, terstruktur, dan dinormalisasi yang siap untuk dianalisis.

7. Menganalisis Data Survei di BigQuery

Di Konsol Google untuk BigQuery, Anda akan dapat melihat detail setiap tabel baru

Dengan data survei di BigQuery, Anda dapat dengan mudah mengajukan pertanyaan yang lebih komprehensif untuk memahami respons survei secara lebih mendalam. Misalnya, Anda mencoba memahami bahasa pemrograman yang paling sering digunakan oleh orang-orang dengan berbagai judul profesional - Anda dapat menulis kueri seperti ini:

SELECT
   programming_answers.Language  AS programming_answers_language,
   project_answers.Title  AS project_answers_title,
   AVG((case when programming_answers.Level='None' then 0 
when programming_answers.Level='beginner' then 1
when programming_answers.Level='competent' then 2 
when programming_answers.Level='proficient' then 3
when programming_answers.Level='expert' then 4 
else null end) ) AS programming_answers_average_level_value
FROM `my-project.DesignPattern.A000111_ProjectAnswers` AS project_answers
INNER JOIN `my-project.A000111_ProgrammingAnswers` AS programming_answers
ON programming_answers.RESPONSE_ID = project_answers.RESPONSE_ID
GROUP BY 1,2
ORDER BY 3 DESC

Untuk membuat analisis Anda lebih efektif, Anda dapat menggabungkan respons survei ke data CRM untuk melihat apakah peserta dipetakan ke akun yang sudah disertakan dalam data warehouse Anda. Hal ini dapat membantu bisnis Anda membuat keputusan yang lebih tepat terkait dukungan pelanggan atau menargetkan pengguna untuk peluncuran baru.

Di sini, kami menunjukkan cara menggabungkan data survei ke tabel akun berdasarkan domain responden dan situs akun. Sekarang, Anda dapat melihat distribusi respons menurut jenis akun, yang membantu Anda memahami jumlah responden yang termasuk dalam akun pelanggan lama.

SELECT
   account.TYPE  AS account_type,
   COUNT(DISTINCT project_answers.Domainname) AS project_answers_count_domains
FROM `my-project.A000111_ProjectAnswers` AS project_answers
LEFT JOIN `my-project.testing.account` AS account 
ON project_answers.Domainname=account.website
GROUP BY 1

Catatan: Jika ingin menjalankan kueri ini sendiri, Anda dapat menggunakan contoh tabel Akun Salesforce kami dan menambahkannya ke BigQuery menggunakan petunjuk ini.

8. Melakukan Analisis Visual

Setelah data survei dipusatkan di data warehouse, Anda dapat dengan mudah menganalisis data tersebut di alat business intelligence. Kami telah membuat beberapa contoh laporan di Data Studio dan di Looker.

Looker

Jika sudah memiliki instance Looker, Anda dapat menggunakan LookML di folder ini untuk mulai menganalisis sampel survei dan data CRM untuk pola ini. Cukup buat project Looker baru, tambahkan LookML, dan ganti nama koneksi dan tabel dalam file agar cocok dengan konfigurasi BigQuery Anda. Jika tidak memiliki instance Looker, tetapi tertarik untuk mempelajari lebih lanjut, Anda dapat menjadwalkan demo di sini.

Data Studio

Atau, untuk membuat laporan di Data Studio, klik bingkai dengan tanda silang Google "Blank Report" dan hubungkan ke BigQuery. Ikuti semua petunjuk dari Data Studio. Jika Anda ingin mengetahui lebih lanjut, panduan memulai cepat dan pengantar fitur utama Data Studio dapat ditemukan di sini. Anda juga dapat menemukan dasbor data studio bawaan kami di sini.

9. Membersihkan

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project Cloud yang Anda buat untuk tutorial. Atau, Anda dapat menghapus resource satu per satu.

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tutorial ini, saat menghapusnya, Anda juga akan menghapus pekerjaan lain yang telah dilakukan dalam project tersebut.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang masih ingin Anda gunakan pada masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

1. Di Cloud Console, buka manage resources
2. Dalam daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.