Mentransformasi dan Memuat Respons Survei Google Formulir ke BigQuery

1. Pengantar

Ada banyak alasan untuk menjalankan survei: menilai kepuasan pelanggan, menjalankan penelitian pasar, meningkatkan produk atau layanan, atau menilai keterlibatan karyawan. Namun, jika Anda telah mencoba menggunakan data survei sebelum Anda mungkin mengetahui bahwa format standar sulit digunakan. Dalam panduan ini, kami membangun pipeline otomatis yang mengambil hasil Google Formulir, menyiapkan data untuk dianalisis dengan Cloud Dataprep, memuatnya ke BigQuery, dan memungkinkan tim Anda melakukan analisis visual menggunakan alat seperti Looker atau Data Studio.

Yang akan Anda bangun

Dalam codelab ini, Anda akan menggunakan Dataprep untuk mengubah respons dari contoh survei Google Formulir kami menjadi format yang berguna untuk analisis data. Anda akan mendorong data yang telah ditransformasi ke BigQuery di mana Anda dapat mengajukan pertanyaan yang lebih dalam dengan SQL dan menggabungkannya ke {i>dataset<i} lain untuk analisis yang lebih kuat. Di bagian akhir, Anda dapat menjelajahi dasbor siap pakai, atau menghubungkan alat business intelligence Anda sendiri ke BigQuery untuk membuat laporan baru.

Yang akan Anda pelajari

• Cara mengubah data survei menggunakan Dataprep
• Cara mengirim data survei ke BigQuery
• Cara mendapatkan lebih banyak wawasan dari data survei

Yang Anda butuhkan

• Project Google Cloud dengan penagihan, BigQuery, dan Dataprep yang diaktifkan
• Pengetahuan dasar tentang Dataprep akan membantu, tetapi tidak wajib
• Pengetahuan dasar tentang BigQuery dan SQL sangat membantu, tetapi tidak wajib

2. Mengelola Respons Google Formulir

Kita akan mulai dengan mempelajari lebih lanjut respons Google Formulir pada contoh survei kami.

Hasil survei dapat diekspor dari "respons" tab dengan mengklik ikon Google Sheets dan membuat {i>spreadsheet<i} baru atau memuat hasilnya ke dalam {i>spreadsheet<i} yang sudah ada. Google Formulir akan terus menambahkan respons ke spreadsheet saat responden mengirimkan balasan hingga Anda membatalkan pilihan "Menerima respons" tombol.

Sekarang mari kita tinjau setiap jenis respons dan cara menerjemahkannya dalam file Google Spreadsheet.

3. Mentransformasi Respons Survei

Pertanyaan survei dapat dikelompokkan ke dalam empat kelompok yang akan memiliki format ekspor tertentu. Berdasarkan jenis pertanyaan, Anda perlu menyusun ulang data dengan cara tertentu. Di sini, kita meninjau setiap grup dan jenis transformasi yang perlu kita terapkan.

Pertanyaan Pilihan Tunggal: jawaban singkat, paragraf, dropdown, skala linear, dll.

• Nama pertanyaan: nama kolom
• Respons: nilai sel
• Persyaratan transformasi: transformasi tidak diperlukan; respons akan dimuat apa adanya.

Pertanyaan Pilihan Ganda: pilihan ganda, kotak centang

• Nama pertanyaan: nama kolom
• Respons: daftar nilai dengan pemisah titik koma (misalnya, "Resp 1; Resp 4; Resp 6")
• Persyaratan transformasi: daftar nilai harus diekstrak dan diputar, sehingga setiap respons menjadi baris baru.

Pertanyaan Petak Pilihan Ganda

Berikut contoh pertanyaan pilihan ganda. Kita harus memilih satu nilai dari setiap baris.

• Nama pertanyaan: setiap pertanyaan menjadi nama kolom dengan format "Pertanyaan [Option]".
• Respons: setiap respons dalam petak akan menjadi kolom dengan nilai yang unik.
• Persyaratan transformasi: setiap pertanyaan/jawaban harus menjadi baris baru dalam tabel dan dipecah menjadi dua kolom. Satu kolom yang menyebutkan opsi pertanyaan dan kolom lainnya dengan jawaban.

Pertanyaan Petak Kotak Centang Banyak Pilihan

Berikut adalah contoh kisi kotak centang. Anda dapat memilih tidak satu pun hingga beberapa nilai dari setiap baris.

• Nama pertanyaan: setiap pertanyaan menjadi nama kolom dengan format "Pertanyaan [Option]".
• Respons: setiap respons dalam petak menjadi kolom dengan daftar nilai yang dipisahkan titik koma.
• Persyaratan transformasi: jenis pertanyaan ini menggabungkan "kotak centang" dan "Petak pilihan ganda" kategori dan harus diselesaikan dalam urutan ini.

Pertama, daftar nilai setiap respons perlu diekstrak dan diputar, sehingga setiap jawaban menjadi baris baru untuk pertanyaan tertentu.

Kedua: setiap jawaban harus menjadi baris baru dalam tabel dan dipecah menjadi dua kolom. Satu kolom yang menyebutkan opsi pertanyaan dan kolom lainnya dengan jawaban.

Selanjutnya, kita akan menunjukkan bagaimana transformasi ini ditangani dengan Cloud Dataprep.

4. Membangun Alur Cloud Dataprep

Impor "Pola Desain Analytics Google Formulir" di Cloud Dataprep

Download paket alur Pola Desain Analytics Google Formulir (tanpa mengekstraknya). Di aplikasi Cloud Dataprep, klik ikon Flows di menu navigasi sebelah kiri. Kemudian, di halaman Alur, pilih Impor dari menu konteks.

Setelah Anda mengimpor alur, pilih alur yang diimpor untuk mengeditnya, layar Anda akan terlihat seperti ini:

Menghubungkan Spreadsheet Hasil Survei Google Spreadsheet

Di sisi kiri alur, sumber data harus terhubung kembali ke Google Spreadsheet yang berisi hasil Google Formulir. Klik kanan objek set data Google Sheet dan pilih "Replace".

Kemudian klik pada bagian "{i>Import Datasets<i}" di bagian bawah modal. Klik "Edit jalur" pensil.

Dari sana, ganti nilai saat ini dengan link yang mengarah ke Google Spreadsheet dengan beberapa hasil Google Formulir. Anda dapat menggunakan contoh kami atau salinan Anda sendiri: https://docs.google.com/spreadsheets/d/1DgIlvlLceFDqWEJs91F8rt1B-X0PJGLY6shkKGBPWpk/edit?usp=sharing

Klik "Buka" lalu "Import & Tambahkan ke Alur" di kanan bawah. Saat Anda kembali ke modal, klik tombol "Replace" di kanan bawah.

Menghubungkan Tabel BigQuery

Di sisi kanan alur, Anda perlu menghubungkan output ke instance BigQuery Anda sendiri. Untuk setiap output, klik ikon lalu edit propertinya sebagai berikut.

Pertama, mulai dengan mengedit "Tujuan manual"

Di "Setelan Publikasi" berikut layar, klik tombol edit

Saat Anda melihat "Tindakan Publikasi" Anda perlu mengubah setelan koneksi dengan mengklik koneksi BigQuery dan mengedit propertinya.

Pilih set data BigQuery tempat Anda ingin memuat hasil Google Formulir. Anda dapat memilih "default" jika Anda belum membuat set data BigQuery.

Setelah Anda mengedit "Tujuan manual", lanjutkan dengan cara yang sama untuk "Tujuan terjadwal" {i>output<i} tersebut.

Tujuan manual memungkinkan Anda menjalankan setiap tugas output secara independen dan sesuai permintaan. Cara ini mudah untuk menguji resep persiapan data dan memvalidasi hasil selama desain alur Anda.

Tujuan terjadwal digunakan saat Anda ingin menjalankan alur secara rutin. Misalnya, Anda mungkin ingin memuat ulang hasil Google Formulir ke BigQuery setiap hari sehingga laporan Anda diperbarui dengan jawaban terbaru.

Lakukan iterasi pada setiap output dengan mengikuti langkah yang sama. Totalnya, Anda harus mengedit 8 tujuan.

5. Penjelasan Alur Cloud Dataprep

Ide dasar tentang "Pola Desain Analytics Google Formulir" adalah melakukan transformasi pada respons survei seperti yang dijelaskan sebelumnya, dengan membagi setiap kategori pertanyaan ke dalam urutan langkah transformasi data Cloud Dataprep tertentu.

Alur ini membagi pertanyaan menjadi 4 tabel (sesuai dengan 4 kategori pertanyaan, agar lebih mudah)

Sebaiknya pelajari setiap resep satu per satu dimulai dengan "Header Bersih" lalu "SingleChoiceSELECT-Questions" diikuti oleh masing-masing resep di bawahnya.

Semua urutan langkah diberi komentar untuk menjelaskan berbagai langkah transformasi. Saat berada dalam urutan langkah, Anda dapat mengedit langkah dan melihat pratinjau status sebelum/sesudah di kolom tertentu.

6. Menjalankan Alur Cloud Dataprep

Setelah sumber dan tujuan dikonfigurasi dengan benar, Anda dapat menjalankan alur untuk mengubah dan memuat respons ke dalam BigQuery. Pilih setiap output dan klik tombol "Run" tombol. Jika tabel BigQuery yang ditentukan sudah ada, Dataprep akan menambahkan baris baru. Jika tidak, Dataprep akan membuat tabel baru.

Klik "histori pekerjaan" di geser kiri untuk memantau tugas. Perlu waktu beberapa menit untuk melanjutkan dan memuat tabel BigQuery.

Setelah semua tugas selesai, hasil survei akan dimuat di BigQuery dalam format yang bersih, terstruktur, dan ternormalkan dan siap untuk dianalisis.

7. Menganalisis Data Survei di BigQuery

Di Konsol Google untuk BigQuery, Anda akan dapat melihat detail setiap tabel baru

Dengan data survei di BigQuery, Anda dapat dengan mudah mengajukan pertanyaan yang lebih komprehensif untuk memahami respons survei secara lebih mendalam. Misalnya, katakanlah Anda mencoba memahami bahasa pemrograman apa yang paling umum digunakan oleh orang-orang dari berbagai jabatan profesional - Anda dapat menulis kueri seperti ini:

SELECT
   programming_answers.Language  AS programming_answers_language,
   project_answers.Title  AS project_answers_title,
   AVG((case when programming_answers.Level='None' then 0 
when programming_answers.Level='beginner' then 1
when programming_answers.Level='competent' then 2 
when programming_answers.Level='proficient' then 3
when programming_answers.Level='expert' then 4 
else null end) ) AS programming_answers_average_level_value
FROM `my-project.DesignPattern.A000111_ProjectAnswers` AS project_answers
INNER JOIN `my-project.A000111_ProgrammingAnswers` AS programming_answers
ON programming_answers.RESPONSE_ID = project_answers.RESPONSE_ID
GROUP BY 1,2
ORDER BY 3 DESC

Untuk membuat analisis lebih efektif, Anda dapat menggabungkan respons survei ke data CRM untuk melihat apakah peserta memetakan ke akun yang sudah disertakan dalam data warehouse Anda. Hal ini dapat membantu bisnis Anda membuat keputusan yang lebih tepat terkait dukungan pelanggan atau menargetkan pengguna untuk peluncuran baru.

Di sini, kami menunjukkan cara menggabungkan data survei ke tabel akun berdasarkan domain responden dan situs akun. Sekarang, Anda dapat melihat distribusi respons berdasarkan jenis akun, yang membantu Anda memahami jumlah responden yang termasuk dalam akun pelanggan lama.

SELECT
   account.TYPE  AS account_type,
   COUNT(DISTINCT project_answers.Domainname) AS project_answers_count_domains
FROM `my-project.A000111_ProjectAnswers` AS project_answers
LEFT JOIN `my-project.testing.account` AS account 
ON project_answers.Domainname=account.website
GROUP BY 1

Catatan: Jika ingin menjalankan kueri ini sendiri, Anda dapat menggunakan contoh tabel Akun Salesforce dan menambahkannya ke BigQuery menggunakan petunjuk ini.

8. Melakukan Analisis Visual

Setelah data survei Anda terpusat di data warehouse, Anda dapat menganalisis data dengan mudah menggunakan alat business intelligence. Kami telah membuat beberapa contoh laporan di Data Studio dan di Looker.

Looker

Jika sudah memiliki instance Looker, Anda dapat menggunakan LookML di folder ini untuk mulai menganalisis contoh survei dan data CRM untuk pola ini. Cukup buat project Looker baru, tambahkan LookML, lalu ganti nama koneksi dan tabel di file tersebut agar sesuai dengan konfigurasi BigQuery Anda. Jika tidak memiliki instance Looker, tetapi tertarik untuk mempelajari lebih lanjut, Anda dapat menjadwalkan demo di sini.

Data Studio

Atau, untuk membuat laporan di Data Studio, klik bingkai dengan tanda silang Google "Laporan Kosong" dan terhubung ke BigQuery. Ikuti semua petunjuk dari Data Studio. Jika Anda ingin mengetahui lebih lanjut, panduan memulai dan pengenalan fitur utama Data Studio dapat ditemukan di sini. Anda juga dapat menemukan dasbor data studio bawaan kami di sini.

9. Membersihkan

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project Cloud yang Anda buat untuk tutorial. Atau, Anda dapat menghapus resource satu per satu.

Perhatian: Menghapus project memiliki efek berikut:

• Semua yang ada di project akan dihapus. Jika Anda menggunakan project yang ada untuk tutorial ini, saat menghapusnya, Anda juga akan menghapus semua pekerjaan lain yang telah Anda lakukan di project tersebut.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang masih ingin Anda gunakan pada masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus keseluruhan project.

1. Di Konsol Cloud, buka mengelola resource
2. Dalam daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.