Przekształć odpowiedzi z ankiet z Formularzy Google i wczytuj je w BigQuery

1. Wprowadzenie

Ankiety można przeprowadzać z wielu powodów: aby ocenić zadowolenie klientów, przeprowadzić badanie rynku, ulepszyć produkt lub usługę albo ocenić zaangażowanie pracowników. Jeśli jednak masz już za sobą próby pracy z danymi z ankiet, prawdopodobnie wiesz, że standardowy format jest trudny w obsłudze. W tym przewodniku utworzymy automatyczny potok, który przechwytuje wyniki z Formularzy Google, przygotowuje dane do analizy za pomocą Cloud Dataprep, wczytuje je do BigQuery i umożliwia zespołowi przeprowadzanie analizy wizualnej za pomocą narzędzi takich jak Looker czy Studio danych.

Co utworzysz

W tym ćwiczeniu użyjesz Dataprep do przekształcenia odpowiedzi z przykładowej ankiety w Formularzach Google w format przydatny do analizy danych. Przekształcone dane prześlesz do BigQuery, gdzie możesz zadawać bardziej szczegółowe pytania za pomocą SQL i łączyć je z innymi zbiorami danych, aby przeprowadzać bardziej zaawansowane analizy. Na koniec możesz zapoznać się z gotowymi panelami lub połączyć własne narzędzie do analizy biznesowej z BigQuery, aby tworzyć nowe raporty.

Czego się nauczysz

  • Jak przekształcać dane z ankiet za pomocą Dataprep
  • Jak przesyłać dane z ankiet do BigQuery
  • Jak uzyskać więcej informacji z danych ankiety

Czego potrzebujesz

2. Zarządzanie odpowiedziami z formularza w Formularzach Google

Zaczniemy od przyjrzenia się odpowiedziom z Formularzy Google na naszą przykładową ankietę.

f3d25efd2cc923f5.png

Wyniki ankiety można wyeksportować z karty „Odpowiedzi”, klikając ikonę Arkuszy Google i tworząc nowy arkusz kalkulacyjny lub wczytując wyniki do istniejącego. Formularze Google będą nadal dodawać odpowiedzi do arkusza kalkulacyjnego, gdy użytkownicy będą przesyłać odpowiedzi, dopóki nie odznaczysz przycisku „Akceptowanie odpowiedzi”.

d499e5a4dccdf5fd.png4939332a5d8f9f19.png

Przyjrzyjmy się teraz każdemu typowi odpowiedzi i temu, jak jest on tłumaczony w pliku Arkuszy Google.

3. Przekształcanie odpowiedzi na pytania z ankiety

Pytania ankiety można podzielić na 4 rodziny, które będą miały określony format eksportu. W zależności od typu pytania musisz w odpowiedni sposób zmienić strukturę danych. Tutaj sprawdzamy każdą z grup i typy przekształceń, które musimy zastosować.

Pytania jednokrotnego wyboru: krótka odpowiedź, akapit, menu rozwijane, skala liniowa itp.

  • Question name: nazwa kolumny
  • Odpowiedź: wartość komórki.
  • Wymagania dotyczące przekształcenia: przekształcenie nie jest potrzebne, odpowiedź jest wczytywana w niezmienionej postaci.

3eeedc50b0fd54fd.png

Pytania jednokrotnego wyboru: jednokrotny wybór, pole wyboru

  • Question name (Nazwa pytania): nazwa kolumny.
  • Odpowiedź: lista wartości rozdzielonych średnikami (np. „Resp 1; Resp 4; Resp 6”).
  • Wymagania dotyczące przekształcenia: listę wartości należy wyodrębnić i przestawić, aby każda odpowiedź stała się nowym wierszem.

cab8a38a96a13ce4.png

Pytania z siatką jednokrotnego wyboru

Oto przykład pytania jednokrotnego wyboru. Należy wybrać jedną wartość z każdego wiersza.

c6ea3d47d4dd5e78.png

  • Nazwa pytania: każde pytanie staje się nazwą kolumny w formacie „Pytanie [Opcja]”.
  • Odpowiedź: każda odpowiedź w siatce staje się kolumną z unikalną wartością.
  • Wymagania dotyczące przekształcenia: każde pytanie i odpowiedź muszą stać się nowym wierszem w tabeli i być podzielone na 2 kolumny. Jedna kolumna zawiera opcję pytania, a druga – odpowiedź.

9223d0271516c58d.png

Pytania z siatką pól wyboru z wieloma opcjami

Oto przykład siatki pól wyboru. Możesz wybrać od zera do kilku wartości z każdego wiersza.

4e3189b8cc2d4a8b.png

  • Nazwa pytania: każde pytanie staje się nazwą kolumny w formacie „Pytanie [Opcja]”.
  • Odpowiedź: każda odpowiedź w siatce staje się kolumną z listą wartości rozdzielonych średnikami.
  • Wymagania dotyczące przekształcania: te typy pytań łączą kategorie „pole wyboru” i „siatka jednokrotnego wyboru” i muszą zostać rozwiązane w tej kolejności.

Najpierw należy wyodrębnić i przekształcić listę wartości każdej odpowiedzi, tak aby każda odpowiedź stała się nowym wierszem dla danego pytania.

Po drugie: każda odpowiedź musi stać się nowym wierszem w tabeli i być podzielona na 2 kolumny. Jedna kolumna zawiera opcję pytania, a druga – odpowiedź.

3c3c2bd098e03003.png

Następnie pokażemy, jak te przekształcenia są obsługiwane w Cloud Dataprep.

4. Tworzenie przepływu Cloud Dataprep

Importowanie wzorca projektowego „Analytics Formularzy Google” w Cloud Dataprep

Pobierz pakiet przepływu Google Forms Analytics Design Pattern (bez rozpakowywania go). W aplikacji Cloud Dataprep kliknij ikonę Flows (Przepływy) na pasku nawigacyjnym po lewej stronie. Następnie na stronie Przepływy wybierz Importuj z menu kontekstowego.

ba7c0cb0eec398df.png

Po zaimportowaniu przepływu wybierz go, aby go edytować. Ekran powinien wyglądać tak:

44978861eb34ec71.png

Łączenie arkusza kalkulacyjnego z wynikami ankiety w Arkuszach Google

Po lewej stronie przepływu źródło danych musi zostać ponownie połączone z Arkuszem Google zawierającym wyniki z Formularzy Google. Kliknij prawym przyciskiem myszy obiekt zbiorów danych Arkuszy Google i wybierz „Zastąp”.

55c16f0c04366f0c.png

Następnie kliknij link „Import Datasets” (Importuj zbiory danych) u dołu okna. Kliknij ikonę ołówka „Edytuj ścieżkę”.

8afeef260c96277f.png

Zastąp bieżącą wartość tym linkiem, który wskazuje na Arkusze Google z wynikami z Formularzy Google. Możesz użyć naszego przykładu lub własnej kopii: https://docs.google.com/spreadsheets/d/1DgIlvlLceFDqWEJs91F8rt1B-X0PJGLY6shkKGBPWpk/edit?usp=sharing

Kliknij „Go” (Przejdź), a następnie w prawym dolnym rogu kliknij „Import & Add to Flow” (Importuj i dodaj do przepływu). Gdy wrócisz do okna, kliknij przycisk „Zastąp” w prawym dolnym rogu.

Łączenie tabel BigQuery

Po prawej stronie przepływu musisz połączyć dane wyjściowe z własną instancją BigQuery. W przypadku każdego z wyjść kliknij ikonę, a następnie zmodyfikuj jego właściwości w następujący sposób.

Najpierw zacznij od edytowania „Miejsc docelowych ustawionych ręcznie”.

a3fc2cb80153ec25.png

Na ekranie „Ustawienia publikowania” kliknij przycisk edycji.

85791e6162a370de.png

Gdy zobaczysz ekran „Działanie publikowania”, musisz zmienić ustawienia połączenia, klikając połączenie BigQuery i edytując jego właściwości.

1f3e4887baaeaffd.png

Wybierz zbiór danych BigQuery, do którego chcesz wczytać wyniki z Formularzy Google. Jeśli nie masz jeszcze utworzonego zbioru danych BigQuery, możesz wybrać „default”.

f4eaa05ecf9de162.png

Po zmodyfikowaniu „Miejsc docelowych ręcznych” wykonaj te same czynności w przypadku „Miejsc docelowych zaplanowanych”.

46edea1b8ca63270.png

Iteruj po każdym wyniku, wykonując te same czynności. Łącznie musisz edytować 8 miejsc docelowych.

5. Wyjaśnienie przepływu Cloud Dataprep

Podstawową ideą przepływu „Wzorzec projektowy analizy Formularzy Google” jest przekształcanie odpowiedzi na ankietę w opisany wcześniej sposób – przez podzielenie każdej kategorii pytań na konkretne przepisy przekształcania danych w Cloud Dataprep.

Ten proces dzieli pytania na 4 tabele (odpowiadające 4 kategoriom pytań, dla uproszczenia).

afa421849b1bd398.png

Zalecamy zapoznanie się z każdym przepisem po kolei, zaczynając od „Clean Headers” (Wyczyść nagłówki), a następnie „SingleChoiceSELECT-Questions” (Pytania z jedną odpowiedzią do wyboru) i kolejnymi przepisami poniżej.

Wszystkie przepisy są opatrzone komentarzami wyjaśniającymi poszczególne etapy przekształcania. W przepisie możesz edytować krok i wyświetlić podgląd stanu danej kolumny przed i po.

449da06d96cd520e.png4ac6e14f578d0707.png

6. Uruchamianie przepływu Cloud Dataprep

Teraz, gdy źródło i miejsca docelowe są prawidłowo skonfigurowane, możesz uruchomić przepływ, aby przekształcić odpowiedzi i wczytać je do BigQuery. Wybierz poszczególne dane wyjściowe i kliknij przycisk „Uruchom”. Jeśli określona tabela BigQuery istnieje, Dataprep dołączy nowe wiersze, w przeciwnym razie utworzy nową tabelę.

47cf50f6d17a5b1e.png

Aby monitorować zadania, kliknij ikonę „Historia zadań” w panelu po lewej stronie. Przetworzenie i wczytanie tabel BigQuery powinno zająć kilka minut.

afc79eeb27202fb4.png

Po zakończeniu wszystkich zadań wyniki ankiety zostaną wczytane do BigQuery w czystym, ustrukturyzowanym i znormalizowanym formacie gotowym do analizy.

7. Analizowanie danych z ankiety w BigQuery

W Google Console dla BigQuery powinny być widoczne szczegóły każdej z nowych tabel.

df370873572511ac.png

Dzięki danym z ankiety w BigQuery możesz łatwo zadawać bardziej kompleksowe pytania, aby lepiej zrozumieć odpowiedzi na ankietę. Załóżmy na przykład, że chcesz dowiedzieć się, jaki język programowania jest najczęściej używany przez osoby o różnych stanowiskach. Możesz napisać zapytanie takie jak to:

SELECT
   programming_answers.Language  AS programming_answers_language,
   project_answers.Title  AS project_answers_title,
   AVG((case when programming_answers.Level='None' then 0 
when programming_answers.Level='beginner' then 1
when programming_answers.Level='competent' then 2 
when programming_answers.Level='proficient' then 3
when programming_answers.Level='expert' then 4 
else null end) ) AS programming_answers_average_level_value
FROM `my-project.DesignPattern.A000111_ProjectAnswers` AS project_answers
INNER JOIN `my-project.A000111_ProgrammingAnswers` AS programming_answers
ON programming_answers.RESPONSE_ID = project_answers.RESPONSE_ID
GROUP BY 1,2
ORDER BY 3 DESC

Aby analizy były jeszcze bardziej skuteczne, możesz połączyć odpowiedzi na ankietę z danymi CRM i sprawdzić, czy uczestnicy są przypisani do kont, które są już uwzględnione w hurtowni danych. Może to pomóc Twojej firmie w podejmowaniu bardziej świadomych decyzji dotyczących obsługi klienta lub kierowania reklam na użytkowników w przypadku nowych produktów.

Poniżej pokazujemy, jak połączyć dane z ankiety z tabelą kont na podstawie domeny respondenta i witryny konta. Teraz możesz zobaczyć rozkład odpowiedzi według rodzaju konta, co pomoże Ci dowiedzieć się, ile osób udzielających odpowiedzi należy do kont obecnych klientów.

SELECT
   account.TYPE  AS account_type,
   COUNT(DISTINCT project_answers.Domainname) AS project_answers_count_domains
FROM `my-project.A000111_ProjectAnswers` AS project_answers
LEFT JOIN `my-project.testing.account` AS account 
ON project_answers.Domainname=account.website
GROUP BY 1

8. Przeprowadzanie analizy wizualnej

Teraz, gdy dane z ankiety są scentralizowane w hurtowni danych, możesz je łatwo analizować w narzędziu do analityki biznesowej. Utworzyliśmy kilka przykładowych raportów w Studiu danych i Lookerze.

Looker

Jeśli masz już instancję Lookera, możesz użyć LookML w tym folderze, aby rozpocząć analizowanie przykładowej ankiety i danych CRM dla tego wzorca. Wystarczy utworzyć nowy projekt Lookera, dodać LookML i zastąpić nazwy połączeń i tabel w pliku, aby odpowiadały konfiguracji BigQuery. Jeśli nie masz instancji Lookera, ale chcesz dowiedzieć się więcej, możesz umówić się na prezentację tutaj.

129db05d6f85f484.png

Studio danych

Możesz też utworzyć raport w Studiu danych. W tym celu kliknij ramkę z krzyżykiem Google „Pusty raport” i połącz się z BigQuery. Postępuj zgodnie ze wszystkimi instrukcjami wyświetlanymi w Studiu danych. Jeśli chcesz dowiedzieć się więcej, tutaj znajdziesz szybki start i wprowadzenie do głównych funkcji Studia danych. Tutaj znajdziesz też nasze gotowe panele Studia danych.

5e744869e3fe3f8f.png

9. Czyszczenie danych

Najprostszym sposobem na uniknięcie płatności jest usunięcie projektu w chmurze utworzonego w tym samouczku. Możesz też usunąć poszczególne zasoby.

  1. W konsoli Cloud otwórz stronę Zarządzanie zasobami.
  2. Z listy projektów wybierz projekt do usunięcia, a potem kliknij Usuń.
  3. W oknie wpisz identyfikator projektu i kliknij Wyłącz, aby usunąć projekt.