Przekształć odpowiedzi z ankiet z Formularzy Google i wczytuj je w BigQuery

1. Wprowadzenie

Ankiety warto przeprowadzać z wielu powodów: pozwala ocenić zadowolenie klientów, przeprowadzać badania rynku, ulepszać produkty lub usługi albo oceniać zaangażowanie pracowników. Jeśli jednak zdarzyło Ci się pracować z danymi z ankiet, zanim zorientujesz się, że format standardowy jest trudny do obsługi, W tym przewodniku tworzymy zautomatyzowany potok, który rejestruje wyniki z Formularzy Google, przygotowuje dane do analizy w Cloud Dataprep, wczytuje je do BigQuery i umożliwia przeprowadzanie analiz wizualnych za pomocą narzędzi takich jak Looker czy Studio danych.

Co utworzysz

W ramach tego ćwiczenia w programie użyjesz Dataprep, aby przekształcić odpowiedzi z naszej przykładowej ankiety z Formularzy Google na format przydatny do analizy danych. Przekształcone dane przekażesz do BigQuery, gdzie możesz zadawać bardziej szczegółowe pytania za pomocą SQL i łączyć je z innymi zbiorami danych, aby przeprowadzać bardziej zaawansowane analizy. Na koniec możesz przejrzeć gotowe panele lub połączyć z BigQuery własne narzędzie do analityki biznesowej, aby tworzyć nowe raporty.

Czego się nauczysz

• Jak przekształcić dane ankiety za pomocą Dataprep
• Jak przekazać dane ankiety do BigQuery
• Jak uzyskać więcej informacji na podstawie danych z ankiety

Czego potrzebujesz

• projekt Google Cloud z włączonymi płatnościami, BigQuery i Dataprep,
• Podstawowa wiedza na temat Dataprep jest przydatna, ale nie jest konieczna
• Podstawowa wiedza o BigQuery i SQL jest przydatna, ale nie jest konieczna

2. Zarządzanie odpowiedziami z Formularzy Google

Zaczniemy od zapoznania się z odpowiedziami z Formularzy Google w przykładowej ankiecie.

Wyniki ankiety można wyeksportować z sekcji „Odpowiedzi”. kliknij ikonę Arkuszy Google i utwórz nowy arkusz kalkulacyjny lub wczytaj wyniki do istniejącego. Odpowiedzi w Formularzach Google będą nadal dodawane do arkusza kalkulacyjnego, gdy ankietowani będą przesyłać swoje odpowiedzi, dopóki nie usuniesz zaznaczenia pola „Przyjmuję odpowiedzi”. Przycisk

Omówmy teraz poszczególne typy odpowiedzi i sposób ich tłumaczenia w pliku Arkuszy Google.

3. Przekształć odpowiedzi na ankiety

Pytania ankiety można grupować na 4 grupy rodzinne, które mają określony format eksportu. W zależności od typu pytania musisz zmienić strukturę danych w określony sposób. Tutaj sprawdzamy każdą z tych grup i rodzaje przekształceń, które musimy zastosować.

Pytania jednokrotnego wyboru: krótka odpowiedź, akapit, menu, skala liniowa itp.

• Nazwa pytania: nazwa kolumny
• Odpowiedź: wartość komórki
• Wymagania dotyczące przekształcenia: nie jest wymagane przekształcenie. odpowiedź zostanie wczytana w niezmienionej formie.

Pytania jednokrotnego wyboru: pytania jednokrotnego wyboru, pole wyboru

• Nazwa pytania: nazwa kolumny
• Odpowiedź: lista wartości z separatorem średnika (np. „Odpowiedzi 1; Resp 4; Resp 6”)
• Wymagania dotyczące przekształcenia: lista wartości należy wyodrębnić i przestawić, tak aby każda odpowiedź stała się nowym wierszem.

Pytania dotyczące siatki wielokrotnego wyboru

Oto przykład pytania jednokrotnego wyboru. Należy wybrać jedną wartość z każdego wiersza.

• Nazwa pytania: każde pytanie staje się nazwą kolumny w formacie „Pytanie [Opcja]”.
• Odpowiedź: każda odpowiedź w siatce staje się kolumną z unikalną wartością.
• Wymagania dotyczące przekształcania: każde pytanie/odpowiedź musi być nowym wierszem tabeli i podzielić się na 2 kolumny. Jedna kolumna zawierająca opcję pytania, a druga z odpowiedzią.

Pytania o siatkę z polem wyboru do wyboru

Oto przykład siatki z polami wyboru. W każdym wierszu możesz wybrać tylko jedną wartość lub kilka wartości.

• Nazwa pytania: każde pytanie staje się nazwą kolumny w formacie „Pytanie [Opcja]”.
• Odpowiedź: każda odpowiedź w siatce staje się kolumną z listą wartości rozdzielonych średnikami.
• Wymagania dotyczące przekształcania: te typy pytań mają połączone pole wyboru. oraz siatka wielokrotnego wyboru i należy je rozwiązać w tej kolejności.

Najpierw lista wartości każdej odpowiedzi musi zostać wyodrębniona i przestawiona, aby każda odpowiedź stała się nowym wierszem dla konkretnego pytania.

Po drugie: każda odpowiedź musi stać się nowym wierszem tabeli i podzielona na 2 kolumny. Jedna kolumna zawierająca opcję pytania, a druga z odpowiedzią.

Następnie pokażemy, jak te przekształcenia są obsługiwane w Cloud Dataprep.

4. Kompilowanie przepływu Cloud Dataprep

Importuj „Wzorzec projektu Analytics w Formularzach Google” w Cloud Dataprep

Pobierz pakiet procesu wzorzec projektu Analytics w Formularzach Google (bez rozpakowywania go). W aplikacji Cloud Dataprep kliknij ikonę Flows na pasku nawigacyjnym po lewej stronie. Następnie na stronie Flows (Przepływy) wybierz Importuj z menu kontekstowego.

Po zaimportowaniu procesu wybierz go, aby go edytować. Twój ekran powinien wyglądać tak:

Arkusz kalkulacyjny z wynikami ankiety w Arkuszach Google

Po lewej stronie procesu musisz ponownie połączyć źródło danych z Arkuszami Google zawierającymi wyniki z Formularzy Google. Kliknij prawym przyciskiem myszy obiekt zbiorów danych w Arkuszach Google i wybierz „Zastąp”.

Następnie kliknij „Importuj zbiory danych”. na dole okna modalnego. Kliknij „Edytuj ścieżkę”. ołówek.

Następnie zastąp bieżącą wartość tym linkiem prowadzącym do Arkuszy Google, który wskazuje niektóre wyniki z Formularzy Google. Możesz użyć naszego przykładu lub własnej kopii: https://docs.google.com/spreadsheets/d/1DgIlvlLceFDqWEJs91F8rt1B-X0PJGLY6shkKGBPWpk/edit?usp=sharing.

Kliknij „OK”. a następnie „Importuj Dodaj do przepływu" w prawym dolnym rogu. Po powrocie do okna kliknij przycisk „Zamień”. w prawym dolnym rogu.

Łączenie tabel BigQuery

Po prawej stronie procesu musisz połączyć dane wyjściowe z własną instancją BigQuery. Kliknij ikonę każdego z wyników i zmień jego właściwości w podany niżej sposób.

Najpierw edytuj ręcznie konfigurowane miejsca docelowe

W sekcji „Ustawienia publikowania” kliknij przycisk Edytuj

Gdy widzisz przycisk „Działanie publikowania” musisz zmienić ustawienia połączenia, klikając połączenie z BigQuery i edytując jego właściwości.

Wybierz zbiór danych BigQuery, do którego mają być wczytywane wyniki z Formularzy Google. Możesz wybrać opcję „domyślne” jeśli nie masz jeszcze utworzonego żadnego zbioru danych BigQuery.

Po wprowadzeniu zmian w polu „Ręczna liczba miejsc docelowych” postępuj tak samo w przypadku „Zaplanowanych miejsc docelowych”. dane wyjściowe.

Ręczne miejsca docelowe umożliwiają uruchamianie każdego zadania wyjściowego niezależnie i na żądanie. Jest to wygodne rozwiązanie do przetestowania przepisu na przygotowanie danych i zweryfikowania wyniku podczas projektowania przepływu.

Zaplanowane miejsca docelowe są używane, gdy chcesz regularnie uruchamiać przepływ. Możesz na przykład codziennie ponownie wczytywać wyniki z Formularzy Google do BigQuery, aby móc odświeżyć raporty o najnowsze odpowiedzi.

Wykonaj te same czynności na każdym z wyników, wykonując te same czynności. Łącznie musisz edytować 8 miejsc docelowych.

5. Objaśnienie przepływu Cloud Dataprep

Podstawowa koncepcja „wzorca projektu Analytics w Formularzach Google” w procesie jest przeprowadzenie przekształceń odpowiedzi z ankiety w sposób opisany powyżej – podzielenie każdej kategorii pytań według przepisu na przekształcenie danych w Cloud Dataprep.

Ten proces dzieli pytania na 4 tabele (dla uproszczenia odpowiada 4 kategoriom pytań).

Zalecamy zapoznawanie się z przepisami po kolei, zaczynając od sekcji „Czyste nagłówki” a następnie „SingleChoice-Questions”. a po nim każdy z przepisów.

Wszystkie przepisy są komentowane w celu wyjaśnienia różnych etapów przekształcania. W przepisie możesz edytować krok i wyświetlić podgląd stanu „przed” i „po” w danej kolumnie.

6. Uruchamianie przepływu Cloud Dataprep

Po prawidłowym skonfigurowaniu źródła i miejsc docelowych możesz uruchomić przepływ, aby przekształcić i wczytać odpowiedzi do BigQuery. Zaznacz wszystkie dane wyjściowe i kliknij „Uruchom”. Przycisk Jeśli określona tabela BigQuery istnieje, Dataprep będzie dołączać nowe wiersze. W przeciwnym razie utworzy nową tabelę.

Kliknij „Historia zadań”. na lewym panelu, aby monitorować zadania. Wczytywanie tabel BigQuery powinno zająć kilka minut.

Po ukończeniu wszystkich zadań wyniki ankiety zostaną wczytane do BigQuery w czystym, uporządkowanym i znormalizowanym formacie gotowe do analizy.

7. Analizowanie danych ankiet w BigQuery

W konsoli Google dla BigQuery powinny być widoczne szczegóły każdej nowej tabeli.

Dzięki danym z ankiet w BigQuery możesz z łatwością zadawać bardziej szczegółowe pytania, aby lepiej zrozumieć odpowiedzi udzielone w ankiecie. Załóżmy na przykład, że chcesz się dowiedzieć, jakiego języka programowania używają najczęściej osoby o różnych stanowiskach zawodowych. Możesz więc wpisać takie zapytanie:

SELECT
   programming_answers.Language  AS programming_answers_language,
   project_answers.Title  AS project_answers_title,
   AVG((case when programming_answers.Level='None' then 0 
when programming_answers.Level='beginner' then 1
when programming_answers.Level='competent' then 2 
when programming_answers.Level='proficient' then 3
when programming_answers.Level='expert' then 4 
else null end) ) AS programming_answers_average_level_value
FROM `my-project.DesignPattern.A000111_ProjectAnswers` AS project_answers
INNER JOIN `my-project.A000111_ProgrammingAnswers` AS programming_answers
ON programming_answers.RESPONSE_ID = project_answers.RESPONSE_ID
GROUP BY 1,2
ORDER BY 3 DESC

Aby zwiększyć skuteczność analiz, możesz złączać odpowiedzi z ankiet z danymi CRM i sprawdzać, czy uczestnicy są mapowani na konta, które są już uwzględnione w Twojej hurtowni danych. Może to pomóc Twojej firmie w podejmowaniu bardziej świadomych decyzji dotyczących obsługi klienta i kierowania reklam na użytkowników w przypadku nowych produktów.

Poniżej opisujemy, jak możesz dołączyć dane z ankiety do tabeli konta na podstawie domeny respondenta i witryny konta. Teraz możesz zobaczyć podział odpowiedzi według typu konta. Dzięki temu dowiesz się, ilu użytkowników ankietowanych jest na kontach klientów.

SELECT
   account.TYPE  AS account_type,
   COUNT(DISTINCT project_answers.Domainname) AS project_answers_count_domains
FROM `my-project.A000111_ProjectAnswers` AS project_answers
LEFT JOIN `my-project.testing.account` AS account 
ON project_answers.Domainname=account.website
GROUP BY 1

Uwaga: jeśli chcesz wykonać to zapytanie samodzielnie, możesz skorzystać z naszej przykładowej tabeli konta Salesforce i dodać ją do BigQuery, postępując zgodnie z tymi instrukcjami.

8. Przeprowadzaj analizy wizualne

Teraz, gdy dane z ankiet są scentralizowane w hurtowni danych, możesz je łatwo analizować w narzędziu do analityki biznesowej. Utworzyliśmy kilka przykładowych raportów w Studiu danych i w narzędziu Looker.

Looker

Jeśli masz już instancję Lookera, możesz użyć LookML w tym folderze , aby rozpocząć analizę przykładowych danych ankiet i CRM dla tego wzorca. Wystarczy, że utworzysz nowy projekt Lookera, dodasz LookML, a potem zastąp w pliku nazwy połączenia i tabel zgodnie z konfiguracją BigQuery. Jeśli nie masz instancji Lookera, ale chcesz dowiedzieć się więcej, możesz zaplanować prezentację tutaj.

Studio danych

Aby utworzyć raport w Studiu danych, możesz też kliknąć ramkę z krzyżykiem Google „Pusty raport” i połączysz się z BigQuery. Postępuj zgodnie ze wszystkimi instrukcjami dotyczącymi Studia danych. Jeśli chcesz dowiedzieć się więcej, krótkie wprowadzenie oraz wprowadzenie do głównych funkcji Studia danych znajdziesz tutaj. Dostępne są też gotowe panele Studia danych.

9. Czyszczenie

Najprostszym sposobem na uniknięcie płatności jest usunięcie projektu Cloud utworzonego na potrzeby samouczka. Możesz też usunąć poszczególne zasoby.

Uwaga: usunięcie projektu spowoduje, że:

• Wszystkie dane projektu zostaną usunięte. Jeśli w tym samouczku był używany istniejący projekt, usunięcie go spowoduje też usunięcie wszystkich innych zadań wykonanych w tym projekcie.
• Niestandardowe identyfikatory projektów zostaną utracone. Być może w trakcie tworzenia tego projektu został utworzony niestandardowy identyfikator projektu, którego chcesz używać w przyszłości. Aby zachować adresy URL, które używają identyfikatora projektu, na przykład adres URL appspot.com, usuń wybrane zasoby w projekcie, zamiast usuwać cały projekt.

1. W konsoli Cloud przejdź do zarządzania zasobami.
2. Na liście projektów wybierz projekt do usunięcia, a potem kliknij Usuń.
3. W oknie wpisz identyfikator projektu i kliknij Wyłącz, aby usunąć projekt.