Trasforma e carica le risposte dei sondaggi di Moduli Google in BigQuery

1. Introduzione

Esistono molti motivi per eseguire sondaggi: valutare la soddisfazione dei clienti, effettuare ricerche di mercato, migliorare un prodotto o un servizio o valutare il coinvolgimento dei dipendenti. Tuttavia, se hai già provato a utilizzare i dati dei sondaggi, probabilmente sai che il formato standard è difficile da gestire. In questa guida, viene creata una pipeline automatica che acquisisce i risultati di Google Moduli, prepara i dati per l'analisi con Cloud Dataprep, li carica in BigQuery e consente al team di eseguire analisi visive utilizzando strumenti come Looker o Data Studio.

Cosa creerai

In questo codelab utilizzerai Dataprep per trasformare le risposte del nostro sondaggio di esempio di Moduli Google in un formato utile per l'analisi dei dati. Trasferirai i dati trasformati in BigQuery, dove potrai porre domande più approfondite con SQL e unirli ad altri set di dati per analisi più efficaci. Al termine, puoi esplorare le dashboard predefinite o collegare il tuo strumento di business intelligence a BigQuery per creare nuovi report.

Cosa imparerai a fare

• Come trasformare i dati del sondaggio utilizzando Dataprep
• Come inviare i dati dei sondaggi in BigQuery
• Come ottenere maggiori informazioni dai dati del sondaggio

Che cosa ti serve

• Un progetto Google Cloud con fatturazione, BigQuery e Dataprep abilitati
• Una conoscenza di base di Dataprep è utile, ma non obbligatoria
• Una conoscenza di base di BigQuery e SQL è utile, ma non obbligatoria

2. Gestire le risposte di Moduli Google

Inizieremo esaminando più da vicino le risposte di Moduli Google al nostro sondaggio di esempio.

I risultati del sondaggio possono essere esportati dalla scheda "Risposte" facendo clic sull'icona di Fogli Google e creando un nuovo foglio di lavoro o caricando i risultati in uno esistente. Moduli Google continuerà ad aggiungere le risposte al foglio di lavoro man mano che gli utenti le inviano finché non deselezioni il pulsante "Accetta risposte".

Ora esaminiamo ogni tipo di risposta e come viene tradotto nel file di Fogli Google.

3. Trasforma le risposte al sondaggio

Le domande del sondaggio possono essere raggruppate in quattro famiglie che avranno un determinato formato di esportazione. A seconda del tipo di domanda, dovrai ristrutturare i dati in un determinato modo. Qui esaminiamo ciascuno dei gruppi e i tipi di trasformazioni che dobbiamo applicare.

Domande a scelta singola: risposta breve, paragrafo, elenco a discesa, scala lineare e così via

• Nome domanda: nome della colonna
• Risposta: valore della cella
• Requisiti di trasformazione: non è necessaria alcuna trasformazione; la risposta viene caricata così com'è.

Domande a scelta multipla: più scelte, casella di controllo

• Nome domanda: nome della colonna
• Risposta: elenco di valori con separatore punto e virgola (ad es. "Risp 1; Risp 4; Risp 6")
• Requisiti di trasformazione: l'elenco di valori deve essere estratto e sottoposto a pivot, in modo che ogni risposta diventi una nuova riga.

Domande con griglia a scelta multipla

Ecco un esempio di domanda a scelta multipla. Devi selezionare un singolo valore da ogni riga.

• Nome domanda: ogni singola domanda diventa il nome di una colonna con questo formato "Domanda [Opzione]".
• Risposta: ogni singola risposta nella griglia diventa una colonna con un valore univoco.
• Requisiti di trasformazione: ogni domanda/risposta deve diventare una nuova riga della tabella e essere suddivisa in due colonne. Una colonna con l'opzione della domanda e l'altra con la risposta.

Domande con caselle di controllo a scelta multipla

Ecco un esempio di griglia di caselle di controllo. È possibile selezionare da zero a più valori per ogni riga.

• Nome domanda: ogni singola domanda diventa il nome di una colonna con questo formato "Domanda [Opzione]".
• Risposta: ogni singola risposta nella griglia diventa una colonna con un elenco di valori separati da due punti.
• Requisiti di trasformazione: questi tipi di domande combinano le categorie "Casella di controllo" e "Griglia a scelta multipla" e devono essere risolti in questo ordine.

Innanzitutto, l'elenco di valori di ogni risposta deve essere estratto e sottoposto a pivot, in modo che ogni risposta diventi una nuova riga per la domanda specifica.

Secondo: ogni singola risposta deve diventare una nuova riga nella tabella e essere suddivisa in due colonne. Una colonna con l'opzione della domanda e l'altra con la risposta.

Di seguito, mostreremo come vengono gestite queste trasformazioni con Cloud Dataprep.

4. Crea il flusso Cloud Dataprep

Importare il "pattern di progettazione di Google Forms Analytics" in Cloud Dataprep

Scarica il pacchetto del flusso Modello di progettazione di Google Forms Analytics (senza decomprimerlo). Nell'applicazione Cloud Dataprep, fai clic sull'icona Flussi nella barra di navigazione a sinistra. Nella pagina Flussi, seleziona Importa dal menu contestuale.

Dopo aver importato il flusso, selezionalo per modificarlo. La schermata dovrebbe avere il seguente aspetto:

Collegare il foglio di lavoro dei risultati del sondaggio di Fogli Google

Sul lato sinistro del flusso, l'origine dati deve essere ricollegata a un foglio Google contenente i risultati di Moduli Google. Fai clic con il tasto destro del mouse sull'oggetto Set di dati di Fogli Google e seleziona "Sostituisci".

Poi fai clic sul link "Import Datasets" (Importa set di dati) nella parte inferiore della finestra modale. Fai clic sulla matita "Modifica percorso".

Da qui, sostituisci il valore corrente con questo link che rimanda a un foglio Google con alcuni risultati di Moduli Google. Puoi utilizzare il nostro esempio o la tua copia: https://docs.google.com/spreadsheets/d/1DgIlvlLceFDqWEJs91F8rt1B-X0PJGLY6shkKGBPWpk/edit?usp=sharing

Fai clic su "Vai" e poi su "Importa e aggiungi al flusso" in basso a destra. Quando torni nella finestra modale, fai clic sul pulsante "Sostituisci" in basso a destra.

Collegare le tabelle BigQuery

Sul lato destro del flusso, devi collegare gli output alla tua istanza BigQuery. Per ogni output, fai clic sull'icona e poi modifica le relative proprietà come segue.

Per prima cosa, modifica le "Destinazioni manuali"

Nella seguente schermata "Impostazioni di pubblicazione", fai clic sul pulsante di modifica

Quando viene visualizzata la schermata "Azione di pubblicazione", devi modificare le impostazioni di connessione facendo clic sulla connessione BigQuery e modificandone le proprietà.

Seleziona il set di dati BigQuery in cui vuoi caricare i risultati di Google Moduli. Puoi selezionare "predefinito" se non hai ancora creato un set di dati BigQuery.

Dopo aver modificato le "Destinazioni manuali", procedi nello stesso modo per l'output "Destinazioni pianificate".

Le destinazioni manuali ti consentono di eseguire ogni singolo job di output in modo indipendente e su richiesta. Questa opzione è utile per testare una ricetta di preparazione dei dati e convalidare un risultato durante la progettazione del flusso.

Le destinazioni pianificate vengono utilizzate quando vuoi eseguire regolarmente il flusso. Ad esempio, potresti voler ricaricare i risultati di Google Moduli in BigQuery ogni giorno per aggiornare i report con le risposte più recenti.

Esegui l'iterazione su ogni output seguendo gli stessi passaggi. In totale devi modificare 8 destinazioni.

5. Cloud Dataprep Flow Explained

L'idea di base del flusso "Modello di progettazione di Dati di Google Moduli" è eseguire le trasformazioni sulle risposte al sondaggio come descritto in precedenza, suddividendo ogni categoria di domande in una ricetta specifica di trasformazione dei dati di Cloud Dataprep.

Questo flusso suddivide le domande in 4 tabelle (corrispondenti alle 4 categorie di domande, per semplicità)

Ti consigliamo di esplorare ciascuna delle ricette una alla volta, iniziando con "Intestazioni pulite" e poi con "Domande con scelta singola", seguite da tutte le altre ricette sottostanti.

Tutte le ricette sono commentate per spiegare i vari passaggi di trasformazione. Quando sei in una ricetta, puoi modificare un passaggio e visualizzare l'anteprima dello stato prima/dopo di una determinata colonna.

6. Esegui il flusso Cloud Dataprep

Ora che l'origine e le destinazioni sono configurate correttamente, puoi eseguire il flusso per trasformare e caricare le risposte in BigQuery. Seleziona ciascuna uscita e fai clic sul pulsante "Esegui". Se la tabella BigQuery specificata esiste, Dataprep aggiungerà nuove righe, altrimenti creerà una nuova tabella.

Fai clic sull'icona "Cronologia job" nel riquadro a sinistra per monitorare i job. Dovrebbero essere necessari alcuni minuti per procedere e caricare le tabelle BigQuery.

Al termine di tutti i job, i risultati del sondaggio verranno caricati in BigQuery in un formato pulito, strutturato e normalizzato, pronto per l'analisi.

7. Analizza i dati del sondaggio in BigQuery

Nella console Google per BigQuery dovresti riuscire a vedere i dettagli di ciascuna delle nuove tabelle

Con i dati del sondaggio in BigQuery, puoi facilmente porre domande più complete per comprendere le risposte del sondaggio a un livello più approfondito. Ad esempio, supponiamo che tu stia cercando di capire quale linguaggio di programmazione è più comunemente utilizzato da persone con diversi titoli professionali. Puoi scrivere una query come questa:

SELECT
   programming_answers.Language  AS programming_answers_language,
   project_answers.Title  AS project_answers_title,
   AVG((case when programming_answers.Level='None' then 0 
when programming_answers.Level='beginner' then 1
when programming_answers.Level='competent' then 2 
when programming_answers.Level='proficient' then 3
when programming_answers.Level='expert' then 4 
else null end) ) AS programming_answers_average_level_value
FROM `my-project.DesignPattern.A000111_ProjectAnswers` AS project_answers
INNER JOIN `my-project.A000111_ProgrammingAnswers` AS programming_answers
ON programming_answers.RESPONSE_ID = project_answers.RESPONSE_ID
GROUP BY 1,2
ORDER BY 3 DESC

Per rendere le tue analisi ancora più efficaci, puoi unire le risposte al sondaggio ai dati CRM per verificare se i partecipanti sono mappati ad account già inclusi nel tuo data warehouse. In questo modo, la tua attività può prendere decisioni più informate sull'assistenza clienti o sul targeting degli utenti per i nuovi lanci.

Qui viene mostrato come unire i dati del sondaggio a una tabella dell'account in base al dominio e al sito web dell'account del rispondente. Ora puoi vedere la distribuzione delle risposte in base al tipo di account, il che ti aiuta a capire quanti utenti che hanno risposto appartengono agli account cliente esistenti.

SELECT
   account.TYPE  AS account_type,
   COUNT(DISTINCT project_answers.Domainname) AS project_answers_count_domains
FROM `my-project.A000111_ProjectAnswers` AS project_answers
LEFT JOIN `my-project.testing.account` AS account 
ON project_answers.Domainname=account.website
GROUP BY 1

Nota:se vuoi eseguire questa query autonomamente, puoi utilizzare la nostra tabella di account Salesforce di esempio e aggiungerla a BigQuery seguendo queste istruzioni.

8. Esegui analisi visive

Ora che i dati del sondaggio sono centralizzati in un data warehouse, puoi analizzarli facilmente in uno strumento di business intelligence. Abbiamo creato alcuni report di esempio in Data Studio e in Looker.

Looker

Se hai già un'istanza di Looker, puoi utilizzare il LookML in questa cartella per iniziare ad analizzare i dati del sondaggio di esempio e del CRM per questo pattern. Basta creare un nuovo progetto Looker, aggiungere il codice LookML e sostituire i nomi della connessione e delle tabelle nel file in modo che corrispondano alla configurazione di BigQuery. Se non hai un'istanza di Looker, ma vuoi saperne di più, puoi pianificare una demo qui.

Data Studio

In alternativa, per creare un report in Data Studio, fai clic sul riquadro con la croce di Google "Report vuoto" e connettiti a BigQuery. Segui tutte le istruzioni di Data Studio. Se vuoi saperne di più, qui puoi trovare una guida rapida e un'introduzione alle funzionalità principali di Data Studio. Qui puoi anche trovare le nostre dashboard di Data Studio predefinite.

9. Pulizia

Il modo più semplice per eliminare la fatturazione è eliminare il progetto Cloud che hai creato per il tutorial. In alternativa, puoi eliminare le singole risorse.

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per questo tutorial, quando lo elimini elimini anche tutto il lavoro effettuato nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

1. In Cloud Console, vai a Gestisci risorse.
2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID progetto, quindi fai clic su Chiudi per eliminare il progetto.