Trasforma e carica le risposte dei sondaggi di Moduli Google in BigQuery

1. Introduzione

Esistono molti motivi per condurre sondaggi: valutare la soddisfazione dei clienti, effettuare ricerche di mercato, migliorare un prodotto o un servizio o valutare il coinvolgimento dei dipendenti. Tuttavia, se hai già provato a lavorare con i dati dei sondaggi, probabilmente sai che il formato standard è difficile da utilizzare. In questa guida, creiamo una pipeline automatizzata che acquisisce i risultati di Moduli Google, prepara i dati per l'analisi con Cloud Dataprep, li carica in BigQuery e consente al tuo team di eseguire analisi visive utilizzando strumenti come Looker o Data Studio.

Cosa creerai

In questo codelab utilizzerai Dataprep per trasformare le risposte del nostro sondaggio di esempio di Moduli Google in un formato utile per l'analisi dei dati. Trasferirai i dati trasformati in BigQuery, dove potrai porre domande più approfondite con SQL e unirli ad altri set di dati per analisi più efficaci. Alla fine, puoi esplorare le dashboard predefinite o connettere il tuo strumento di business intelligence a BigQuery per creare nuovi report.

Cosa imparerai a fare

• Come trasformare i dati del sondaggio utilizzando Dataprep
• Come inviare i dati dei sondaggi a BigQuery
• Come ottenere più informazioni dai dati del sondaggio

Che cosa ti serve

• Un progetto Google Cloud con fatturazione, BigQuery e Dataprep abilitati
• Una conoscenza di base di Dataprep è utile, ma non obbligatoria
• Una conoscenza di base di BigQuery e SQL è utile, ma non obbligatoria

2. Gestire le risposte di Moduli Google

Inizieremo esaminando più da vicino le risposte di Moduli Google al nostro sondaggio di esempio.

I risultati del sondaggio possono essere esportati dalla scheda "Risposte" facendo clic sull'icona di Fogli Google e creando un nuovo foglio di lavoro o caricando i risultati in uno esistente. Moduli Google continuerà ad aggiungere risposte al foglio di lavoro man mano che gli intervistati inviano le loro risposte finché non deselezioni il pulsante "Accetta risposte".

Esaminiamo ora ogni tipo di risposta e come viene tradotto nel file Fogli Google.

3. Trasforma le risposte al sondaggio

Le domande del sondaggio possono essere raggruppate in quattro famiglie che avranno un formato di esportazione specifico. A seconda del tipo di domanda, dovrai ristrutturare i dati in un determinato modo. Qui esaminiamo ciascun gruppo e i tipi di trasformazioni che dobbiamo applicare.

Domande a scelta singola: risposta breve, paragrafo, elenco a discesa, scala lineare e così via.

• Nome domanda: nome della colonna
• Risposta: valore della cella
• Requisiti di trasformazione: non è necessaria alcuna trasformazione; la risposta viene caricata così com'è.

Domande a scelta multipla: scelta multipla, casella di controllo

• Nome domanda: nome della colonna
• Risposta: elenco di valori con separatore punto e virgola (ad es. "Resp 1; Resp 4; Resp 6")
• Requisiti di trasformazione: l'elenco dei valori deve essere estratto e sottoposto a pivot, in modo che ogni risposta diventi una nuova riga.

Domande a griglia a scelta multipla

Ecco un esempio di domanda a scelta multipla. Devi selezionare un solo valore per ogni riga.

• Nome domanda: ogni singola domanda diventa un nome di colonna con il formato "Domanda [Opzione]".
• Risposta: ogni singola risposta nella griglia diventa una colonna con un valore univoco.
• Requisiti di trasformazione: ogni domanda/risposta deve diventare una nuova riga nella tabella e suddivisa in due colonne. Una colonna che indica l'opzione della domanda e l'altra colonna con la risposta.

Domande nella griglia con caselle di controllo a scelta multipla

Ecco un esempio di griglia di caselle di controllo. È possibile selezionare da nessuno a più valori per ogni riga.

• Nome domanda: ogni singola domanda diventa il nome di una colonna con il formato "Domanda [Opzione]".
• Risposta: ogni singola risposta nella griglia diventa una colonna con un elenco di valori separati da punto e virgola.
• Requisiti di trasformazione: questi tipi di domande combinano le categorie "Casella di controllo" e "Griglia a scelta multipla" e devono essere risolti in questo ordine.

Innanzitutto, l'elenco dei valori di ogni risposta deve essere estratto e ruotato, in modo che ogni risposta diventi una nuova riga per la domanda specifica.

Secondo: ogni singola risposta deve diventare una nuova riga nella tabella e suddivisa in due colonne. Una colonna che menziona l'opzione della domanda e l'altra colonna con la risposta.

Successivamente, mostreremo come vengono gestite queste trasformazioni con Cloud Dataprep.

4. Crea il flusso Cloud Dataprep

Importare il "pattern di progettazione di Moduli Google Analytics" in Cloud Dataprep

Scarica il pacchetto di flusso Modello di progettazione di Moduli Google Analytics (senza decomprimerlo). Nell'applicazione Cloud Dataprep, fai clic sull'icona Flussi nella barra di navigazione a sinistra. Nella pagina Flussi, seleziona Importa dal menu contestuale.

Dopo aver importato il flusso, seleziona il flusso importato per modificarlo. La schermata dovrebbe essere simile alla seguente:

Connettere il foglio di lavoro dei risultati del sondaggio di Fogli Google

Sul lato sinistro del flusso, l'origine dati deve essere ricollegata a un foglio Google contenente i risultati di Moduli Google. Fai clic con il tasto destro del mouse sull'oggetto dei set di dati di Fogli Google e seleziona "Sostituisci".

Poi fai clic sul link "Importa set di dati" nella parte inferiore della finestra modale. Fai clic sull'icona a forma di matita "Modifica percorso".

Da qui, sostituisci il valore attuale con questo link che rimanda a un foglio Google con alcuni risultati di Moduli Google. Puoi utilizzare il nostro esempio o la tua copia: https://docs.google.com/spreadsheets/d/1DgIlvlLceFDqWEJs91F8rt1B-X0PJGLY6shkKGBPWpk/edit?usp=sharing

Fai clic su "Vai" e poi su "Importa e aggiungi al flusso" in basso a destra. Quando torni nella finestra modale, fai clic sul pulsante "Sostituisci" in basso a destra.

Collegare le tabelle BigQuery

Sul lato destro del flusso, devi connettere gli output alla tua istanza BigQuery. Per ciascun output, fai clic sull'icona e poi modifica le relative proprietà come segue.

Per prima cosa, inizia modificando le "Destinazioni manuali".

Nella schermata successiva "Impostazioni di pubblicazione", fai clic sul pulsante di modifica

Quando vedi la schermata "Azione di pubblicazione", devi modificare le impostazioni di connessione facendo clic sulla connessione BigQuery e modificandone le proprietà.

Seleziona il set di dati BigQuery in cui vuoi caricare i risultati di Moduli Google. Puoi selezionare "default" se non hai ancora creato alcun set di dati BigQuery.

Dopo aver modificato le "Destinazioni manuali", procedi allo stesso modo per l'output "Destinazioni pianificate".

Le destinazioni manuali ti consentono di eseguire ogni singolo job di output in modo indipendente e on demand. È utile per testare una ricetta di preparazione dei dati e convalidare un risultato durante la progettazione del flusso.

Le destinazioni pianificate vengono utilizzate quando vuoi eseguire il flusso di routine. Ad esempio, potresti voler ricaricare i risultati di Moduli Google in BigQuery ogni giorno per aggiornare i report con le risposte più recenti.

Esegui l'iterazione su ogni output seguendo gli stessi passaggi. In totale devi modificare 8 destinazioni.

5. Spiegazione del flusso Cloud Dataprep

L'idea di base del flusso "Pattern di progettazione dell'analisi di Moduli Google" è quella di eseguire le trasformazioni sulle risposte al sondaggio come descritto in precedenza, suddividendo ogni categoria di domande in una formula specifica di trasformazione dei dati di Cloud Dataprep.

Questo flusso suddivide le domande in quattro tabelle (corrispondenti alle quattro categorie di domande, per semplificare).

Ti suggeriamo di esplorare ogni ricetta una per una, iniziando con "Clean Headers", poi "SingleChoiceSELECT-Questions" e infine le altre ricette sottostanti.

Tutte le formule sono commentate per spiegare i vari passaggi di trasformazione. In una ricetta, puoi modificare un passaggio e visualizzare l'anteprima dello stato prima/dopo di una determinata colonna.

6. Esegui il flusso Cloud Dataprep

Ora che l'origine e le destinazioni sono configurate correttamente, puoi eseguire il flusso per trasformare e caricare le risposte in BigQuery. Seleziona ciascun output e fai clic sul pulsante "Esegui". Se la tabella BigQuery specificata esiste, Dataprep aggiungerà nuove righe, altrimenti creerà una nuova tabella.

Fai clic sull'icona "Cronologia job" nel riquadro a sinistra per monitorare i job. L'operazione dovrebbe richiedere alcuni minuti per procedere e caricare le tabelle BigQuery.

Al termine di tutti i job, i risultati del sondaggio verranno caricati in BigQuery in un formato pulito, strutturato e normalizzato pronto per l'analisi.

7. Analizzare i dati del sondaggio in BigQuery

Nella console Google per BigQuery, dovresti essere in grado di visualizzare i dettagli di ciascuna delle nuove tabelle.

Con i dati del sondaggio in BigQuery, puoi porre facilmente domande più complete per comprendere le risposte al sondaggio a un livello più approfondito. Ad esempio, supponiamo che tu stia cercando di capire quale linguaggio di programmazione è di uso comune da persone con titoli professionali diversi. Puoi scrivere una query come questa:

SELECT
   programming_answers.Language  AS programming_answers_language,
   project_answers.Title  AS project_answers_title,
   AVG((case when programming_answers.Level='None' then 0 
when programming_answers.Level='beginner' then 1
when programming_answers.Level='competent' then 2 
when programming_answers.Level='proficient' then 3
when programming_answers.Level='expert' then 4 
else null end) ) AS programming_answers_average_level_value
FROM `my-project.DesignPattern.A000111_ProjectAnswers` AS project_answers
INNER JOIN `my-project.A000111_ProgrammingAnswers` AS programming_answers
ON programming_answers.RESPONSE_ID = project_answers.RESPONSE_ID
GROUP BY 1,2
ORDER BY 3 DESC

Per rendere le tue analisi ancora più efficaci, puoi unire le risposte al sondaggio ai dati CRM per verificare se i partecipanti corrispondono a eventuali account già inclusi nel tuo data warehouse. In questo modo, la tua attività può prendere decisioni più consapevoli in merito all'assistenza clienti o al targeting degli utenti per i nuovi lanci.

Qui mostriamo come unire i dati del sondaggio a una tabella degli account in base al dominio del rispondente e al sito web dell'account. Ora puoi visualizzare la distribuzione delle risposte per tipo di account, il che ti aiuta a capire quanti rispondenti appartengono a account cliente esistenti.

SELECT
   account.TYPE  AS account_type,
   COUNT(DISTINCT project_answers.Domainname) AS project_answers_count_domains
FROM `my-project.A000111_ProjectAnswers` AS project_answers
LEFT JOIN `my-project.testing.account` AS account 
ON project_answers.Domainname=account.website
GROUP BY 1

Nota:se vuoi eseguire questa query autonomamente, puoi utilizzare la nostra tabella Account Salesforce di esempio e aggiungerla a BigQuery seguendo queste istruzioni.

8. Eseguire l'analisi visiva

Ora che i dati del sondaggio sono centralizzati in un data warehouse, puoi analizzarli facilmente in uno strumento di business intelligence. Abbiamo creato alcuni report di esempio in Data Studio e in Looker.

Looker

Se hai già un'istanza di Looker, puoi utilizzare LookML in questa cartella per iniziare ad analizzare i dati di esempio del sondaggio e del CRM per questo pattern. Ti basta creare un nuovo progetto Looker, aggiungere il codice LookML e sostituire i nomi di connessione e tabella nel file in modo che corrispondano alla configurazione di BigQuery. Se non hai un'istanza di Looker, ma ti interessa saperne di più, puoi programmare una demo qui.

Data Studio

In alternativa, per creare un report in Data Studio, fai clic sul frame con la croce di Google "Report vuoto" e connettiti a BigQuery. Segui tutte le istruzioni di Data Studio. Se vuoi saperne di più, puoi trovare una guida rapida e un'introduzione alle funzionalità principali di Data Studio qui. Puoi trovare anche le nostre dashboard di Data Studio predefinite qui.

9. Pulizia

Il modo più semplice per eliminare la fatturazione è eliminare il progetto Cloud creato per il tutorial. In alternativa, puoi eliminare le singole risorse.

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per questo tutorial, quando lo eliminerai, eliminerai anche tutto il lavoro effettuato nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

1. In Cloud Console, vai a Gestisci risorse.
2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID progetto, quindi fai clic su Chiudi per eliminare il progetto.