1. Introdução
Existem muitos motivos para realizar pesquisas: avaliar a satisfação do cliente, realizar pesquisas de mercado, melhorar um produto ou serviço ou avaliar o engajamento dos funcionários. No entanto, se você já tentou trabalhar com dados de pesquisa antes provavelmente já sabe que é difícil trabalhar com o formato padrão. Neste guia, vamos criar um pipeline automatizado que captura os resultados dos Formulários Google, prepara os dados para análise com o Cloud Dataprep, carrega esses dados no BigQuery e permite que sua equipe faça análises visuais usando ferramentas como o Looker ou o Data Studio.
O que você vai criar
Neste codelab, você usará o Dataprep para transformar as respostas do nosso exemplo de pesquisa do Formulários Google em um formato útil para a análise de dados. Você vai enviar os dados transformados para o BigQuery, onde poderá fazer perguntas mais profundas com o SQL e mesclá-los a outros conjuntos de dados para análises mais poderosas. No final, você pode explorar painéis pré-criados ou conectar sua própria ferramenta de Business Intelligence ao BigQuery para criar novos relatórios.
O que você vai aprender
- Como transformar dados de pesquisa usando o Dataprep
- Como enviar dados de pesquisa para o BigQuery
- Como receber mais insights dos dados da pesquisa
O que é necessário
- Um projeto do Google Cloud com faturamento, BigQuery e Dataprep ativados
- Um conhecimento básico do Dataprep é útil, mas não é obrigatório
- Um conhecimento básico de BigQuery e SQL é útil, mas não obrigatório.
2. Gerenciar as respostas dos Formulários Google
Vamos começar analisando as respostas do Formulários Google à nossa pesquisa de exemplo.
Os resultados da pesquisa podem ser exportados das "respostas" clicando no ícone do Planilhas Google e criando uma nova planilha ou carregando os resultados em uma planilha já existente. O Formulários Google continuará adicionando respostas à planilha à medida que os participantes enviarem as respostas até que você desmarque a opção "Aceitando respostas" .
Agora vamos revisar cada tipo de resposta e como eles são traduzidos no arquivo do Planilhas Google.
3. Transforme as respostas da pesquisa
As perguntas da pesquisa podem ser agrupadas em quatro famílias que terão um formato de exportação específico. Com base no tipo de pergunta, você precisará reestruturar os dados de uma determinada forma. Aqui, revisamos cada um dos grupos e os tipos de transformações que precisamos aplicar.
Perguntas de escolha única: resposta curta, parágrafo, menu suspenso, escala linear etc.
- Nome da pergunta: nome da coluna
- Resposta: valor da célula
- Requisitos de transformação: nenhuma transformação é necessária. a resposta é carregada no estado em que se encontra.
Perguntas de múltipla escolha: múltipla escolha, caixa de seleção
- Nome da pergunta: nome da coluna
- Response: lista de valores com separador de ponto e vírgula (por exemplo, "Resp 1; Resp 4; Resp 6")
- Requisitos de transformação: a lista de valores precisa ser extraída e dinamizada, de modo que cada resposta se torne uma nova linha.
Perguntas da grade de múltipla escolha
Este é um exemplo de pergunta de múltipla escolha. É preciso selecionar um único valor de cada linha.
- Nome da pergunta: cada pergunta se torna um nome de coluna com este formato "Pergunta [Option]".
- Resposta: cada resposta na grade se torna uma coluna com um valor exclusivo.
- Requisitos de transformação: cada pergunta/resposta precisa se tornar uma nova linha na tabela e ser dividida em duas colunas. Uma coluna menciona a pergunta option e a outra com a resposta.
Perguntas em grade da caixa de seleção de múltipla escolha
Este é um exemplo de grade de caixas de seleção. É possível selecionar nenhum para vários valores de cada linha.
- Nome da pergunta: cada pergunta se torna um nome de coluna com este formato "Pergunta [Option]".
- Resposta: cada resposta na grade se torna uma coluna com uma lista de valores separados por ponto e vírgula.
- Requisitos de transformação: esses tipos de pergunta combinam a "caixa de seleção" e a "grade de múltipla escolha" categorias e devem ser resolvidos nessa ordem.
Primeiro, a lista de valores de cada resposta precisa ser extraída e dinamizada, de modo que cada resposta se torne uma nova linha para a pergunta específica.
Segundo: cada resposta individual deve se tornar uma nova linha na tabela e ser dividida em duas colunas. Uma coluna menciona a pergunta option e a outra com a resposta.
A seguir, vamos mostrar como essas transformações são tratadas com o Cloud Dataprep.
4. Criar o fluxo do Cloud Dataprep
Importe o "Padrão de design de análise dos Formulários Google" no Cloud Dataprep
Faça o download do pacote de fluxo Padrão de design do Analytics para o Formulários Google (sem descompactar). No aplicativo Cloud Dataprep, clique no ícone "Flows" na barra de navegação à esquerda. Em seguida, na página "Fluxos", selecione "Importar" no menu de contexto.
Depois de importar o fluxo, selecione o fluxo importado para editá-lo. Sua tela terá a seguinte aparência:
Conectar a planilha de resultados da pesquisa do Planilhas Google
No lado esquerdo do fluxo, a fonte de dados precisa ser reconectada a uma planilha Google com os resultados do app Formulários Google. Clique com o botão direito do mouse no objeto de conjuntos de dados das Planilhas Google e selecione "Substituir".
Depois clique em "Importar conjuntos de dados" na parte inferior do modal. Clique no botão "Editar caminho" lápis.
A partir daí, substitua o valor atual por este link que aponta para uma planilha Google com alguns resultados do Formulários Google. Você pode usar nosso exemplo ou sua própria cópia: https://docs.google.com/spreadsheets/d/1DgIlvlLceFDqWEJs91F8rt1B-X0PJGLY6shkKGBPWpk/edit?usp=sharing
Clique em "Ir" e depois em "Importar e Adicionar ao fluxo" no canto inferior direito. Quando voltar ao modal, clique no botão "Substituir" no canto inferior direito.
Conectar tabelas do BigQuery
No lado direito do fluxo, você precisa conectar as saídas à sua própria instância do BigQuery. Para cada uma das saídas, clique no ícone e edite as propriedades conforme mostrado a seguir.
Primeiro, edite os "Destinos manuais"
Nas seguintes "Configurações de publicação" clique no botão "Editar"
Quando a "Ação de publicação" for exibida, você precisa alterar as configurações de conexão clicando na conexão do BigQuery e editando suas propriedades.
Selecione o conjunto de dados do BigQuery em que você quer que os resultados dos Formulários Google sejam carregados. É possível selecionar "padrão" se você ainda não criou nenhum conjunto de dados do BigQuery.
Após editar os "Destinos manuais", continue da mesma maneira para os "Destinos programados". saída.
Itere em cada saída seguindo as mesmas etapas. No total, você precisa editar oito destinos.
5. Explicação do fluxo do Cloud Dataprep
A ideia básica do "Padrão de design de análise do Formulários Google" é realizar as transformações nas respostas da pesquisa, conforme descrito anteriormente, dividindo cada categoria de pergunta em um roteiro de transformação de dados específico do Cloud Dataprep.
Para simplificar, esse fluxo divide as perguntas em quatro tabelas (correspondentes às quatro categorias de perguntas).
Sugerimos que você explore cada uma das receitas, uma por uma, começando com "Clean Headers" e em "SingleChoiceSELECT-Questions". seguidas umas das outras receitas abaixo.
Todos os roteiros são comentados para explicar as várias etapas de transformação. Quando em um roteiro, você pode editar uma etapa e visualizar o estado antes/depois de uma coluna específica.
6. execute o fluxo do Cloud Dataprep
Agora que a origem e os destinos estão configurados corretamente, execute o fluxo para transformar e carregar as respostas no BigQuery. Selecione cada uma das saídas e clique no botão "Executar" . Se a tabela especificada do BigQuery existir, o Dataprep anexará novas linhas. Caso contrário, uma nova tabela será criada.
Clique no botão "Histórico de jobs" ícone na movimentação esquerda para monitorar os jobs. O processo leva alguns minutos para continuar e carregar as tabelas do BigQuery.
Quando todos os jobs forem concluídos, os resultados da pesquisa serão carregados no BigQuery em um formato limpo, estruturado e normalizado, pronto para análise.
7. Analisar os dados da pesquisa no BigQuery
No Google Console para BigQuery, você poderá ver os detalhes de cada uma das novas tabelas
Com os dados da pesquisa no BigQuery, você pode fazer perguntas mais abrangentes com facilidade para entender as respostas da pesquisa em um nível mais profundo. Por exemplo, digamos que você esteja tentando entender qual linguagem de programação é usada com mais frequência por pessoas de diferentes cargos profissionais. Você pode escrever uma consulta como esta:
SELECT
programming_answers.Language AS programming_answers_language,
project_answers.Title AS project_answers_title,
AVG((case when programming_answers.Level='None' then 0
when programming_answers.Level='beginner' then 1
when programming_answers.Level='competent' then 2
when programming_answers.Level='proficient' then 3
when programming_answers.Level='expert' then 4
else null end) ) AS programming_answers_average_level_value
FROM `my-project.DesignPattern.A000111_ProjectAnswers` AS project_answers
INNER JOIN `my-project.A000111_ProgrammingAnswers` AS programming_answers
ON programming_answers.RESPONSE_ID = project_answers.RESPONSE_ID
GROUP BY 1,2
ORDER BY 3 DESC
Para tornar suas análises ainda mais eficientes, você pode juntar as respostas da pesquisa aos dados do CRM e ver se os participantes estão associados a alguma conta que já está incluída no seu data warehouse. Isso pode ajudar sua empresa a tomar decisões mais fundamentadas sobre o suporte ao cliente ou segmentar usuários para novos lançamentos.
Aqui, mostramos como você pode agrupar os dados da pesquisa em uma tabela da conta com base no domínio do participante e no site da conta. Agora você pode ver a distribuição das respostas por tipo de conta, o que ajuda a entender quantos participantes pertencem a contas de clientes.
SELECT
account.TYPE AS account_type,
COUNT(DISTINCT project_answers.Domainname) AS project_answers_count_domains
FROM `my-project.A000111_ProjectAnswers` AS project_answers
LEFT JOIN `my-project.testing.account` AS account
ON project_answers.Domainname=account.website
GROUP BY 1
8. Realizar análises visuais
Agora que os dados da pesquisa estão centralizados em um data warehouse, é possível analisá-los facilmente em uma ferramenta de Business Intelligence. Criamos alguns exemplos de relatórios no Data Studio e no Looker.
Looker
Se você já tem uma instância do Looker, use o LookML nesta pasta para começar a analisar a pesquisa de amostra e os dados de CRM para esse padrão. Basta criar um novo projeto do Looker, adicionar o LookML e substituir os nomes de conexão e tabela no arquivo para corresponder à configuração do BigQuery. Se você não tem uma instância do Looker, mas tem interesse em saber mais, agende uma demonstração aqui.
Data Studio
Se preferir, para criar um relatório no Data Studio, clique no frame com o cruzamento do Google "Relatório em branco". e se conectar ao BigQuery. Siga todas as instruções no Data Studio. Para saber mais, confira o guia de início rápido e uma introdução aos principais recursos do Data Studio neste link. Também é possível encontrar aqui os painéis pré-criados do Data Studio.
9. Como fazer a limpeza
A maneira mais fácil de evitar cobranças é excluir o projeto do Cloud que você criou para o tutorial. A outra opção é excluir os recursos individuais.
- No console do Cloud, acesse "Gerenciar recursos".
- Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir.
- Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.