1. Введение
Опросы можно проводить по разным причинам: чтобы оценить удовлетворенность клиентов, провести исследование рынка, улучшить продукт или услугу или оценить вовлеченность сотрудников. Однако, если вы пробовали работать с данными опросов ранее, вы, вероятно, знаете, что со стандартным форматом работать сложно. В этом руководстве мы создадим автоматизированный конвейер, который собирает результаты Google Форм, подготавливает данные для анализа с помощью Cloud Dataprep, загружает их в BigQuery и позволяет вашей команде выполнять визуальную аналитику с помощью таких инструментов, как Looker или Студия данных.
Что вы создадите
В этой практической работе вы будете использовать Dataprep, чтобы преобразовать ответы из нашего примера опроса Google Форм в формат, который подходит для анализа данных. Вы отправите преобразованные данные в BigQuery, где сможете задавать более глубокие вопросы с помощью SQL и объединять их с другими наборами данных для более мощного анализа. В конце вы можете изучить готовые сводки или подключить к BigQuery собственный инструмент бизнес-аналитики, чтобы создавать новые отчеты.
Что вы узнаете
- Как преобразовать данные опроса с помощью Dataprep
- Как передавать данные опросов в BigQuery
- Как получить больше информации из данных опроса
Что вам понадобится
- Облачный проект Google Cloud с включенными платежами, BigQuery и Dataprep.
- Базовые знания о Dataprep будут полезны, но не обязательны.
- Базовые знания BigQuery и SQL будут полезны, но не обязательны.
2. Как управлять ответами в Google Формах
Начнем с более подробного рассмотрения ответов Google Форм на наш пример опроса.

Чтобы экспортировать результаты опроса, на вкладке "Ответы" нажмите на значок Google Таблиц и создайте новую таблицу или загрузите результаты в существующую. Google Формы будут добавлять ответы в таблицу, пока вы не отключите параметр "Принимать ответы".


Давайте рассмотрим каждый тип ответа и то, как он преобразуется в файле Google Таблиц.
3. Ответы на опрос о преобразовании
Вопросы опроса можно разделить на четыре группы, для каждой из которых предусмотрен свой формат экспорта. В зависимости от типа вопроса вам нужно будет определенным образом реструктурировать данные. Ниже мы рассмотрим каждую из групп и типы преобразований, которые необходимо применить.
Вопросы с одним вариантом ответа: краткий ответ, развернутый ответ, раскрывающийся список, шкала и т. д.
- Название вопроса: название столбца.
- Ответ: значение ячейки.
- Требования к преобразованию. Преобразование не требуется, ответ загружается в исходном виде.

Вопросы с несколькими вариантами ответа: несколько вариантов, флажок.
- Название вопроса: название столбца.
- Ответ: список значений, разделенных точкой с запятой (например, "Ответ 1; Ответ 4; Ответ 6").
- Требования к преобразованию. Список значений нужно извлечь и преобразовать так, чтобы каждый ответ был в новой строке.

Вопросы типа "Сетка (с несколькими вариантами ответа)"
Вот пример вопроса с несколькими вариантами ответа. В каждой строке нужно выбрать одно значение.

- Название вопроса. Каждый вопрос становится названием столбца в формате "Вопрос [Вариант]".
- Ответ. Каждый ответ в сетке становится столбцом с уникальным значением.
- Требования к преобразованию. Каждая пара "вопрос – ответ" должна быть представлена в виде отдельной строки таблицы, разделенной на два столбца. В одном столбце будет указан вариант ответа, а в другом – сам ответ.

Вопросы типа "Сетка флажков"
Вот пример сетки флажков. В каждой строке можно выбрать несколько значений или не выбирать ни одного.

- Название вопроса. Каждый вопрос становится названием столбца в формате "Вопрос [Вариант]".
- Ответ. Каждый отдельный ответ в сетке становится столбцом со списком значений, разделенных точкой с запятой.
- Требования к преобразованию. Эти типы вопросов объединяют категории "Флажок" и "Сетка с несколькими вариантами ответа" и должны быть решены в указанном порядке.
Сначала нужно извлечь и преобразовать список значений каждого ответа, чтобы каждый ответ стал новой строкой для конкретного вопроса.
Во-вторых, каждый ответ должен быть представлен в виде новой строки в таблице и разбит на два столбца. В одном столбце должен быть указан вариант вопроса, а в другом – ответ.

Далее мы покажем, как эти преобразования обрабатываются с помощью Cloud Dataprep.
4. Создание потока Cloud Dataprep
Импортируйте шаблон Google Forms Analytics Design Pattern в Cloud Dataprep
Скачайте пакет потока Google Forms Analytics Design Pattern (не распаковывая его). В приложении Cloud Dataprep нажмите на значок Flows (Потоки) на панели навигации слева. Затем на странице "Потоки" выберите "Импорт" в контекстном меню.

После импорта выберите импортированный поток, чтобы изменить его. Экран должен выглядеть следующим образом:

Как подключить таблицу Google с результатами опроса
В левой части потока источник данных должен быть повторно подключен к таблице Google, содержащей результаты Google Форм. Нажмите правой кнопкой мыши на объект набора данных таблицы Google и выберите "Заменить".

Затем нажмите на ссылку "Импортировать наборы данных" внизу модального окна. Нажмите на значок карандаша "Изменить путь".
Замените текущее значение ссылкой на таблицу Google с результатами из Google Форм. Вы можете использовать наш пример или собственную копию: https://docs.google.com/spreadsheets/d/1DgIlvlLceFDqWEJs91F8rt1B-X0PJGLY6shkKGBPWpk/edit?usp=sharing.
Нажмите "Перейти", а затем "Импортировать и добавить в поток" в правом нижнем углу. Вернувшись в модальное окно, нажмите кнопку "Заменить" в правом нижнем углу.
Как подключить таблицы BigQuery
В правой части потока необходимо подключить выходные данные к вашему экземпляру BigQuery. Для каждого из выходных объектов нажмите на значок и измените его свойства, как описано ниже.
Сначала измените целевые страницы, заданные вручную.

На следующем экране "Настройки публикации" нажмите кнопку редактирования.

На экране Publishing Action (Действие публикации) измените настройки подключения, нажав на подключение BigQuery и отредактировав его свойства.
Выберите набор данных BigQuery, в который нужно загрузить результаты Google Форм. Если вы ещё не создали набор данных BigQuery, выберите вариант по умолчанию.

После того как вы отредактируете "Целевые объекты, заданные вручную", выполните те же действия для "Запланированных целевых объектов".

Повторите эти шаги для каждого результата. Всего нужно изменить восемь целевых страниц.
5. Объяснение потока Cloud Dataprep
Основная идея шаблона проектирования Google Формы Analytics заключается в том, чтобы преобразовать ответы на опросы, как описано выше, – разбить каждую категорию вопросов на определенный набор правил преобразования данных Cloud Dataprep.
В этом процессе вопросы разбиты на четыре таблицы (соответствующие четырем категориям вопросов для простоты).

Рекомендуем изучить рецепты по очереди, начиная с Clean Headers, затем SingleChoiceSELECT-Questions и так далее.
Все рецепты снабжены комментариями, объясняющими различные этапы преобразования. В рецепте можно изменить шаг и посмотреть, как будет выглядеть столбец до и после изменения.


6. Запустите поток Cloud Dataprep
Теперь, когда источник и целевые объекты настроены правильно, вы можете запустить поток, чтобы преобразовать ответы и загрузить их в BigQuery. Выберите все выходные данные и нажмите кнопку "Выполнить". Если указанная таблица BigQuery существует, Dataprep добавит новые строки, в противном случае будет создана новая таблица.

Чтобы отслеживать задания, нажмите на значок "История заданий" на панели слева. Загрузка таблиц BigQuery займет несколько минут.

Когда все задания будут выполнены, результаты опроса будут загружены в BigQuery в чистом, структурированном и нормализованном формате, готовом для анализа.
7. Анализ данных опроса в BigQuery
В Google Console для BigQuery вы сможете увидеть сведения о каждой из новых таблиц.

Имея данные опроса в BigQuery, вы можете легко задавать более комплексные вопросы, чтобы глубже понять ответы на опрос. Например, вы хотите узнать, какой язык программирования чаще всего используют люди разных профессий. Для этого можно написать такой запрос:
SELECT
programming_answers.Language AS programming_answers_language,
project_answers.Title AS project_answers_title,
AVG((case when programming_answers.Level='None' then 0
when programming_answers.Level='beginner' then 1
when programming_answers.Level='competent' then 2
when programming_answers.Level='proficient' then 3
when programming_answers.Level='expert' then 4
else null end) ) AS programming_answers_average_level_value
FROM `my-project.DesignPattern.A000111_ProjectAnswers` AS project_answers
INNER JOIN `my-project.A000111_ProgrammingAnswers` AS programming_answers
ON programming_answers.RESPONSE_ID = project_answers.RESPONSE_ID
GROUP BY 1,2
ORDER BY 3 DESC
Чтобы сделать анализ ещё более эффективным, вы можете объединить ответы на опрос с данными CRM, чтобы увидеть, сопоставляются ли участники с какими-либо аккаунтами, которые уже включены в ваше хранилище данных. Это поможет вам принимать более обоснованные решения о поддержке пользователей или таргетинге на пользователей для новых запусков.
Ниже показано, как объединить данные опроса с таблицей аккаунтов на основе домена респондента и сайта аккаунта. Теперь вы можете посмотреть распределение ответов по типу аккаунта, чтобы понять, сколько респондентов относятся к существующим клиентам.
SELECT
account.TYPE AS account_type,
COUNT(DISTINCT project_answers.Domainname) AS project_answers_count_domains
FROM `my-project.A000111_ProjectAnswers` AS project_answers
LEFT JOIN `my-project.testing.account` AS account
ON project_answers.Domainname=account.website
GROUP BY 1
8. Выполнение визуального анализа
Теперь, когда данные опроса централизованы в хранилище данных, вы можете легко анализировать их с помощью инструмента бизнес-аналитики. Мы создали несколько примеров отчетов в Студии данных и Looker.
Looker
Если у вас уже есть экземпляр Looker, вы можете использовать LookML в этой папке, чтобы начать анализировать примеры данных опроса и CRM для этого шаблона. Просто создайте новый проект Looker, добавьте LookML и замените названия подключения и таблицы в файле, чтобы они соответствовали вашей конфигурации BigQuery. Если у вас нет экземпляра Looker, но вы хотите узнать больше, запишитесь на демонстрацию.

Студия данных
Чтобы создать отчет в Студии данных, нажмите на рамку с крестиком Google "Пустой отчет" и подключитесь к BigQuery. Следуйте инструкциям Студии данных. Если вы хотите узнать больше, ознакомьтесь с руководством по быстрому началу работы и описанием основных функций Студии данных. Вы также можете найти наши готовые сводки Студии данных здесь.

9. Очистка
Самый простой способ избежать списания средств – удалить облачный проект, созданный для этого руководства. Вы также можете удалить отдельные ресурсы.
- В Cloud Console перейдите на страницу управления ресурсами.
- В списке проектов выберите проект, который нужно удалить, и нажмите Удалить.
- В диалоговом окне введите идентификатор проекта и нажмите Shut down (Отключить), чтобы удалить проект.
