1. Введение
Последнее обновление: 15 сентября 2021 г.
Данные, необходимые для понимания и оптимизации ценообразования, разрознены по своей природе (разные системы, разные местные реалии и т. д.), поэтому крайне важно разработать хорошо структурированную, стандартизированную и понятную таблицу CDM. Сюда входят ключевые атрибуты для оптимизации цен, такие как транзакции, продукты, цены и клиенты. В этом документе мы покажем вам шаги, описанные ниже, предоставив быстрый старт аналитике цен, которую вы можете расширить и настроить в соответствии со своими потребностями. На следующей диаграмме показаны шаги, описанные в этом документе.
- Оцените источники данных. Во-первых, вы должны получить перечень источников данных, которые будут использоваться для создания CDM. На этом этапе Dataprep также используется для изучения и выявления проблем во входных данных. Например, отсутствующие и несовпадающие значения, несогласованные соглашения об именах, дубликаты, проблемы с целостностью данных, выбросы и т. д.
- Стандартизация данных. Далее устраняются ранее выявленные проблемы, чтобы обеспечить точность, целостность, согласованность и полноту данных. Этот процесс может включать в себя различные преобразования в Dataprep , такие как форматирование даты, стандартизация значений, преобразование единиц измерения, фильтрация ненужных полей и значений, а также разделение, объединение или дедупликация исходных данных.
- Унификация в одной структуре. На следующем этапе конвейера каждый источник данных объединяется в одну широкую таблицу в BigQuery , содержащую все атрибуты на самом детальном уровне. Эта денормализованная структура позволяет создавать эффективные аналитические запросы, не требующие соединений.
- Предоставляйте аналитику и машинное обучение и искусственный интеллект: как только данные будут очищены и отформатированы для анализа, аналитики смогут изучить исторические данные, чтобы понять влияние предыдущих изменений цен. Кроме того, BigQuery ML можно использовать для создания прогнозных моделей, позволяющих оценить будущие продажи. Результаты этих моделей могут быть включены в информационные панели Looker для создания сценариев «что, если», где бизнес-пользователи могут анализировать, как могут выглядеть продажи при определенных изменениях цен.
На следующей диаграмме показаны компоненты Google Cloud, используемые для создания конвейера аналитики оптимизации цен.
Что ты построишь
Здесь мы покажем вам, как спроектировать хранилище данных для оптимизации цен, автоматизировать подготовку данных с течением времени, использовать машинное обучение для прогнозирования влияния изменений на цены на продукты и разрабатывать отчеты, чтобы предоставить вашей команде полезную информацию.
Что вы узнаете
- Как подключить Dataprep к источникам данных для ценовой аналитики, которые могут храниться в реляционных базах данных, плоских файлах, Google Sheets и других поддерживаемых приложениях .
- Как построить поток Dataprep для создания таблицы CDM в хранилище данных BigQuery .
- Как использовать BigQuery ML для прогнозирования будущих доходов.
- Как создавать отчеты в Looker для анализа исторических тенденций цен и продаж, а также для понимания влияния будущих изменений цен.
Что вам понадобится
- Проект Google Cloud с включенной оплатой. Узнайте, как подтвердить, что для вашего проекта включена оплата .
- BigQuery должен быть включен в вашем проекте. Он автоматически включается в новых проектах. В противном случае включите его в существующем проекте . Вы также можете узнать больше о том , как начать работу с BigQuery из Cloud Console, здесь .
- Dataprep также должен быть включен в вашем проекте. Dataprep включается из консоли Google , из левого навигационного меню в разделе «Большие данные». Следуйте инструкциям по регистрации, чтобы активировать его.
- Чтобы настроить собственные информационные панели Looker , у вас должен быть доступ разработчика к экземпляру Looker. Чтобы запросить пробную версию, обратитесь к нашей команде здесь или воспользуйтесь нашей общедоступной информационной панелью , чтобы изучить результаты конвейера данных на наших примерах данных.
- Полезен опыт работы с языком структурированных запросов (SQL) и базовые знания следующих компонентов: Dataprep от Trifacta , BigQuery , Looker.
2. Создайте CDM в BigQuery.
В этом разделе вы создаете общую модель данных (CDM), которая обеспечивает консолидированное представление информации, необходимой для анализа и предложения изменений цен.
- Откройте консоль BigQuery .
- Выберите проект, который вы хотите использовать для тестирования этого эталонного шаблона.
- Используйте существующий набор данных или создайте набор данных BigQuery . Назовите набор данных
Pricing_CDM
. - Создайте таблицу :
create table `CDM_Pricing`
(
Fiscal_Date DATETIME,
Product_ID STRING,
Client_ID INT64,
Customer_Hierarchy STRING,
Division STRING,
Market STRING,
Channel STRING,
Customer_code INT64,
Customer_Long_Description STRING,
Key_Account_Manager INT64,
Key_Account_Manager_Description STRING,
Structure STRING,
Invoiced_quantity_in_Pieces FLOAT64,
Gross_Sales FLOAT64,
Trade_Budget_Costs FLOAT64,
Cash_Discounts_and_other_Sales_Deductions INT64,
Net_Sales FLOAT64,
Variable_Production_Costs_STD FLOAT64,
Fixed_Production_Costs_STD FLOAT64,
Other_Cost_of_Sales INT64,
Standard_Gross_Margin FLOAT64,
Transportation_STD FLOAT64,
Warehouse_STD FLOAT64,
Gross_Margin_After_Logistics FLOAT64,
List_Price_Converged FLOAT64
);
3. Оцените источники данных
В этом руководстве вы используете примеры источников данных, которые хранятся в Google Sheets и BigQuery .
- Таблица Google транзакций , содержащая одну строку для каждой транзакции. Он содержит такие данные, как количество каждого проданного продукта, общий валовой объем продаж и связанные с этим затраты.
- Таблица цен на продукты в Google, которая содержит цену каждого продукта для данного клиента за каждый месяц.
- Таблица Company_descriptions BigQuery, содержащая информацию об отдельных клиентах.
Эту таблицу Company_descriptions BigQuery можно создать с помощью следующего оператора:
create table `Company_Descriptions`
(
Customer_ID INT64,
Customer_Long_Description STRING
);
insert into `Company_Descriptions` values (15458, 'ENELTEN');
insert into `Company_Descriptions` values (16080, 'NEW DEVICES CORP.');
insert into `Company_Descriptions` values (19913, 'ENELTENGAS');
insert into `Company_Descriptions` values (30108, 'CARTOON NT');
insert into `Company_Descriptions` values (32492, 'Thomas Ed Automobiles');
4. Создайте поток
На этом этапе вы импортируете образец потока Dataprep , который используете для преобразования и унификации примеров наборов данных , перечисленных в предыдущем разделе. Поток представляет собой конвейер или объект, объединяющий наборы данных и рецепты, используемые для их преобразования и объединения.
- Загрузите пакет шаблона оптимизации цен с GitHup, но не разархивируйте его. Этот файл содержит поток шаблона проектирования оптимизации цен, используемый для преобразования примеров данных.
- В Dataprep щелкните значок «Потоки» на левой панели навигации. Затем в представлении «Потоки» выберите «Импорт» в контекстном меню. После импорта потока его можно выбрать для просмотра и редактирования.
- В левой части потока цены на продукты и каждая из трех таблиц Google транзакций должны быть связаны как наборы данных. Для этого щелкните правой кнопкой мыши объекты набора данных Google Sheets и выберите «Заменить» . Затем нажмите ссылку «Импорт наборов данных» . Нажмите карандаш «Редактировать путь», как показано на следующей схеме.
Замените текущее значение ссылкой, указывающей на транзакции и цены на продукты в Google Таблицах .
Если Google Таблицы содержат несколько вкладок, вы можете выбрать вкладку, которую хотите использовать в меню. Нажмите «Изменить» и выберите вкладки, которые вы хотите использовать в качестве источника данных, затем нажмите « Сохранить» и нажмите «Импортировать и добавить в поток» . Вернувшись в модальное окно, нажмите «Заменить» . В этом потоке каждый лист представлен как отдельный набор данных, чтобы продемонстрировать объединение разрозненных источников позже в более позднем рецепте.
- Определите выходные таблицы BigQuery:
На этом этапе вы свяжете расположение выходной таблицы BigQuery CDM_Pricing, которая будет загружаться каждый раз при запуске задания Dataoprep.
В представлении «Поток» щелкните значок «Вывод сопоставления схемы», на панели «Подробности» щелкните вкладку «Назначения». Оттуда отредактируйте выходные данные «Назначения вручную», используемые для тестирования, и выходные данные «Назначения по расписанию», используемые, когда вы хотите автоматизировать весь поток. Для этого следуйте этим инструкциям:
- Изменение «Назначений, заданных вручную». На панели сведений в разделе «Назначения, заданные вручную» нажмите кнопку «Изменить». На странице «Настройки публикации» в разделе «Действия публикации», если действие публикации уже существует, измените его, в противном случае нажмите кнопку «Добавить действие». Оттуда перейдите из наборов данных BigQuery к набору данных
Pricing_CDM
который вы создали на предыдущем шаге, и выберите таблицуCDM_Pricing
. Убедитесь, что установлен флажок «Добавлять к этой таблице при каждом запуске» , а затем нажмите « Добавить» . Нажмите « Сохранить настройки» . - Отредактируйте «Запланированные пункты назначения».
На панели сведений в разделе «Запланированные пункты назначения» нажмите « Изменить» .
Настройки наследуются из назначений, заданных вручную, и вам не нужно вносить какие-либо изменения. Нажмите Сохранить настройки.
5. Стандартизировать данные
Предоставленный поток объединяет, форматирует и очищает данные транзакций, а затем объединяет результат с описаниями компаний и агрегированными данными о ценах для отчетности. Здесь вы пройдете по компонентам потока, которые можно увидеть на изображении ниже.
6. Изучите рецепт транзакционных данных
Сначала вы изучите, что происходит в рецепте транзакционных данных, который используется для подготовки данных транзакций. Щелкните объект «Данные транзакции» в представлении «Поток», на панели сведений нажмите кнопку «Редактировать рецепт».
Страница Трансформера откроется с рецептом, представленным на панели сведений. Рецепт содержит все этапы преобразования, применяемые к данным. Вы можете перемещаться по рецепту, щелкая между каждым шагом, чтобы увидеть состояние данных в этой конкретной позиции в рецепте.
Вы также можете щелкнуть меню «Дополнительно» для каждого шага рецепта и выбрать «Перейти к выбранному» или «Редактировать», чтобы узнать, как работает преобразование.
- Объединение транзакций: первый шаг в рецепте транзакционных данных объединяет транзакции, хранящиеся на разных листах, представляющих каждый месяц.
- Стандартизация описаний клиентов. Следующим шагом рецепта является стандартизация описаний клиентов. Это означает, что имена клиентов могут быть похожими с небольшими изменениями, и мы хотим нормализовать их по имени. Рецепт демонстрирует два потенциальных подхода. Во-первых, он использует алгоритм стандартизации , который можно настроить с использованием различных параметров стандартизации, таких как «Похожие строки», где значения с общими символами группируются вместе, или «Произношение», когда значения, которые звучат одинаково, группируются вместе. Кроме того, вы можете найти описание компании в таблице BigQuery , указанной выше , используя идентификатор компании.
Вы можете продолжить рецепт, чтобы открыть для себя различные другие методы, которые применяются для очистки и форматирования данных: удаление строк, форматирование на основе шаблонов, обогащение данных с помощью поиска, обработка пропущенных значений или замена нежелательных символов.
7. Изучите рецепт данных о ценах на продукты
Далее вы можете изучить, что происходит в рецепте данных о ценах на продукты, который объединяет подготовленные данные о транзакциях в агрегированные данные о ценах.
Нажмите ШАБЛОН ПРОЕКТИРОВАНИЯ ОПТИМИЗАЦИИ ЦЕНЫ в верхней части страницы, чтобы закрыть страницу «Трансформер» и вернуться к представлению «Поток». Оттуда щелкните объект «Данные о ценах на продукт» и отредактируйте рецепт.
- Столбцы ежемесячных цен для отмены разворота. Щелкните рецепт между шагами 2 и 3, чтобы увидеть, как выглядят данные до шага разворота. Вы заметите, что данные содержат значение транзакции в отдельном столбце для каждого месяца: Январь Февраль Март. Это не тот формат, который удобен для применения агрегированных вычислений (т. е. суммы, средней транзакции) в SQL. Данные необходимо отменить, чтобы каждый столбец стал строкой в таблице BigQuery. Рецепт использует функцию unpivot для преобразования трех столбцов в одну строку для каждого месяца, что упрощает применение групповых расчетов.
- Рассчитайте среднюю стоимость транзакции по клиенту, продукту и дате . Мы хотим рассчитать среднюю стоимость транзакции для каждого клиента, продукта и данных. Мы можем использовать функцию Агрегировать и создать новую таблицу (опция «Группировать как новую таблицу»). В этом случае данные агрегируются на уровне группы, и мы теряем детали каждой отдельной транзакции. Или мы можем решить сохранить как детали, так и агрегированные значения в одном и том же наборе данных (опция «Группировать по новым столбцам»), что становится очень удобным для применения коэффициента (т. е. % вклада категории продуктов в общий доход). ). Вы можете попробовать такое поведение, отредактировав шаг рецепта 7 и выбрав опцию «Группировать по новой таблице» или «Группировать по новым столбцам», чтобы увидеть различия.
- Дата определения цены объединения. Наконец, объединение используется для объединения нескольких наборов данных в более крупный, добавляющий столбцы к исходному набору данных. На этом этапе данные о ценах объединяются с выходными данными рецепта транзакционных данных на основе «Данные о ценах.Код продукта» = Данные о транзакциях.SKU и «Данные о ценах.Дата цены» = «Данные о транзакциях.Финансовая дата».
Чтобы узнать больше о преобразованиях, которые можно применить с помощью Dataprep, см. шпаргалку по обработке данных Trifacta.
8. Изучите рецепт сопоставления схемы
Последний рецепт, «Сопоставление схемы», гарантирует, что результирующая таблица CDM соответствует существующей схеме выходной таблицы BigQuery. Здесь функция Rapid Target используется для переформатирования структуры данных в соответствии с таблицей BigQuery с использованием нечеткого сопоставления для сравнения обеих схем и применения автоматических изменений.
9. Объедините в одну структуру
Теперь, когда источники и места назначения настроены, а этапы потоков изучены, вы можете запустить поток для преобразования и загрузки таблицы CDM в BigQuery.
- Запуск вывода сопоставления схемы. В представлении потока выберите выходной объект «Сопоставление схемы» и нажмите кнопку «Выполнить» на панели «Подробности». Выберите рабочую среду «Trifacta Photon» и снимите флажок «Игнорировать ошибки рецептов». Затем нажмите кнопку «Выполнить». Если указанная таблица BigQuery существует, Dataprep добавит новые строки, в противном случае создаст новую таблицу.
- Просмотр статуса задания: Dataprep автоматически открывает страницу «Выполнить задание», чтобы вы могли отслеживать выполнение задания. Продолжение и загрузка таблицы BigQuery займет несколько минут. Когда задание будет завершено, выходные данные CDM о ценах будут загружены в BigQuery в чистом, структурированном и нормализованном формате, готовом для анализа.
10. Предоставляйте аналитику и машинное обучение/ИИ
Предварительные условия аналитики
Чтобы провести некоторую аналитику и прогнозную модель с интересными результатами, мы создали набор данных, который является более крупным и актуальным для выявления конкретных идей. Прежде чем продолжить работу с этим руководством, вам необходимо загрузить эти данные в свой набор данных BigQuery.
- Загрузите большой набор данных из этого репозитория GitHub.
- В консоли Google для BigQuery перейдите к своему проекту и набору данных CDM_Pricing.
- Щелкните меню и откройте набор данных. Мы создадим таблицу , загрузив данные из локального файла .
Нажмите кнопку + Создать таблицу и определите следующие параметры:
- Создайте таблицу из загрузки и выберите файл CDM_Pricing_Large_Table.csv.
- Автоопределение схемы, проверка схемы и входных параметров
- Дополнительные параметры, предпочтения записи, перезаписать таблицу
- Нажмите Создать таблицу.
После создания таблицы и загрузки данных в консоли Google для BigQuery вы должны увидеть детали новой таблицы, как показано ниже. Имея данные о ценах в BigQuery, мы можем легко задавать более подробные вопросы для анализа ваших данных о ценах на более глубоком уровне.
11. Просмотрите эффект изменения цен.
Одним из примеров того, что вы можете проанализировать, является изменение поведения заказа, когда вы ранее изменили цену товара.
- Сначала вы создаете временную таблицу , в которой каждый раз при изменении цены продукта появляется одна строка с информацией о цене этого конкретного продукта, например, сколько товаров было заказано по каждой цене, а также общий чистый объем продаж, связанный с этой ценой.
create temp table price_changes as (
select
product_id,
list_price_converged,
total_ordered_pieces,
total_net_sales,
first_price_date,
lag(list_price_converged) over(partition by product_id order by first_price_date asc) as previous_list,
lag(total_ordered_pieces) over(partition by product_id order by first_price_date asc) as previous_total_ordered_pieces,
lag(total_net_sales) over(partition by product_id order by first_price_date asc) as previous_total_net_sales,
lag(first_price_date) over(partition by product_id order by first_price_date asc) as previous_first_price_date
from (
select
product_id,list_price_converged,sum(invoiced_quantity_in_pieces) as total_ordered_pieces, sum(net_sales) as total_net_sales, min(fiscal_date) as first_price_date
from `{{my_project}}.{{my_dataset}}.CDM_Pricing` AS cdm_pricing
group by 1,2
order by 1, 2 asc
)
);
select * from price_changes where previous_list is not null order by product_id, first_price_date desc
- Далее, имея временную таблицу, вы можете рассчитать среднее изменение цены по SKU:
select avg((previous_list-list_price_converged)/nullif(previous_list,0))*100 as average_price_change from price_changes;
- Наконец, вы можете проанализировать, что происходит после изменения цены, просматривая взаимосвязь между каждым изменением цены и общим количеством заказанных товаров:
select
(total_ordered_pieces-previous_total_ordered_pieces)/nullif(previous_total_ordered_pieces,0)
как
price_changes_percent_ordered_change,
(list_price_converged-previous_list)/nullif(previous_list,0)
как
price_changes_percent_price_change
from price_changes
12. Постройте модель прогнозирования временных рядов.
Далее, благодаря встроенным возможностям машинного обучения BigQuery , вы можете построить модель прогнозирования временных рядов ARIMA , чтобы спрогнозировать количество каждого товара, который будет продан.
- Сначала вы создаете модель ARIMA_PLUS.
create or replace `{{my_project}}.{{my_dataset}}.bqml_arima`
options
(model_type = 'ARIMA_PLUS',
time_series_timestamp_col = 'fiscal_date',
time_series_data_col = 'total_quantity',
time_series_id_col = 'product_id',
auto_arima = TRUE,
data_frequency = 'AUTO_FREQUENCY',
decompose_time_series = TRUE
) as
select
fiscal_date,
product_id,
sum(invoiced_quantity_in_pieces) as total_quantity
from
`{{my_project}}.{{my_dataset}}.CDM_Pricing`
group by 1,2;
- Далее вы используете функцию ML.FORECAST для прогнозирования будущих продаж каждого продукта:
select
*
from
ML.FORECAST(model testing.bqml_arima,
struct(30 as horizon, 0.8 as confidence_level));
- Имея эти прогнозы, вы можете попытаться понять, что может произойти, если вы поднимете цены. Например, если вы поднимете цену на каждый продукт на 15 %, вы можете рассчитать предполагаемый общий доход за следующий месяц с помощью такого запроса:
select
sum(forecast_value * list_price) as total_revenue
from ml.forecast(mode testing.bqml_arima,
struct(30 as horizon, 0.8 as confidence_level)) forecasts
left join (select product_id,
array_agg(list_price_converged
order by fiscal_date desc limit 1)[offset(0)] as list_price
from `leigha-bq-dev.retail.cdm_pricing` group by 1) recent_prices
using (product_id);
13. Создайте отчет
Теперь, когда ваши денормализованные данные о ценах централизованы в BigQuery и вы понимаете, как выполнять осмысленные запросы к этим данным, пришло время создать отчет, который позволит бизнес-пользователям изучать эту информацию и действовать на ее основе.
Если у вас уже есть экземпляр Looker , вы можете использовать LookML в этом репозитории GitHub, чтобы начать анализировать данные о ценах для этого шаблона. Просто создайте новый проект Looker , добавьте LookML и замените имена соединений и таблиц в каждом из файлов представления в соответствии с вашей конфигурацией BigQuery.
В этой модели вы найдете производную таблицу ( в этом файле представления ), которую мы показали ранее для изучения изменений цен:
view: price_changes {
derived_table: {
sql: select
product_id,
list_price_converged,
total_ordered_pieces,
total_net_sales,
first_price_date,
lag(list_price_converged) over(partition by product_id order by first_price_date asc) as previous_list,
lag(total_ordered_pieces) over(partition by product_id order by first_price_date asc) as previous_total_ordered_pieces,
lag(total_net_sales) over(partition by product_id order by first_price_date asc) as previous_total_net_sales,
lag(first_price_date) over(partition by product_id order by first_price_date asc) as previous_first_price_date
from (
select
product_id,list_price_converged,sum(invoiced_quantity_in_pieces) as total_ordered_pieces, sum(net_sales) as total_net_sales, min(fiscal_date) as first_price_date
from ${cdm_pricing.SQL_TABLE_NAME} AS cdm_pricing
group by 1,2
order by 1, 2 asc
)
;;
}
...
}
А также модель BigQuery ML ARIMA, которую мы показали ранее , для прогнозирования будущих продаж ( в этом файле представления ).
view: arima_model { derived_table: { persist_for: "24 hours" sql_create: create or replace model ${sql_table_name} options (model_type = 'arima_plus', time_series_timestamp_col = 'fiscal_date', time_series_data_col = 'total_quantity', time_series_id_col = 'product_id', auto_arima = true, data_frequency = 'auto_frequency', decompose_time_series = true ) as select fiscal_date, product_id, sum(invoiced_quantity_in_pieces) as total_quantity from ${cdm_pricing.sql_table_name} group by 1,2 ;; } } ... }
LookML также содержит образец информационной панели . Вы можете получить доступ к демо-версии панели управления здесь. Первая часть информационной панели предоставляет пользователям общую информацию об изменениях продаж, затрат, цен и прибыли. Как бизнес-пользователь, вы можете создать оповещение, чтобы узнать, упали ли продажи ниже X%, поскольку это может означать, что вам следует снизить цены.
Следующий раздел, показанный ниже, позволяет пользователям изучить тенденции, связанные с изменением цен. Здесь вы можете детализировать конкретные продукты, чтобы увидеть точную прейскурантную цену и то, на какие цены были изменены, что может быть полезно для определения конкретных продуктов для проведения дополнительных исследований.
Наконец, внизу отчета вы найдете результаты нашей модели BigQueryML. Используя фильтры в верхней части панели Looker, вы можете легко вводить параметры для моделирования различных сценариев, аналогичных описанным выше. Например, посмотрим, что произойдет, если объем заказов снизится до 75 % от прогнозируемой стоимости, а цены на все продукты повысятся на 25 %, как показано ниже.
Это обеспечивается параметрами LookML, которые затем включаются непосредственно в расчеты показателей, найденные здесь. С помощью этого типа отчетности вы можете найти оптимальные цены для всех продуктов или детализировать конкретные продукты, чтобы определить, где вам следует повысить или снизить цены и каков будет результат для валового и чистого дохода.
14. Адаптируйтесь к вашей системе ценообразования
Хотя в этом руководстве преобразуются примеры источников данных, вы столкнетесь с очень похожими проблемами с данными для ценовых активов, которые существуют на ваших различных платформах. Ценовые ресурсы имеют разные форматы экспорта (часто xls, таблицы, csv, txt, реляционные базы данных, бизнес-приложения) для сводных и подробных результатов, каждый из которых можно подключить к Dataprep. Мы рекомендуем начать с описания требований к преобразованию аналогично примерам, приведенным выше. После уточнения ваших спецификаций и определения типов необходимых преобразований вы можете разработать их с помощью Dataprep.
- Создайте копию потока Dataprep (нажмите кнопку **... «**подробнее» справа от потока и выберите параметр «Дублировать»), которую вы настроите, или просто начните с нуля, используя новый поток Dataprep.
- Подключитесь к своему собственному набору данных о ценах. Dataprep изначально поддерживает такие форматы файлов, как Excel, CSV, Google Sheets, JSON. Вы также можете подключиться к другим системам с помощью соединителей Dataprep.
- Распределите свои данные по различным категориям преобразования, которые вы определили. Для каждой категории создайте один рецепт. Почерпните вдохновение из потока, представленного в этом шаблоне проектирования, для преобразования данных и написания собственных рецептов. Если вы застряли, не беспокойтесь, обратитесь за помощью в диалоговом окне чата в левом нижнем углу экрана Dataprep.
- Подключите свой рецепт к экземпляру BigQuery. Вам не нужно беспокоиться о создании таблиц вручную в BigQuery: Dataprep позаботится об этом автоматически. Мы предлагаем при добавлении выходных данных в поток выбирать назначение вручную и удалять таблицу при каждом запуске. Тестируйте каждый рецепт индивидуально до тех пор, пока не получите ожидаемые результаты. После завершения тестирования вы преобразуете выходные данные в «Добавить в таблицу» при каждом запуске, чтобы избежать удаления предыдущих данных.
- При желании вы можете связать поток для запуска по расписанию. Это полезно, если ваш процесс должен работать непрерывно. Вы можете определить график загрузки ответа каждый день или каждый час в зависимости от необходимой вам актуальности. Если вы решите запустить поток по расписанию, вам нужно будет добавить выход назначения расписания в поток для каждого рецепта.
Измените модель машинного обучения BigQuery.
В этом руководстве представлен пример модели ARIMA. Однако существуют дополнительные параметры, которыми вы можете управлять при разработке модели, чтобы убедиться, что она лучше всего соответствует вашим данным. Более подробную информацию вы можете увидеть в примере в нашей документации здесь. Кроме того, вы также можете использовать функции BigQuery ML.ARIMA_EVALUATE , ML.ARIMA_COEFFICIENTS и ML.EXPLAIN_FORECAST , чтобы получить более подробную информацию о вашей модели и принять решения по оптимизации.
Редактировать отчеты Looker
После импорта LookML в свой собственный проект , как описано выше , вы можете вносить прямые изменения, добавляя дополнительные поля, изменяя расчеты или введенные пользователем параметры, а также изменяя визуализации на информационных панелях в соответствии с потребностями вашего бизнеса. Подробности о разработке в LookML можно найти здесь , а о визуализации данных в Looker — здесь.
15. Поздравления
Теперь вы знаете ключевые шаги, необходимые для оптимизации цен на ваши розничные продукты!
Что дальше?
Ознакомьтесь с другими эталонными шаблонами интеллектуальной аналитики
Дальнейшее чтение
- Читайте блог здесь
- Узнайте больше о Dataprep здесь
- Узнайте больше о машинном обучении BigQuery здесь.
- Узнайте больше о Looker здесь