Previsión de series temporales con Vertex AI y BigQuery ML

1. Descripción general

En este lab, aprenderás a compilar un modelo de previsión de series temporales con TensorFlow y, luego, a implementar estos modelos con Vertex AI.

Qué aprenderá

Aprenderás a hacer lo siguiente:

Transformar datos para que se puedan usar en un modelo de AA
Visualizar y explorar datos
Usar BigQuery ML para crear un modelo de previsión de series temporales
Compilar un modelo de previsión de series temporales con TensorFlow usando arquitecturas LSTM y CNN

2. Introducción a la previsión de series temporales

El objetivo de este codelab es mostrar cómo aplicar técnicas de previsión de series temporales con Google Cloud Platform. No es un curso general de previsión de series temporales, pero un breve recorrido por los conceptos puede ser útil para nuestros usuarios.

Datos de series temporales

Primero, ¿qué es una serie temporal? Es un conjunto de datos con datos registrados a intervalos de tiempo regulares. Un conjunto de datos de series temporales contiene el tiempo y, al menos, una variable que depende del tiempo.

Componentes

Una serie temporal se puede descomponer en componentes:

Tendencia: Sube o baja en un patrón razonablemente predecible.
Estacional: Se repite durante un período específico, como un día, una semana, un mes, una temporada, etcétera.
Aleatorio: Fluctuaciones residuales.

Puede haber varias capas de estacionalidad. Por ejemplo, un centro de llamadas podría ver un patrón en el volumen de llamadas en ciertos días de la semana, así como en meses determinados. El residuo podría explicarse con otras variables además del tiempo.

Estacionariedad

Para obtener mejores resultados en la previsión, los datos de series temporales deben ser estacionarios, en los que las propiedades estadísticas, como la media y la varianza, sean constantes a lo largo del tiempo. Se pueden aplicar técnicas como la diferenciación y la eliminación de tendencias a los datos sin procesar para que sean más estacionarios.

Por ejemplo, el siguiente gráfico de concentración de CO2 muestra un patrón anual repetido con una tendencia ascendente. ( Fuente)

Después de quitar la tendencia lineal, los datos son más adecuados para la previsión, ya que ahora tienen una media constante.

Uso de datos de series temporales para el aprendizaje automático

Para usar datos de series temporales en un problema de aprendizaje automático, es necesario transformarlos de modo que se puedan usar valores anteriores para predecir valores futuros. En esta tabla, se muestra un ejemplo de cómo se crean variables rezagadas para ayudar a predecir el objetivo.

Ahora que ya vimos algunos conceptos básicos, comencemos a explorar datos y a realizar previsiones.

3. Configura tu entorno de notebook

Ahora que ya vimos una breve introducción a los datos, configuremos nuestro entorno de desarrollo de modelos.

Paso 1: Habilitar las APIs

El conector de BigQuery usa la API de BigQuery Storage. Busca la API de BigQuery Storage en la consola y habilita la API si está inhabilitada.

Paso 2: Crea un notebook de Vertex AI Workbench

Navega a la sección Vertex AI Workbench de la consola de Cloud y haz clic en New Notebook. Luego, selecciona el tipo de notebook TensorFlow Enterprise 2.x más reciente sin GPUs:

Usa las opciones predeterminadas y, luego, haz clic en Crear. Una vez que se crea la instancia, selecciona Abrir JupyterLab:

Luego, crea un notebook de Python 3 desde JupyterLab:

Paso 3: Descarga los materiales del lab

Crea una nueva ventana de Terminal desde la interfaz de JupyterLab: File -> New -> Terminal.

Desde allí, clona el material de origen con este comando:

git clone https://github.com/GoogleCloudPlatform/training-data-analyst

4. Explora y visualiza datos

En esta sección, deberás hacer lo siguiente:

Crear una consulta que agrupe los datos en una serie temporal
Completar los valores faltantes
Visualizar datos
Descomponer series temporales en componentes de tendencia y estacionales

Paso 1

En Vertex AI Workbench, navega a training-data-analyst/courses/ai-for-time-series/notebooks y abre 01-explore.ipynb.

Paso 2

Borra todas las celdas en el notebook (Editar > Borrar todos los resultados), cambia la configuración de región, proyecto y bucket en una de las primeras celdas y, luego, ejecuta las celdas una por una.

Paso 3

En esta sección, importaste los datos y visualizaste varias de sus dimensiones. Ahora que tienes una imagen más clara de los datos, estarás listo para continuar con el modelado de aprendizaje automático con estos datos.

5. Crea un modelo con la previsión de series temporales de BigQuery

En esta sección, deberás hacer lo siguiente:

Importar los datos de entrada de series temporales a una tabla de BigQuery
Crear un modelo de series temporales con la sintaxis de BQML
Aprender a evaluar los parámetros y la exactitud del modelo
Realizar previsiones con tu modelo

Paso 1

Crearemos una tabla de BigQuery con los datos sin procesar del CSV que acabamos de explorar. Comencemos por descargar el CSV del entorno del notebook.

En el directorio training-data-analyst/courses/ai-for-time-series/notebooks/data, haz clic con el botón derecho en cta_ridership.csv y descárgalo a tu entorno local.

Paso 2

A continuación, subiremos estos datos a una tabla de BigQuery.

Navega a BigQuery en la consola (buscando o usando este vínculo):

Puedes agregar la tabla a un conjunto de datos nuevo o existente, que agrupa tablas relacionadas. Si aún no creaste un conjunto de datos, puedes hacer clic en tu proyecto en la esquina inferior izquierda y, luego, seleccionar Crear conjunto de datosen la esquina inferior derecha.

Elige un nombre de tu elección, como demo, acepta los valores predeterminados y continúa.

Con ese conjunto de datos seleccionado, selecciona Crear tabla en la esquina inferior derecha para crear una tabla nueva.

Para las opciones de creación de tablas, selecciona lo siguiente:

Crear tabla desde: Subir
Seleccionar archivo: cta_ridership.csv
Nombre de la tabla: cta_ridership
Esquema: Marca la casilla para detectar automáticamente el esquema y los parámetros de entrada

Paso 3

Ahora es el momento de crear nuestro modelo. BigQuery ML proporciona una sintaxis sencilla similar a SQL que te permite crear una amplia variedad de tipos de modelos.

En el editor de consultas, pega o escribe esta consulta y reemplaza demo si es necesario por el nombre de tu conjunto de datos en ambos lugares:

CREATE OR REPLACE MODEL
  `demo.cta_ridership_model` OPTIONS(MODEL_TYPE='ARIMA',
    TIME_SERIES_TIMESTAMP_COL='service_date',
    TIME_SERIES_DATA_COL='total_rides',
    HOLIDAY_REGION='us') AS
SELECT
  service_date, total_rides
FROM
  `demo.cta_ridership`

Veamos los elementos clave de la sintaxis para comprender:

`CREATE OR REPLACE MODEL demo.cta_ridership_model`	Esta instrucción crea el modelo. Existen variantes de esta instrucción, por ejemplo, `CREATE MODEL`, pero elegimos reemplazar un modelo existente con el mismo nombre aquí.
`OPTIONS(MODEL_TYPE=‘ARIMA' ... )`	Aquí, definimos las opciones del modelo, y la primera opción es el tipo de modelo. Si seleccionas ARIMA, se creará un modelo de previsión de series temporales.
`TIME_SERIES_TIMESTAMP_COL=‘service_date'`	La columna con información de fecha y hora
`TIME_SERIES_DATA_COL=‘total_rides'`	La columna de datos
`HOLIDAY_REGION=‘us'`	Este parámetro opcional nos permite incluir feriados en el modelo. Dado que nuestra exploración de datos en el paso anterior mostró que la cantidad de pasajeros era menor en los feriados y que los datos provienen de Chicago, IL, EE.UU., incluimos los feriados de EE.UU. en el modelo.
`AS SELECT ... FROM ...`	En esta sección, se seleccionan los datos de entrada que usaremos para entrenar el modelo.

Hay varias otras opciones que puedes agregar a la consulta, como definir una columna si tienes varias series temporales o elegir si deseas descubrir automáticamente los parámetros del modelo ARIMA. Puedes obtener más detalles en la referencia de sintaxis de la instrucción CREATE MODEL para modelos de series temporales.

Paso 4

Obtengamos más información sobre nuestro modelo. Una vez que termine el entrenamiento, ejecutemos otra consulta y reemplacemos demo si es necesario:

SELECT
  *
FROM
  ML.EVALUATE(MODEL `demo.cta_ridership_model`)

Interpretemos los resultados. En cada fila, verás un modelo candidato, con sus parámetros y estadísticas de evaluación. Los resultados se muestran en orden ascendente de AIC o criterio de información de Akaike, que proporciona un indicador relativo de la calidad del modelo. Por lo tanto, el modelo de la primera fila tiene el AIC más bajo y se considera el mejor modelo.

Podrás ver los parámetros p, d y q del modelo ARIMA, así como la estacionalidad descubierta en el modelo. En este caso, el modelo superior incluye estacionalidad semanal y anual.

Paso 5

Ahora, estamos listos para realizar previsiones con la ML.FORECAST función.

Pega o escribe lo siguiente (reemplaza demo si es necesario):

SELECT
  *
FROM
  ML.FORECAST(MODEL `demo.cta_ridership_model`,
    STRUCT(7 AS horizon))

Esta consulta simplemente prevé 7 días con nuestro modelo. Podemos ver las siete filas que se muestran a continuación. La previsión también incluye un intervalo de confianza, que tiene un valor predeterminado de 0.95, pero se puede configurar en la consulta.

Excelente trabajo: Creamos un modelo de series temporales con solo unas pocas consultas de BQML.

6. Crea un modelo de previsión personalizado

En esta sección, deberás hacer lo siguiente:

Quitar valores atípicos de los datos
Realizar previsiones de varios pasos
Incluir funciones adicionales en un modelo de series temporales
Obtener información sobre las arquitecturas de redes neuronales para la previsión de series temporales: LSTM y CNN
Obtener información sobre los modelos estadísticos, incluido el suavizado exponencial de Holt-Winters
Ensamblar modelos

Paso 1

En Vertex AI Workbench, navega a training-data-analyst/courses/ai-for-time-series/notebooks y abre 02-model.ipynb.

Paso 2

Paso 3

En el notebook, ahora exploraste varias arquitecturas de modelos: LSTM, CNN y modelos estadísticos. Para cada modelo, puedes ver cómo se comporta el modelo en comparación con los datos de prueba:

7. Entrena y predice en la nube

En esta sección, deberás hacer lo siguiente:

Preparar datos y modelos para el entrenamiento en la nube
Entrenar tu modelo y supervisar el progreso del trabajo con AI Platform Training
Predecir con el modelo con AI Platform Predictions

Paso 1

En Vertex AI Workbench, navega a training-data-analyst/courses/ai-for-time-series/notebooks y abre 03-cloud-training.ipynb.

Paso 2

Paso 3

En la sección anterior, entrenamos un modelo y realizamos predicciones con él, todo dentro de un notebook de Workbench. En esta sección, mostramos cómo usar el SDK de Python para Vertex AI desde tu notebook para usar los servicios de Vertex AI para el entrenamiento y la implementación.

8. Desafío

En esta sección, intentarás aplicar los conceptos que aprendiste a un nuevo conjunto de datos.

No proporcionaremos instrucciones detalladas, solo algunas sugerencias (si lo deseas).

El objetivo es predecir las solicitudes de servicio del 311 de la ciudad de Nueva York. Estas solicitudes que no son de emergencia incluyen quejas por ruido, problemas con las luces de la calle, etcétera.

Paso 1

Comencemos por comprender el conjunto de datos.

Primero, accede al conjunto de datos de solicitudes de servicio del 311 de la ciudad de Nueva York.

Para conocer mejor los datos, prueba algunas de las consultas de muestra que se enumeran en la descripción del conjunto de datos:

¿Cuál es la cantidad de solicitudes del 311 relacionadas con los camiones de helados?
¿En qué días se reciben más solicitudes del 311 relacionadas con fiestas?

En la IU de BigQuery, selecciona Crear consulta para ver cómo acceder al conjunto de datos. Ten en cuenta que la instrucción select realiza consultas desde bigquery-public-data.new_york_311.311_service_requests.

Paso 2

Ya está todo listo para comenzar. En esta sección, realiza modificaciones en el notebook Explorar y visualizar para trabajar con estos datos.

Pistas

Duplica el notebook 01-explore.ipynb y comienza a trabajar desde él.
Para explorar los datos, prueba esta consulta:

from google.cloud import bigquery as bq

sql = """
SELECT * FROM `bigquery-public-data.new_york_311.311_service_requests` LIMIT 5
"""

client = bq.Client(project=PROJECT)
df = client.query(sql).to_dataframe()

df.head()

Para obtener los recuentos de incidentes por mes, usa esta consulta:

SELECT
  COUNT(unique_key) as y,
  DATE_TRUNC(DATE(created_date), month) as ds  
FROM `bigquery-public-data.new_york_311.311_service_requests`
GROUP by ds ORDER BY ds asc

Actualiza las variables de columna en la sección de constantes. En la consulta anterior, la columna de destino es y y la columna de fecha es ds. No hay funciones adicionales.
Considera cambiar el nombre del archivo en el que exportas los datos para el próximo lab.
Exporta los datos con: df.to_csv(YOUR-EXPORT-FILENAME, index=False)

Paso 3

Ahora, crearemos un modelo de series temporales con los datos mensuales.

Pistas:

Duplica el notebook 02-model.ipynb y comienza a trabajar desde él.
Actualiza los parámetros del conjunto de datos:
Actualiza los parámetros target_col y ts_col para que coincidan con tu nuevo conjunto de datos.
Actualiza los parámetros del modelo:
Frecuencia a mensual (el código para el inicio del mes es “MS”).
Pasos de entrada: 12 (la ventana de visualización es de 12 meses).
Pasos de salida: 3 (predice 3 meses hacia adelante).
Temporadas: 12 (la estacionalidad es de 12 meses).
Cambia el nombre del archivo de entrada si lo cambiaste en el notebook anterior.
Si ejecutas la consulta a mediados de mes, el total mensual del mes final será mucho más bajo de lo esperado. Por lo tanto, para los fines de este lab, quitemos el mes final del conjunto de datos con: df = df[:-1].
No parece haber valores atípicos evidentes en los datos, por lo que puedes omitir o comentar esas celdas.
Ajusta las unidades LSTM y los filtros CNN, así como el tamaño del kernel para este nuevo modelo.

9. Limpieza

Si quieres seguir usando este notebook, te recomendamos que lo desactives cuando no lo utilices. En la IU de Workbench de la consola de Cloud, selecciona el notebook y, luego, haz clic en Detener:

Si quieres borrar todos los recursos que creaste en este lab, borra el notebook de Workbench en lugar de detenerlo.

En el menú de navegación de la consola de Cloud, navega a Almacenamiento y borra los dos buckets que creaste para almacenar los recursos del modelo (ADVERTENCIA: Solo haz esto si creaste buckets nuevos solo para este lab).