Agregue recomendaciones a su aplicación con TensorFlow Lite y Firebase - Android Codelab

1. Información general

Bienvenido a Recomendaciones con TensorFlow Lite y Firebase codelab. En este laboratorio de código, aprenderá a usar TensorFlow Lite y Firebase para implementar un modelo de recomendación en su aplicación. Este laboratorio de programación se basa en este ejemplo de TensorFlow Lite.

Las recomendaciones permiten que las aplicaciones utilicen el aprendizaje automático para ofrecer de forma inteligente el contenido más relevante para cada usuario. Tienen en cuenta el comportamiento anterior del usuario para sugerir el contenido de la aplicación con el que el usuario podría interactuar en el futuro mediante el uso de un modelo entrenado en el comportamiento agregado de una gran cantidad de otros usuarios.

Este instructivo muestra cómo obtener datos de los usuarios de su aplicación con Firebase Analytics, crear un modelo de aprendizaje automático para obtener recomendaciones a partir de esos datos y luego usar ese modelo en una aplicación de Android para ejecutar inferencias y obtener recomendaciones. En particular, nuestras recomendaciones sugerirán qué películas es más probable que vea un usuario dada la lista de películas que le han gustado anteriormente.

lo que aprenderás

  • Integre Firebase Analytics en una aplicación de Android para recopilar datos de comportamiento del usuario
  • Exporta esos datos a Google Big Query
  • Preprocesar los datos y entrenar un modelo de recomendaciones TF Lite
  • Implemente el modelo TF Lite en Firebase ML y acceda a él desde su aplicación
  • Ejecute la inferencia del dispositivo usando el modelo para sugerir recomendaciones a los usuarios

Lo que necesitarás

  • Última versión de Android Studio .
  • Código de muestra.
  • Un dispositivo de prueba con Android 7+ y servicios de Google Play 9.8 o posterior, o un emulador con servicios de Google Play 9.8 o posterior
  • Si usa un dispositivo, un cable de conexión.

¿Cómo utilizará este tutorial?

Léalo solo Léelo y completa los ejercicios.

¿Cómo calificaría su experiencia con la creación de aplicaciones de Android?

Principiante Intermedio Competente

2. Obtenga el código de muestra

Clone el repositorio de GitHub desde la línea de comandos.

$ git clone https://github.com/FirebaseExtended/codelab-contentrecommendation-android.git

3. Importa la aplicación de inicio

Desde Android Studio, seleccione el directorio codelab-recommendations-android ( carpeta_estudio_de_android.png ) desde la descarga del código de muestra ( Archivo > Abrir > .../codelab-recommendations-android/start).

Ahora debería tener el proyecto de inicio abierto en Android Studio.

4. Crear proyecto de consola de Firebase

Crear un nuevo proyecto

  1. Ve a la consola de Firebase .
  2. Seleccione Agregar proyecto (o Crear un proyecto si es el primero).
  3. Seleccione o ingrese un nombre de proyecto y haga clic en Continuar .
  4. Asegúrate de que "Habilitar Google Analytics para este proyecto" esté habilitado.
  5. Siga los pasos de configuración restantes en la consola de Firebase, luego haga clic en Crear proyecto (o Agregar Firebase, si está usando un proyecto de Google existente).

5. Agregar base de fuego

  1. Desde la pantalla de descripción general de su nuevo proyecto, haga clic en el icono de Android para iniciar el flujo de trabajo de configuración.
  2. Ingrese el nombre del paquete del codelab: com.google.firebase.codelabs.recommendations
  3. Seleccione Registrar aplicación .

Agregue el archivo google-services.json a su aplicación

Después de agregar el nombre del paquete y seleccionar Registrarse, haga clic en Descargar google-services.json para obtener su archivo de configuración de Firebase Android y luego copie el archivo google-services.json en el directorio de la app en su proyecto. Después de descargar el archivo, puede omitir los siguientes pasos que se muestran en la consola (ya se han realizado en el proyecto build-android-start).

Agregue el complemento de servicios de Google a su aplicación

El complemento de google-services usa el archivo google-services.json para configurar su aplicación para usar Firebase. Las siguientes líneas ya deberían agregarse a los archivos build.gradle.kts en el proyecto (marque para confirmar):

app/build.grade.kts

plugins {
    id("com.google.gms.google-services")
}

build.grade.kts

plugins {
    id("com.google.gms.google-services") version "4.3.15" apply false
}

Sincroniza tu proyecto con archivos gradle

Para asegurarse de que todas las dependencias estén disponibles para su aplicación, debe sincronizar su proyecto con archivos gradle en este punto. Seleccione Archivo > Proyecto de sincronización con archivos Gradle en la barra de herramientas de Android Studio.

6. Ejecute la aplicación de inicio

Ahora que importó el proyecto a Android Studio y configuró el complemento google-services con su archivo JSON, está listo para ejecutar la aplicación por primera vez. Conecte su dispositivo Android y haga clic en Ejecutar ( ejecutar.png ) en la barra de herramientas de Android Studio.

La aplicación debería iniciarse en su dispositivo. En este punto, puede ver una aplicación en funcionamiento que muestra una pestaña con una lista de películas, una pestaña de Películas que le gustan y una pestaña de Recomendaciones. Puede hacer clic en una película en la lista de películas para agregarla a su lista de favoritos. Después de completar los pasos restantes del laboratorio de programación, podremos generar recomendaciones de películas en la pestaña Recomendaciones.

7. Agregue Firebase Analytics a la aplicación

En este paso, agregará Firebase Analytics a la aplicación para registrar los datos de comportamiento del usuario (en este caso, qué películas le gustan a un usuario). Estos datos se utilizarán en conjunto en pasos futuros para entrenar el modelo de recomendaciones.

Agregue la dependencia de Firebase Bill of Materials and Analytics

Las siguientes dependencias son necesarias para agregar Firebase Analytics a su aplicación. Ya deberían estar incluidos en el archivo app/build.gradle.kts (verificar).

app/build.grade.kts

implementation(platform("com.google.firebase:firebase-bom:32.0.0"))
implementation("com.google.firebase:firebase-analytics-ktx")

Configurar Firebase Analytics en la aplicación

LikedMoviesViewModel contiene funciones para almacenar las películas que le gustan al usuario. Cada vez que al usuario le gusta una nueva película, también queremos enviar un evento de registro de análisis para registrar ese me gusta.

Agregue la función onMovieLiked con el siguiente código para registrar un evento de análisis cuando el usuario haga clic en Me gusta en una película.

LikedMoviesViewModel.kt

import com.google.firebase.analytics.FirebaseAnalytics
import com.google.firebase.analytics.ktx.analytics
import com.google.firebase.analytics.ktx.logEvent
import com.google.firebase.ktx.Firebase


class LikedMoviesViewModel internal constructor (application: Application) : AndroidViewModel(application) {

    ...

    fun onMovieLiked(movie: Movie) {
        movies.setLike(movie, true)
        logAnalyticsEvent(movie.id.toString())
    }
       
}

Agregue el siguiente campo y función para registrar un evento de Analytics cuando se agregue una película a la lista de Me gusta del usuario.

LikedMoviesViewModel.kt

import com.google.firebase.analytics.FirebaseAnalytics
import com.google.firebase.analytics.ktx.analytics
import com.google.firebase.analytics.ktx.logEvent
import com.google.firebase.ktx.Firebase


class LikedMoviesViewModel internal constructor (application: Application) : AndroidViewModel(application) {
    ...
    private val firebaseAnalytics = Firebase.analytics

    ...

    /**
     * Logs an event in Firebase Analytics that is used in aggregate to train the recommendations
     * model.
     */
    private fun logAnalyticsEvent(id: String) {
        firebaseAnalytics.logEvent(FirebaseAnalytics.Event.SELECT_ITEM) {
            param(FirebaseAnalytics.Param.ITEM_ID, id)
        }
    }

8. Pruebe su integración de Analytics

En este paso, generaremos eventos de Analytics en la aplicación y verificaremos que se envíen a Firebase Console.

Habilitar el registro de depuración de Analytics

Firebase Analytics está diseñado para maximizar la duración de la batería del usuario y agrupará los eventos en el dispositivo y solo los enviará a Firebase ocasionalmente. Con fines de depuración, podemos deshabilitar este comportamiento para ver los eventos a medida que se registran en tiempo real ejecutando el siguiente comando en el shell.

Terminal

adb shell setprop debug.firebase.analytics.app com.google.firebase.codelabs.recommendations

Verifique que se generen eventos de Analytics

  1. En el estudio de Android, abra la ventana de Logcat para examinar el registro desde su aplicación.
  2. Establezca el filtro Logcat en la cadena "Evento de registro".
  3. Verifique que los eventos de Analytics "select_item" se emitan cada vez que le gusta una película en la aplicación.

En este punto, ha integrado con éxito Firebase Analytics en su aplicación. A medida que los usuarios usen su aplicación y les gusten las películas, sus Me gusta se registrarán en conjunto. Usaremos estos datos agregados en el resto de este codelab para entrenar nuestro modelo de recomendaciones. El siguiente es un paso opcional para ver los mismos eventos de Analytics que vio en Logcat también se transmiten a la consola de Firebase. Siéntase libre de pasar a la página siguiente.

Opcional: Confirmar eventos de Analytics en Firebase Console

  1. Ve a la consola de Firebase .
  2. Seleccione DebugView en Analytics
  3. En Android Studio, seleccione Ejecutar para iniciar la aplicación y agregar algunas películas a su lista de Me gusta.
  4. En DebugView de la consola Firebase, verifique que estos eventos se registren a medida que agrega películas en la aplicación.

9. Exportar datos de Analytics a Big Query

Big Query es un producto de Google Cloud que le permite examinar y procesar grandes cantidades de datos. En este paso, conectará su proyecto de Firebase Console a Big Query para que los datos de Analytics generados por su aplicación se exporten automáticamente a Big Query.

Habilitar la exportación de Big Query

  1. Ve a la consola de Firebase .
  2. Seleccione el icono de engranaje de Configuración junto a Descripción general del proyecto y, a continuación, seleccione Configuración del proyecto
  3. Seleccione la pestaña Integraciones .
  4. Seleccione Enlace (o Administrar ) dentro del bloque BigQuery .
  5. Seleccione Siguiente en el paso Acerca de la vinculación de Firebase a BigQuery .
  6. En la sección Configurar integración , haga clic en el interruptor para habilitar el envío de datos de Google Analytics y seleccione Vincular a BigQuery .

Ahora ha habilitado su proyecto de consola de Firebase para enviar automáticamente datos de eventos de Firebase Analytics a Big Query. Esto sucede automáticamente sin más interacción; sin embargo, es posible que la primera exportación que crea el conjunto de datos de análisis en BigQuery no se realice hasta dentro de 24 horas. Una vez que se crea el conjunto de datos, Firebase exporta continuamente nuevos eventos de Analytics a Big Query en la tabla intradiaria y agrupa eventos de días anteriores en la tabla de eventos.

Entrenar un modelo de recomendaciones requiere una gran cantidad de datos. Como aún no tenemos una aplicación que genere grandes cantidades de datos, en el próximo paso importaremos un conjunto de datos de muestra a BigQuery para usarlo en el resto de este instructivo.

10. Usa BigQuery para obtener datos de entrenamiento del modelo

Ahora que hemos conectado nuestra Firebase Console para exportar a BigQuery, los datos de eventos de análisis de nuestra aplicación aparecerán automáticamente en la consola de BigQuery después de un tiempo. Para obtener algunos datos iniciales a los fines de este instructivo, en este paso importaremos un conjunto de datos de muestra existente en su consola de BigQuery para usarlo para entrenar nuestro modelo de recomendaciones.

Importa un conjunto de datos de muestra a BigQuery

  1. Vaya al panel de control de BigQuery en la consola en la nube de Google.
  2. Seleccione el nombre de su proyecto en el menú.
  3. Seleccione el nombre de su proyecto en la parte inferior de la barra de navegación izquierda de BigQuery para ver los detalles.
  4. Seleccione Crear conjunto de datos para abrir el panel de creación de conjuntos de datos.
  5. Ingrese 'firebase_recommendations_dataset' para el ID del conjunto de datos y seleccione Crear conjunto de datos .
  6. El nuevo conjunto de datos aparecerá en el menú de la izquierda debajo del nombre del proyecto. Pinchalo.
  7. Seleccione Crear tabla para abrir el panel de creación de tablas.
  8. Para Crear tabla desde, seleccione 'Google Cloud Storage'.
  9. En el campo Seleccionar archivo del depósito de GCS , ingrese "gs://firebase-recommendations/recommendations-test/formatted_data_filtered.txt".
  10. Seleccione 'JSONL' en el menú desplegable Formato de archivo .
  11. Ingrese 'recommendations_table' para el nombre de la tabla .
  12. Marque la casilla en Esquema > Detección automática > Esquema y parámetros de entrada
  13. Seleccione Crear tabla

Explorar conjunto de datos de muestra

En este punto, tiene la opción de explorar el esquema y obtener una vista previa de este conjunto de datos.

  1. Seleccione firebase-recommendations-dataset en el menú de la izquierda para expandir las tablas que contiene.
  2. Seleccione la tabla de la tabla de recomendaciones para ver el esquema de la tabla.
  3. Seleccione Vista previa para ver los datos reales de eventos de Analytics que contiene esta tabla.

Crear credenciales de cuenta de servicio

Ahora, crearemos credenciales de cuenta de servicio en nuestro proyecto de consola de Google Cloud que podemos usar en el entorno de Colab en el siguiente paso para acceder y cargar nuestros datos de BigQuery.

  1. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.
  2. Habilite las API de BigQuery y BigQuery Storage API. < haga clic aquí >
  3. Vaya a la página Crear clave de cuenta de servicio .
  4. En la lista Cuenta de servicio , seleccione Nueva cuenta de servicio .
  5. En el campo Nombre de la cuenta de servicio , ingrese un nombre.
  6. En la lista Rol , seleccione Proyecto > Propietario .
  7. Haz clic en Crear . Un archivo JSON que contiene su clave se descarga en su computadora.

En el próximo paso, usaremos Google Colab para preprocesar estos datos y entrenar nuestro modelo de recomendaciones.

11. Preprocesar datos y entrenar modelo de recomendaciones

En este paso, usaremos un cuaderno de Colab para realizar los siguientes pasos:

  1. importar los datos de BigQuery al cuaderno de Colab
  2. preprocesar los datos para prepararlos para el entrenamiento del modelo
  3. entrenar el modelo de recomendaciones en los datos analíticos
  4. exportar el modelo como un modelo TF lite
  5. implementar el modelo en Firebase Console para que podamos usarlo en nuestra aplicación

Antes de lanzar el cuaderno de capacitación de Colab, primero habilitaremos la API de administración de modelos de Firebase para que Colab pueda implementar el modelo capacitado en nuestra consola de Firebase.

Habilitar la API de administración de modelos de Firebase

Cree un depósito para almacenar sus modelos ML

En su Firebase Console, vaya a Almacenamiento y haga clic en Comenzar. fbbea78f0eb3dc9f.png

Siga el diálogo para configurar su balde.

19517c0d6d2aa14d.png

Habilitar la API de aprendizaje automático de Firebase

Vaya a la página de la API de Firebase ML en Google Cloud Console y haga clic en Habilitar.

Use el cuaderno de Colab para entrenar e implementar el modelo

Abra el cuaderno de colab usando el siguiente enlace y complete los pasos dentro. Después de completar los pasos en el cuaderno de Colab, tendrá un archivo de modelo TF lite implementado en la consola de Firebase que podemos sincronizar con nuestra aplicación.

Abrir en colaboración

12. Descarga el modelo en tu app

En este paso, modificaremos nuestra aplicación para descargar el modelo que acabamos de entrenar de Firebase Machine Learning.

Agregar dependencia de Firebase ML

Se necesita la siguiente dependencia para usar los modelos de aprendizaje automático de Firebase en su aplicación. Ya debería estar agregado (verificar).

app/build.grade.kts

implementation("com.google.firebase:firebase-ml-modeldownloader:24.1.2")

Descarga el modelo con la API de Firebase Model Manager

Copie el siguiente código en RecommendationClient.kt para configurar las condiciones en las que se produce la descarga del modelo y cree una tarea de descarga para sincronizar el modelo remoto con nuestra aplicación.

RecomendaciónCliente.kt

    private fun downloadModel(modelName: String) {
        val conditions = CustomModelDownloadConditions.Builder()
            .requireWifi()
            .build()
        FirebaseModelDownloader.getInstance()
            .getModel(modelName, DownloadType.LOCAL_MODEL, conditions)
            .addOnCompleteListener {
                if (!it.isSuccessful) {
                    showToast(context, "Failed to get model file.")
                } else {
                    showToast(context, "Downloaded remote model: $modelName")
                    GlobalScope.launch { initializeInterpreter(it.result) }
                }
            }
            .addOnFailureListener {
                showToast(context, "Model download failed for recommendations, please check your connection.")
            }
    }

13. Integre el modelo de recomendación de Tensorflow Lite en su aplicación

El tiempo de ejecución de Tensorflow Lite le permitirá usar su modelo en la aplicación para generar recomendaciones. En el paso anterior inicializamos un intérprete TFlite con el archivo modelo que descargamos. En este paso, primero cargaremos un diccionario y etiquetas para acompañar a nuestro modelo en el paso de inferencia, luego agregaremos preprocesamiento para generar las entradas a nuestro modelo y posprocesamiento donde extraeremos los resultados de nuestra inferencia. .

Cargar diccionario y etiquetas

Las etiquetas utilizadas para generar los candidatos de recomendación por el modelo de recomendaciones se enumeran en el archivo sorted_movie_vocab.json en la carpeta res/assets. Copie el siguiente código para cargar estos candidatos.

RecomendaciónCliente.kt

    /** Load recommendation candidate list.  */
    private suspend fun loadCandidateList() {
        return withContext(Dispatchers.IO) {
            val collection = MovieRepository.getInstance(context).getContent()
            for (item in collection) {
                candidates[item.id] = item
            }
            Log.v(TAG, "Candidate list loaded.")
        }
    }

Implementar preprocesamiento

En el paso de preprocesamiento, cambiamos la forma de los datos de entrada para que coincidan con lo que espera nuestro modelo. Aquí, rellenamos la longitud de entrada con un valor de marcador de posición si aún no hemos generado muchos Me gusta de los usuarios. Copie el código a continuación:

RecomendaciónCliente.kt

    /** Given a list of selected items, preprocess to get tflite input.  */
    @Synchronized
    private suspend fun preprocess(selectedMovies: List<Movie>): IntArray {
        return withContext(Dispatchers.Default) {
            val inputContext = IntArray(config.inputLength)
            for (i in 0 until config.inputLength) {
                if (i < selectedMovies.size) {
                    val (id) = selectedMovies[i]
                    inputContext[i] = id
                } else {
                    // Padding input.
                    inputContext[i] = config.pad
                }
            }
            inputContext
        }
    }


Ejecutar intérprete para generar recomendaciones

Aquí usamos el modelo que descargamos en un paso anterior para ejecutar la inferencia en nuestra entrada preprocesada. Establecemos el tipo de entrada y salida para nuestro modelo y ejecutamos la inferencia para generar nuestras recomendaciones de películas. Copie el siguiente código en su aplicación.

RecomendaciónCliente.kt

    /** Given a list of selected items, and returns the recommendation results.  */
    @Synchronized
    suspend fun recommend(selectedMovies: List<Movie>): List<Result> {
        return withContext(Dispatchers.Default) {
            val inputs = arrayOf<Any>(preprocess(selectedMovies))

            // Run inference.
            val outputIds = IntArray(config.outputLength)
            val confidences = FloatArray(config.outputLength)
            val outputs: MutableMap<Int, Any> = HashMap()
            outputs[config.outputIdsIndex] = outputIds
            outputs[config.outputScoresIndex] = confidences
            tflite?.let {
                it.runForMultipleInputsOutputs(inputs, outputs)
                postprocess(outputIds, confidences, selectedMovies)
            } ?: run {
                Log.e(TAG, "No tflite interpreter loaded")
                emptyList()
            }
        }
    }



Implementar posprocesamiento

Finalmente, en este paso post-procesamos la salida de nuestro modelo, seleccionando los resultados con la mayor confianza y eliminando los valores contenidos (películas que ya le han gustado al usuario). Copie el siguiente código en su aplicación.

RecomendaciónCliente.kt

    /** Postprocess to gets results from tflite inference.  */
    @Synchronized
    private suspend fun postprocess(
        outputIds: IntArray, confidences: FloatArray, selectedMovies: List<Movie>
    ): List<Result> {
        return withContext(Dispatchers.Default) {
            val results = ArrayList<Result>()

            // Add recommendation results. Filter null or contained items.
            for (i in outputIds.indices) {
                if (results.size >= config.topK) {
                    Log.v(TAG, String.format("Selected top K: %d. Ignore the rest.", config.topK))
                    break
                }
                val id = outputIds[i]
                val item = candidates[id]
                if (item == null) {
                    Log.v(TAG, String.format("Inference output[%d]. Id: %s is null", i, id))
                    continue
                }
                if (selectedMovies.contains(item)) {
                    Log.v(TAG, String.format("Inference output[%d]. Id: %s is contained", i, id))
                    continue
                }
                val result = Result(
                    id, item,
                    confidences[i]
                )
                results.add(result)
                Log.v(TAG, String.format("Inference output[%d]. Result: %s", i, result))
            }
            results
        }
    }


¡Prueba tu aplicación!

Vuelva a ejecutar su aplicación. A medida que selecciona algunas películas, debería descargar automáticamente el nuevo modelo y comenzar a generar recomendaciones.

14. ¡Felicidades!

Ha creado una función de recomendaciones en su aplicación con TensorFlow Lite y Firebase. Tenga en cuenta que las técnicas y la canalización que se muestran en este laboratorio de código se pueden generalizar y usar para servir también a otros tipos de recomendaciones.

Lo que hemos cubierto

  • Base de fuego ML
  • Análisis de base de fuego
  • Exportar eventos de análisis a BigQuery
  • Preprocesar eventos de análisis
  • Entrenar recomendaciones modelo TensorFlow
  • Exporte el modelo e implemente en Firebase Console
  • Servir recomendaciones de películas en una aplicación

Próximos pasos

  • Implemente las recomendaciones de Firebase ML en su aplicación.

Aprende más

¿Tengo una pregunta?

Informar problemas