Reconoce flores con TensorFlow Lite en Android

1. Introducción

Nota: En este codelab, se usa la biblioteca de TensorFlow Lite. Se recomienda que todo el código nuevo use las herramientas de la biblioteca de Google AI Edge LiteRT.

Nota: Este codelab requiere un dispositivo físico para realizar las pruebas.

TensorFlow es un framework multipropósito de aprendizaje automático. TensorFlow se puede usar en cualquier lugar, ya sea para entrenar modelos grandes en clústeres en la nube, o ejecutar modelos de forma local en un sistema incorporado como tu teléfono.

En este codelab, se usa TensorFlow Lite para ejecutar un modelo de reconocimiento de imágenes en un dispositivo Android.

Instala Android Studio 4.1 o una versión posterior

Si aún no lo tienes instalado, descarga e instala Android Studio 4.1 o una versión posterior mientras entrenas tu modelo de TensorFlow Lite.

Qué aprenderás

• Cómo entrenar tu propio clasificador de imágenes personalizado con TensorFlow Lite Model Maker
• Cómo usar Android Studio para importar el modelo de TensorFlow Lite y, así, integrar el modelo personalizado en una app para Android con CameraX
• Cómo usar la GPU en tu teléfono para acelerar tu modelo

Qué compilarás

Una app de cámara simple que ejecuta un programa de reconocimiento de imágenes de TensorFlow para identificar flores.

Licencia: Uso gratuito

2. Entrena un reconocedor de flores con Colab

Antes de comenzar el entrenamiento del modelo, descarga e instala Android Studio 4.1 o una versión posterior.

Abre Colab, que muestra cómo entrenar un clasificador con Keras para reconocer flores usando el aprendizaje por transferencia de TensorFlow Lite.

Asegúrese de lo siguiente:

1. Descargaste el modelo entrenado (model.tflite).
2. Se cambió el nombre del archivo FlowerModel.tflite.

antes de continuar.

Algunos navegadores bloquearán las descargas:

Es posible que debas otorgarle permiso a Colab para descargar los archivos:

3. Configura el directorio de trabajo

Clona el repositorio de Git

El siguiente comando clonará el repositorio de Git que contiene los archivos necesarios para este codelab:

git clone https://github.com/hoitab/TFLClassify.git

Luego, ve al directorio en el que acabas de clonar el repositorio. Aquí es donde trabajarás durante el resto de este codelab:

cd TFLClassify

4. Configura la app esqueleto para Android

Instala Android Studio 4.1 o una versión posterior

Si aún no lo tienes instalado, instala Android Studio 4.1 o una versión posterior.

Abre el proyecto con Android Studio

Para abrir un proyecto con Android Studio, sigue estos pasos:

1. Abre Android Studio . Después de que se cargue, selecciona “Abrir un proyecto existente” en esta ventana emergente:

2. En el selector de archivos, elige TFLClassify/build.gradle en tu directorio de trabajo.

El proyecto contiene dos módulos, start y finish. Si no sabes cómo hacerlo, consulta el módulo finish para obtener una pista.

3. La primera vez que abras el proyecto, aparecerá una ventana emergente de “Gradle Sync” en la que se pregunta si deseas usar el wrapper de Gradle. Haz clic en "Aceptar".

4. Si aún no lo hiciste, habilita el modelo para desarrolladores y la depuración por USB en tu teléfono. Esta es una configuración que se realiza una sola vez. Sigue estas instrucciones.
5. Una vez que tu proyecto y tu teléfono estén listos, puedes ejecutarlo en un dispositivo real. Para ello, selecciona TFL_Classify.start y presiona el botón de ejecución en la barra de herramientas:

6. Ahora, permite que la demostración de TensorFlow acceda a tu cámara:

7. Verás la siguiente pantalla en tu teléfono con números aleatorios en lugar de los resultados reales.

5. Agrega TensorFlow Lite a la app para Android

1. Selecciona el módulo start en el explorador de proyectos del lado izquierdo:

2. Haz clic con el botón derecho en el módulo start o haz clic en File y, luego, en New > Other > TensorFlow Lite Model.

3. Selecciona la ubicación del modelo en la que descargaste el FlowerModel.tflite entrenado de forma personalizada anteriormente.

Ten en cuenta que las herramientas configurarán la dependencia del módulo en tu nombre con la vinculación de modelos de AA y todas las dependencias insertadas automáticamente en el archivo build.gradle de tu módulo de Android.

4. Haz clic en Finish.
5. Al final, verás lo siguiente: El archivo FlowerModel.tflite se importó correctamente y muestra la información de alto nivel sobre el modelo, incluida la entrada y la salida, así como un código de muestra para que comiences.

6. Opcional: Consultar toda la lista de tareas pendientes

La lista de tareas pendientes facilita la navegación a la ubicación exacta en la que debes actualizar el codelab. También puedes usarlo en tu proyecto para Android para recordar el trabajo futuro. Puedes agregar elementos de tareas pendientes con comentarios de código y escribir la palabra clave TODO. Para acceder a la lista de tareas pendientes, puedes hacer lo siguiente:

1. Una excelente manera de ver lo que vamos a hacer es consultar la lista de tareas pendientes. Para ello, selecciona en la barra de menú superior View > Tool Windows > TODO.

2. De forma predeterminada, se enumeran todas las tareas pendientes en todos los módulos, lo que puede resultar un poco confuso. Podemos ordenar solo las tareas pendientes de inicio haciendo clic en el botón de agrupar en el lateral del panel de tareas pendientes y elegir Modules.

3. Expande todos los elementos de los módulos de inicio:

7. Ejecuta el modelo personalizado con TensorFlow Lite

1. Haz clic en TODO 1 en la lista de TODO o abre el archivo MainActivity.kt y busca TODO 1. Inicializa el modelo agregando esta línea:

private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
        ImageAnalysis.Analyzer {

  ...
  // TODO 1: Add class variable TensorFlow Lite Model
  private val flowerModel = FlowerModel.newInstance(ctx)

  ...
}

2. Dentro del método de análisis para CameraX Analyzer, debemos convertir la entrada de cámara ImageProxy en un Bitmap y crear un objeto TensorImage para el proceso de inferencia.

Ten en cuenta que las herramientas actuales requieren que la entrada de imagen esté en formato Bitmap.

• Esto significa que, si la entrada es un archivo en lugar de ImageProxy, puedes incorporarlo directamente al método fromBitmap como un objeto Bitmap.
• Si te interesa saber cómo se convierte ImageProxy en Bitmap, consulta el método toBitmap y el YuvToRgbConverter. Esperamos que las necesidades de estos métodos sean temporales, ya que el equipo está trabajando para brindar compatibilidad con ImageProxy para TensorImage.

override fun analyze(imageProxy: ImageProxy) {
  ...
  // TODO 2: Convert Image to Bitmap then to TensorImage
  val tfImage = TensorImage.fromBitmap(toBitmap(imageProxy))
  ...
}

3. Procesa la imagen y realiza las siguientes operaciones en el resultado:

• Ordena los resultados de forma descendente según la probabilidad del atributo score, de mayor a menor.
• Toma los primeros k resultados según se define en la constante MAX_RESULT_DISPLAY. De manera opcional, puedes variar el valor de esta variable para obtener más o menos resultados.

override fun analyze(imageProxy: ImageProxy) {
  ...
  // TODO 3: Process the image using the trained model, sort and pick out the top results
  val outputs = flowerModel.process(tfImage)
      .probabilityAsCategoryList.apply {
          sortByDescending { it.score } // Sort with highest confidence first
      }.take(MAX_RESULT_DISPLAY) // take the top results

  ...
}

4. Convierte los resultados ordenados y filtrados en objetos de datos Recognition listos para que RecyclerView los consuma a través de la vinculación de datos:

override fun analyze(imageProxy: ImageProxy) {
  ...
  // TODO 4: Converting the top probability items into a list of recognitions
  for (output in outputs) {
      items.add(Recognition(output.label, output.score))
  }
  ...
}

5. Comenta o borra las siguientes líneas que ayudan a generar los resultados falsos que vimos antes:

// START - Placeholder code at the start of the codelab. Comment this block of code out.
for (i in 0..MAX_RESULT_DISPLAY-1){
    items.add(Recognition("Fake label $i", Random.nextFloat()))
}
// END - Placeholder code at the start of the codelab. Comment this block of code out.

8. Para ejecutar la app en un dispositivo real, selecciona TFL_Classify.start y presiona el botón de ejecución en la barra de herramientas:

9. Verás la siguiente pantalla en tu teléfono con números aleatorios en lugar de los resultados reales:

8. Opcional: Acelera la inferencia con el delegado de GPU

TensorFlow Lite admite varios aceleradores de hardware para acelerar la inferencia en tu dispositivo móvil. La GPU es uno de los aceleradores que TensorFlow Lite puede aprovechar a través de un mecanismo de delegación, y es bastante fácil de usar.

1. Abre build.gradle en el módulo start o haz clic en TODO 5 en la lista de tareas pendientes y agrega la siguiente dependencia:

// TODO 5: Optional GPU Delegates    
implementation 'org.tensorflow:tensorflow-lite-gpu:2.3.0'

Nota: Agregamos esta importación de forma manual en este codelab, pero cuando lo hagas en tu proyecto, puedes marcar la segunda casilla en la pantalla de importación para agregar la dependencia de aceleración por GPU:

2. Vuelve al archivo MainActivity.kt o haz clic en TODO 6 en la lista de TODO. Reemplaza la iniciación simple de flowerModel por lo siguiente: Obtén una instancia de la lista de compatibilidad de la GPU y, luego, inicializa la GPU según si es una de las GPU compatibles que se enumeran. De lo contrario, inicia 4 subprocesos de CPU para ejecutar el modelo:

private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
        ImageAnalysis.Analyzer {
  ...

  // TODO 1: Add class variable TensorFlow Lite Model
  // Initializing the flowerModel by lazy so that it runs in the same thread when the process
  // method is called.
  private val flowerModel: FlowerModel by lazy{

    // TODO 6. Optional GPU acceleration
    val compatList = CompatibilityList()

    val options = if(compatList.isDelegateSupportedOnThisDevice){
        Log.d(TAG, "This device is GPU Compatible ")
        Model.Options.Builder().setDevice(Model.Device.GPU).build()
    } else {
        Log.d(TAG, "This device is GPU Incompatible ")
        Model.Options.Builder().setNumThreads(4).build()
    }

  ...
}

Nota: Hay varios objetos Model. Elige el objeto org.tensorflow.lite.support.model.Model en tu importación.

3. Cambia el inicializador del modelo para que use esto agregando options a la entrada del método:

private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
        ImageAnalysis.Analyzer {

  private val flowerModel: FlowerModel by lazy{

    ...

    // Initialize the Flower Model
    FlowerModel.newInstance(ctx, options)
  }
}

10. Para ejecutar la app en un dispositivo real, selecciona TFL_Classify.start y presiona el botón de ejecución en la barra de herramientas:

En un dispositivo móvil de gama media o alta, la GPU es mucho más rápida que la CPU. Los dispositivos de gama baja suelen tener GPU más lentas, por lo que la aceleración que veas variará.

9. Próximos pasos

Estos son algunos vínculos para obtener más información:

• Prueba otros modelos de TFLite compatibles con la vinculación de modelos de AA desde tfhub.dev.
• Obtén más información sobre TFLite en los documentos de tensorflow.org y el repositorio de códigos.
• Prueba otros modelos previamente entrenados de TFLite, como un detector de palabras clave por voz y una versión de respuesta inteligente en el dispositivo.
• Obtén más información sobre TensorFlow en general con nuestros documentos de introducción.