Mengenali Bunga dengan TensorFlow Lite di Android

1. Pengantar

Catatan: Codelab ini menggunakan library TensorFlow Lite. Sebaiknya semua kode baru menggunakan alat library Google AI Edge LiteRT.

Catatan: Codelab ini memerlukan perangkat fisik untuk pengujian

TensorFlow adalah framework machine learning multiguna. TensorFlow dapat digunakan di mana saja, mulai dari melatih model besar di berbagai cluster di cloud, hingga menjalankan model secara lokal di sistem tersemat seperti ponsel Anda.

Codelab ini menggunakan TensorFlow Lite untuk menjalankan model pengenalan gambar di perangkat Android.

Instal Android Studio 4.1 atau yang lebih baru

Jika Anda belum menginstalnya, download dan instal Android Studio 4.1 atau yang lebih baru saat Anda melatih model TensorFlow Lite.

Yang akan Anda pelajari

• Cara melatih pengklasifikasi gambar kustom Anda sendiri menggunakan TensorFlow Lite Model Maker.
• Cara menggunakan Android Studio untuk mengimpor model TensorFlow Lite guna mengintegrasikan model kustom di aplikasi Android menggunakan CameraX.
• Cara menggunakan GPU di ponsel untuk mempercepat model Anda.

Yang akan Anda bangun

Aplikasi kamera sederhana yang menjalankan program pengenalan gambar TensorFlow untuk mengidentifikasi bunga.

Lisensi: Gratis digunakan

2. Melatih pengenal bunga menggunakan Colab

Sebelum memulai pelatihan model, mulai download dan instal Android Studio 4.1 atau yang lebih baru.

Buka Colab yang menunjukkan cara melatih pengklasifikasi dengan Keras untuk mengenali bunga menggunakan pemelajaran transfer TensorFlow Lite.

Pastikan Anda:

1. mendownload model terlatih (model.tflite), dan
2. mengganti nama file FlowerModel.tflite

sebelum melanjutkan.

Beberapa browser akan memblokir download:

Anda mungkin perlu memberikan izin kepada colab untuk mendownload file:

3. Menyiapkan direktori kerja

Meng-clone repositori Git

Perintah berikut akan meng-clone repositori Git yang berisi file yang diperlukan untuk codelab ini:

git clone https://github.com/hoitab/TFLClassify.git

Selanjutnya, buka direktori tempat Anda baru saja meng-clone repositori. Di sinilah Anda akan mengerjakan langkah-langkah selanjutnya dalam codelab ini:

cd TFLClassify

4. Menyiapkan aplikasi kerangka Android

Instal Android Studio 4.1 atau yang lebih baru

Jika Anda belum menginstalnya, instal Android Studio 4.1 atau yang lebih baru.

Membuka project dengan Android Studio

Buka project dengan Android Studio dengan mengikuti langkah-langkah berikut:

1. Buka Android Studio . Setelah dimuat, pilih "Open an Existing project" dari pop-up ini:

2. Dalam pemilih file, pilih TFLClassify/build.gradle dari direktori kerja Anda.

Project ini berisi dua modul, start dan finish. Jika Anda mengalami kesulitan, lihat modul finish untuk mendapatkan petunjuk.

3. Anda akan mendapatkan pop-up "Gradle Sync" saat pertama kali membuka project, yang menanyakan cara menggunakan wrapper gradle. Klik "OK".

4. Aktifkan model developer dan Proses Debug USB di ponsel Anda jika Anda belum melakukannya. Ini adalah penyiapan satu kali. Ikuti petunjuk berikut.
5. Setelah project dan ponsel Anda siap, Anda dapat menjalankannya di perangkat sungguhan dengan memilih TFL_Classify.start dan menekan tombol jalankan di toolbar:

6. Sekarang izinkan Demo Tensorflow mengakses kamera Anda:

7. Anda akan melihat layar berikut di ponsel dengan angka acak yang menggantikan tempat hasil sebenarnya akan ditampilkan.

5. Menambahkan TensorFlow Lite ke aplikasi Android

1. Pilih modul start di project explorer di sisi kiri:

2. Klik kanan modul start atau klik File, lalu New > Other > TensorFlow Lite Model

3. Pilih lokasi model tempat Anda mendownload FlowerModel.tflite yang dilatih kustom sebelumnya.

Perhatikan bahwa alat ini akan mengonfigurasi dependensi modul atas nama Anda dengan binding Model ML dan semua dependensi yang otomatis dimasukkan ke file build.gradle modul Android Anda.

4. Klik Finish.
5. Anda akan melihat hal berikut di akhir. FlowerModel.tflite berhasil diimpor dan menampilkan informasi tingkat tinggi terkait model, termasuk input / output serta beberapa contoh kode untuk membantu Anda memulai.

6. Opsional: Memeriksa semua daftar tugas

Daftar TODO memudahkan Anda membuka lokasi persis tempat Anda perlu memperbarui codelab. Anda juga dapat menggunakannya di project Android untuk mengingatkan diri sendiri tentang pekerjaan yang akan datang. Anda dapat menambahkan item tugas menggunakan komentar kode dan mengetik kata kunci TODO. Untuk mengakses daftar DAFTAR TUGAS, Anda dapat:

1. Cara terbaik untuk melihat apa yang akan kita lakukan adalah dengan melihat daftar TODO. Untuk melakukannya, pilih dari panel menu atas View > Tool Windows > TODO

2. Secara default, semua TODO di semua modul akan dicantumkan, sehingga sedikit membingungkan. Kita dapat mengurutkan hanya TODO awal dengan mengklik tombol kelompokkan menurut di samping panel TODO dan memilih Modules

3. Luaskan semua item di bagian modul awal:

7. Menjalankan model kustom dengan TensorFlow Lite

1. Klik TODO 1 di daftar TODO atau buka file MainActivity.kt dan temukan TODO 1, lalu inisialisasi model dengan menambahkan baris ini:

private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
        ImageAnalysis.Analyzer {

  ...
  // TODO 1: Add class variable TensorFlow Lite Model
  private val flowerModel = FlowerModel.newInstance(ctx)

  ...
}

2. Di dalam metode analisis untuk CameraX Analyzer, kita perlu mengonversi input kamera ImageProxy menjadi Bitmap dan membuat objek TensorImage untuk proses inferensi.

Perhatikan bahwa alat saat ini memerlukan input gambar dalam format Bitmap.

• Artinya, jika input adalah file dan bukan ImageProxy, Anda dapat langsung memasukkannya ke metode fromBitmap sebagai objek Bitmap.
• Jika Anda tertarik dengan cara ImageProxy dikonversi menjadi Bitmap, lihat metode toBitmap dan YuvToRgbConverter. Kami memperkirakan kebutuhan akan metode ini bersifat sementara karena tim sedang berupaya memberikan dukungan ImageProxy untuk TensorImage.

override fun analyze(imageProxy: ImageProxy) {
  ...
  // TODO 2: Convert Image to Bitmap then to TensorImage
  val tfImage = TensorImage.fromBitmap(toBitmap(imageProxy))
  ...
}

3. Proses gambar dan lakukan operasi berikut pada hasilnya:

• Urutkan hasil secara menurun berdasarkan probabilitas di atribut score dengan probabilitas tertinggi terlebih dahulu.
• Ambil k hasil teratas seperti yang ditentukan oleh konstanta MAX_RESULT_DISPLAY. Anda dapat secara opsional mengubah nilai variabel ini untuk mendapatkan lebih banyak atau lebih sedikit hasil.

override fun analyze(imageProxy: ImageProxy) {
  ...
  // TODO 3: Process the image using the trained model, sort and pick out the top results
  val outputs = flowerModel.process(tfImage)
      .probabilityAsCategoryList.apply {
          sortByDescending { it.score } // Sort with highest confidence first
      }.take(MAX_RESULT_DISPLAY) // take the top results

  ...
}

4. Konversi hasil yang diurutkan dan difilter menjadi objek data Recognition yang siap digunakan oleh RecyclerView melalui Data Binding:

override fun analyze(imageProxy: ImageProxy) {
  ...
  // TODO 4: Converting the top probability items into a list of recognitions
  for (output in outputs) {
      items.add(Recognition(output.label, output.score))
  }
  ...
}

5. Jadikan baris berikut sebagai komentar atau hapus baris tersebut, yang membantu menghasilkan hasil palsu yang kita lihat sebelumnya:

// START - Placeholder code at the start of the codelab. Comment this block of code out.
for (i in 0..MAX_RESULT_DISPLAY-1){
    items.add(Recognition("Fake label $i", Random.nextFloat()))
}
// END - Placeholder code at the start of the codelab. Comment this block of code out.

8. Jalankan aplikasi di perangkat sungguhan dengan memilih TFL_Classify.start dan tekan tombol jalankan di toolbar:

9. Anda akan melihat layar berikut di ponsel dengan angka acak yang menggantikan tempat hasil sebenarnya akan ditampilkan:

8. Opsional: Mempercepat inferensi dengan delegasi GPU

TensorFlow Lite mendukung beberapa akselerator hardware untuk mempercepat inferensi di perangkat seluler Anda. GPU adalah salah satu akselerator yang dapat dimanfaatkan TensorFlow Lite melalui mekanisme delegasi dan cukup mudah digunakan.

1. Buka build.gradle di modul start atau Anda dapat mengklik TODO 5 di bagian daftar TODO dan menambahkan dependensi berikut:

// TODO 5: Optional GPU Delegates    
implementation 'org.tensorflow:tensorflow-lite-gpu:2.3.0'

Catatan: kita menambahkan impor ini secara manual dalam codelab ini, tetapi saat Anda melakukannya di project, Anda cukup mencentang kotak kedua di layar impor untuk menambahkan dependensi akselerasi GPU:

2. Kembali ke file MainActivity.kt atau klik TODO 6 dalam daftar TODO. Ganti inisiasi sederhana flowerModel dengan kode berikut: Dapatkan instance daftar kompatibilitas GPU dan lakukan inisialisasi GPU, bergantung pada apakah GPU tersebut merupakan salah satu GPU kompatibel yang tercantum. Atau, mulai 4 thread CPU untuk menjalankan model:

private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
        ImageAnalysis.Analyzer {
  ...

  // TODO 1: Add class variable TensorFlow Lite Model
  // Initializing the flowerModel by lazy so that it runs in the same thread when the process
  // method is called.
  private val flowerModel: FlowerModel by lazy{

    // TODO 6. Optional GPU acceleration
    val compatList = CompatibilityList()

    val options = if(compatList.isDelegateSupportedOnThisDevice){
        Log.d(TAG, "This device is GPU Compatible ")
        Model.Options.Builder().setDevice(Model.Device.GPU).build()
    } else {
        Log.d(TAG, "This device is GPU Incompatible ")
        Model.Options.Builder().setNumThreads(4).build()
    }

  ...
}

Catatan: ada beberapa objek Model, pilih objek org.tensorflow.lite.support.model.Model dalam impor Anda

3. Ubah penginisialisasi model untuk menggunakannya dengan menambahkan options ke input metode:

private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
        ImageAnalysis.Analyzer {

  private val flowerModel: FlowerModel by lazy{

    ...

    // Initialize the Flower Model
    FlowerModel.newInstance(ctx, options)
  }
}

10. Jalankan aplikasi di perangkat sungguhan dengan memilih TFL_Classify.start dan tekan tombol jalankan di toolbar:

Di perangkat seluler kelas menengah/atas, GPU jauh lebih cepat daripada CPU. Perangkat kelas bawah cenderung memiliki GPU yang lebih lambat, sehingga peningkatan kecepatan yang Anda lihat akan bervariasi.

9. Apa Selanjutnya?

Berikut beberapa link untuk mengetahui informasi selengkapnya:

• Coba model TFLite lain yang kompatibel dengan pengikatan Model ML dari tfhub.dev.
• Pelajari TFLite lebih lanjut dari dokumen di tensorflow.org dan repositori kode.
• Coba beberapa model terlatih TFLite lainnya, termasuk detektor kata kunci ucapan dan versi smart reply di perangkat.
• Pelajari lebih lanjut TensorFlow secara umum dengan dokumen panduan memulai kami.