Mengenali Bunga dengan TensorFlow Lite di Android

Mengenali Bunga dengan TensorFlow Lite di Android

Tentang codelab ini

Terakhir diperbarui Apr 7, 2025

Ditulis oleh Hoi Lam (revamping author), Yash Katariya (original author)

1. Pengantar

Catatan: Codelab ini menggunakan library TensorFlow Lite. Sebaiknya semua kode baru harus menggunakan alat library Google AI Edge LiteRT.

Catatan: Codelab ini memerlukan perangkat fisik untuk pengujian

TensorFlow adalah framework machine learning multiguna. TensorFlow dapat digunakan di mana saja, mulai dari melatih model besar di berbagai cluster di cloud, hingga menjalankan model secara lokal di sistem tersemat seperti ponsel Anda.

Codelab ini menggunakan TensorFlow Lite untuk menjalankan model pengenalan gambar di perangkat Android.

Menginstal Android Studio 4.1 atau yang lebih baru

Jika Anda belum menginstalnya, download dan instal Android Studio 4.1 atau yang lebih baru saat Anda melatih model TensorFlow Lite.

Yang akan Anda pelajari

• Cara melatih pengklasifikasi gambar kustom Anda sendiri menggunakan TensorFlow Lite Model Maker.
• Cara menggunakan Android Studio untuk mengimpor model TensorFlow Lite guna mengintegrasikan model kustom di aplikasi Android menggunakan CameraX.
• Cara menggunakan GPU di ponsel untuk mempercepat model Anda.

Yang akan Anda build

Aplikasi kamera sederhana yang menjalankan program pengenalan gambar TensorFlow untuk mengidentifikasi bunga.

Lisensi: Gratis digunakan

2. Melatih pengenal bunga menggunakan Colab

Sebelum memulai pelatihan model, mulai download dan instal Android Studio 4.1 atau yang lebih baru.

Buka Colab yang menunjukkan cara melatih pengklasifikasi dengan Keras untuk mengenali bunga menggunakan pemelajaran transfer TensorFlow Lite.

Pastikan Anda:

1. mendownload model terlatih (model.tflite), dan
2. mengganti nama file FlowerModel.tflite

sebelum melanjutkan.

Beberapa browser akan memblokir download:

Anda mungkin perlu memberikan izin colab untuk mendownload file:

3. Menyiapkan direktori kerja

Meng-clone repositori Git

Perintah berikut akan meng-clone repositori Git yang berisi file yang diperlukan untuk codelab ini:

git clone https://github.com/hoitab/TFLClassify.git

Selanjutnya, buka direktori tempat Anda baru saja meng-clone repositori. Di sinilah Anda akan bekerja untuk sisa codelab ini:

cd TFLClassify

4. Menyiapkan aplikasi kerangka Android

Menginstal Android Studio 4.1 atau yang lebih baru

Jika Anda belum menginstalnya, buka menginstal Android Studio 4.1 atau yang lebih baru.

Membuka project dengan Android Studio

Buka project dengan Android Studio dengan mengikuti langkah-langkah berikut:

1. Buka Android Studio . Setelah dimuat, pilih "Open an Existing project" dari pop-up ini:

2. Dalam pemilih file, pilih TFLClassify/build.gradle dari direktori kerja Anda.

Project ini berisi dua modul, start dan finish. Jika Anda mengalami kesulitan, lihat modul finish untuk mendapatkan petunjuk.

3. Saat pertama kali membuka project, Anda akan mendapatkan pop-up "Gradle Sync" yang menanyakan cara menggunakan wrapper gradle. Klik "OK".

4. Aktifkan mode developer dan Proses Debug USB di ponsel Anda jika belum. Ini adalah penyiapan satu kali. Ikuti petunjuk ini.
5. Setelah project dan ponsel Anda siap, Anda dapat menjalankannya di perangkat sungguhan dengan memilih TFL_Classify.start dan menekan tombol jalankan di toolbar:

6. Sekarang izinkan Demo Tensorflow mengakses kamera Anda:

7. Anda akan melihat layar berikut di ponsel dengan angka acak menggantikan tempat hasil sebenarnya akan ditampilkan.

5. Menambahkan TensorFlow Lite ke aplikasi Android

1. Pilih modul start di project explorer di sebelah kiri:

2. Klik kanan modul start atau klik File, lalu New > Other > TensorFlow Lite Model

3. Pilih lokasi model tempat Anda mendownload FlowerModel.tflite yang dilatih kustom sebelumnya.

Perhatikan bahwa alat ini akan mengonfigurasi dependensi modul untuk Anda dengan binding Model ML dan semua dependensi akan otomatis disisipkan ke dalam file build.gradle modul Android Anda.

4. Klik Finish.
5. Anda akan melihat hal berikut di bagian akhir. FlowerModel.tflite berhasil diimpor dan menampilkan informasi tingkat tinggi terkait model, termasuk input / output serta beberapa contoh kode untuk memulai.

6. Opsional: Memeriksa semua daftar tugas

Daftar TODO memudahkan Anda membuka lokasi persis tempat Anda perlu memperbarui codelab. Anda juga dapat menggunakannya dalam project Android untuk mengingatkan diri Anda tentang pekerjaan mendatang. Anda dapat menambahkan item daftar tugas menggunakan komentar kode dan mengetik kata kunci TODO. Untuk mengakses daftar TODO, Anda dapat:

1. Cara terbaik untuk melihat apa yang akan kita lakukan adalah dengan melihat daftar TODO. Untuk melakukannya, pilih dari panel menu atas View > Tool Windows > TODO

2. Secara default, semua TODO dalam semua modul akan dicantumkan, sehingga sedikit membingungkan. Kita dapat mengurutkan hanya TODO awal dengan mengklik tombol kelompok menurut di sisi panel TODO dan memilih Modules

3. Luaskan semua item di bagian modul awal:

7. Menjalankan model kustom dengan TensorFlow Lite

1. Klik TODO 1 dalam daftar TODO atau buka file MainActivity.kt dan temukan TODO 1, lakukan inisialisasi model dengan menambahkan baris ini:

private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
        ImageAnalysis.Analyzer {

  ...
  // TODO 1: Add class variable TensorFlow Lite Model
  private val flowerModel = FlowerModel.newInstance(ctx)

  ...
}

2. Di dalam metode analisis untuk CameraX Analyzer, kita perlu mengonversi input kamera ImageProxy menjadi Bitmap dan membuat objek TensorImage untuk proses inferensi.

Perhatikan bahwa alat saat ini memerlukan input gambar dalam format Bitmap.

• Artinya, jika input adalah file dan bukan ImageProxy, Anda dapat langsung memasukkannya ke metode fromBitmap sebagai objek Bitmap.
• Jika Anda tertarik dengan cara ImageProxy dikonversi menjadi Bitmap, lihat metode toBitmap dan YuvToRgbConverter. Kami memperkirakan kebutuhan untuk metode ini bersifat sementara karena tim sedang berupaya memberikan dukungan ImageProxy untuk TensorImage.

override fun analyze(imageProxy: ImageProxy) {
  ...
  // TODO 2: Convert Image to Bitmap then to TensorImage
  val tfImage = TensorImage.fromBitmap(toBitmap(imageProxy))
  ...
}

3. Proses gambar dan lakukan operasi berikut pada hasilnya:

• Urutkan hasil menurut probabilitas secara menurun pada atribut score dengan probabilitas tertinggi terlebih dahulu.
• Ambil hasil top-k seperti yang ditentukan oleh konstanta MAX_RESULT_DISPLAY. Anda dapat memvariasikan nilai variabel ini secara opsional untuk mendapatkan lebih banyak atau lebih sedikit hasil.

override fun analyze(imageProxy: ImageProxy) {
  ...
  // TODO 3: Process the image using the trained model, sort and pick out the top results
  val outputs = flowerModel.process(tfImage)
      .probabilityAsCategoryList.apply {
          sortByDescending { it.score } // Sort with highest confidence first
      }.take(MAX_RESULT_DISPLAY) // take the top results

  ...
}

4. Konversikan hasil yang diurutkan dan difilter menjadi objek data Recognition yang siap digunakan oleh RecyclerView melalui Data Binding:

override fun analyze(imageProxy: ImageProxy) {
  ...
  // TODO 4: Converting the top probability items into a list of recognitions
  for (output in outputs) {
      items.add(Recognition(output.label, output.score))
  }
  ...
}

5. Buat baris berikut sebagai komentar atau hapus baris berikut yang membantu menghasilkan hasil palsu yang kita lihat sebelumnya:

// START - Placeholder code at the start of the codelab. Comment this block of code out.
for (i in 0..MAX_RESULT_DISPLAY-1){
    items.add(Recognition("Fake label $i", Random.nextFloat()))
}
// END - Placeholder code at the start of the codelab. Comment this block of code out.

8. Jalankan aplikasi di perangkat sungguhan dengan memilih TFL_Classify.start dan menekan tombol jalankan di toolbar:

9. Anda akan melihat layar berikut di ponsel dengan angka acak yang menggantikan tempat hasil sebenarnya akan ditampilkan:

8. Opsional: Mempercepat inferensi dengan delegasi GPU

TensorFlow Lite mendukung beberapa akselerator hardware untuk mempercepat inferensi di perangkat seluler Anda. GPU adalah salah satu akselerator yang dapat dimanfaatkan TensorFlow Lite melalui mekanisme delegasi dan cukup mudah digunakan.

1. Buka build.gradle di bagian modul start atau Anda dapat mengklik TODO 5 di bagian daftar TODO dan menambahkan dependensi berikut:

// TODO 5: Optional GPU Delegates    
implementation 'org.tensorflow:tensorflow-lite-gpu:2.3.0'

Catatan: kita menambahkan impor ini secara manual dalam codelab ini, tetapi saat melakukannya dalam project, Anda cukup mencentang kotak kedua di layar impor untuk menambahkan dependensi akselerasi GPU:

2. Kembali ke file MainActivity.kt atau klik TODO 6 di daftar TODO. Ganti inisialisasi sederhana flowerModel dengan hal berikut: Dapatkan instance daftar kompatibilitas GPU dan lakukan inisialisasi GPU bergantung pada apakah GPU tersebut merupakan salah satu GPU yang kompatibel yang tercantum. Jika tidak, mulai 4 thread CPU untuk menjalankan model:

private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
        ImageAnalysis.Analyzer {
  ...

  // TODO 1: Add class variable TensorFlow Lite Model
  // Initializing the flowerModel by lazy so that it runs in the same thread when the process
  // method is called.
  private val flowerModel: FlowerModel by lazy{

    // TODO 6. Optional GPU acceleration
    val compatList = CompatibilityList()

    val options = if(compatList.isDelegateSupportedOnThisDevice){
        Log.d(TAG, "This device is GPU Compatible ")
        Model.Options.Builder().setDevice(Model.Device.GPU).build()
    } else {
        Log.d(TAG, "This device is GPU Incompatible ")
        Model.Options.Builder().setNumThreads(4).build()
    }

  ...
}

Catatan: ada beberapa objek Model, pilih objek org.tensorflow.lite.support.model.Model dalam impor Anda

3. Ubah penginisialisasi model untuk menggunakannya dengan menambahkan options ke input metode:

private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
        ImageAnalysis.Analyzer {

  private val flowerModel: FlowerModel by lazy{

    ...

    // Initialize the Flower Model
    FlowerModel.newInstance(ctx, options)
  }
}

10. Jalankan aplikasi di perangkat sungguhan dengan memilih TFL_Classify.start dan menekan tombol jalankan di toolbar:

Di perangkat seluler kelas menengah/atas, GPU jauh lebih cepat daripada CPU. Perangkat kelas bawah cenderung memiliki GPU yang lebih lambat, sehingga percepatan yang Anda lihat akan bervariasi.

9. Apa Selanjutnya?

Berikut beberapa link untuk informasi selengkapnya:

• Coba model TFLite lain yang kompatibel dengan binding Model ML dari tfhub.dev.
• Pelajari TFLite lebih lanjut dari dokumen di tensorflow.org dan repo kode.
• Coba beberapa model terlatih TFLite lainnya, termasuk detektor kata kunci ucapan dan smart reply versi di perangkat.
• Pelajari TensorFlow lebih lanjut secara umum dengan dokumen memulai kami.