Tambahkan Klasifikasi Teks di perangkat ke aplikasi Anda dengan TensorFlow Lite dan Firebase - Android Codelab

1. Ringkasan

hasil klasifikasi-teks.png

Selamat datang di Klasifikasi Teks dengan TensorFlow Lite dan codelab Firebase. Dalam codelab ini, Anda akan mempelajari cara menggunakan TensorFlow Lite dan Firebase untuk melatih dan men-deploy model klasifikasi teks ke aplikasi Anda. Codelab ini didasarkan pada contoh TensorFlow Lite ini.

Klasifikasi teks adalah proses penetapan tag atau kategori ke teks sesuai dengan kontennya. Ini adalah salah satu tugas mendasar dalam Natural Language Processing (NLP) dengan aplikasi yang luas, seperti analisis sentimen, pelabelan topik, deteksi spam, dan deteksi intent.

Analisis sentimen adalah interpretasi dan klasifikasi emosi (positif, negatif, dan netral) dalam data teks menggunakan teknik analisis teks. Analisis sentimen memungkinkan bisnis mengidentifikasi sentimen pelanggan terhadap produk, merek, atau layanan dalam percakapan dan masukan online.

Tutorial ini menunjukkan cara membangun model machine learning untuk analisis sentimen, khususnya mengklasifikasikan teks sebagai positif atau negatif. Ini adalah contoh klasifikasi biner—atau dua kelas—, suatu jenis masalah machine learning yang penting dan dapat diterapkan secara luas.

Yang akan Anda pelajari

  • Latih model analisis sentimen TF Lite dengan TF Lite Model Maker
  • Men-deploy model TF Lite ke Firebase ML dan mengaksesnya dari aplikasi Anda
  • Mengintegrasikan model analisis sentimen TF Lite ke aplikasi Anda menggunakan TF Lite Task Library

Yang Anda butuhkan

  • Versi Android Studio terbaru.
  • Kode contoh.
  • Perangkat pengujian dengan Android 5.0+ dan layanan Google Play 9.8 atau yang lebih baru, atau Emulator dengan layanan Google Play 9.8 atau yang lebih baru
  • Jika menggunakan perangkat, gunakan kabel koneksi.

Bagaimana Anda akan menggunakan tutorial ini?

Hanya membacanya Membacanya dan menyelesaikan latihan

Bagaimana penilaian Anda terhadap pengalaman membuat aplikasi Android?

Pemula Menengah Mahir

2. Mendapatkan kode contoh

Buat clone repositori GitHub dari command line.

$ git clone https://github.com/FirebaseExtended/codelab-textclassification-android.git

Jika belum menginstal git, Anda juga dapat mendownload project contoh dari halaman GitHub-nya atau dengan mengklik link ini.

3. Mengimpor aplikasi awal

Dari Android Studio, pilih direktori codelab-textclassification-android-master ( folder_android_studio_.png) dari download kode contoh (File > Open > .../codelab-textclassification-android-master/start).

Sekarang Anda seharusnya sudah membuka project awal di Android Studio.

4. Menjalankan aplikasi awal

Setelah mengimpor project ke Android Studio, Anda siap menjalankan aplikasi untuk pertama kalinya. Hubungkan perangkat Android, lalu klik Run ( eksekusi.png) di toolbar Android Studio.

Aplikasi akan diluncurkan di perangkat Anda. Aplikasi ini hanya berisi UI sederhana yang memudahkan pengintegrasian dan pengujian model klasifikasi teks pada langkah berikutnya. Pada tahap ini, jika Anda mencoba memprediksi sentimen, aplikasi hanya akan menampilkan beberapa hasil tiruan.

2fb4e69fafb2e3ed.pngS

5. Buat project Firebase console

Menambahkan Firebase ke project

  1. Buka Firebase console.
  2. Pilih Tambahkan project.
  3. Pilih atau masukkan Nama project.
  4. Ikuti langkah-langkah penyiapan yang tersisa di Firebase console, lalu klik Buat project (atau Tambahkan Firebase, jika Anda menggunakan project Google yang sudah ada).

6. Menambahkan Firebase ke aplikasi

  1. Dari layar ringkasan project baru Anda, klik ikon Android untuk meluncurkan alur kerja penyiapan.
  2. Masukkan nama paket codelab: org.tensorflow.lite.codelabs.textclassification

Menambahkan file google-services.json ke aplikasi Anda

Setelah menambahkan nama paket dan memilih Register**, klik Download google-services.json** untuk mendapatkan file konfigurasi Android Firebase, lalu salin file google-services.json ke direktori *app* di project Anda.

Menambahkan plugin google-services ke aplikasi

Ikuti petunjuk di Firebase Console yang memperbarui file build.gradle.kts untuk menambahkan Firebase ke aplikasi Anda.

Plugin google-services menggunakan file google-services.json untuk mengonfigurasi aplikasi Anda agar menggunakan Firebase.

Menyinkronkan project dengan file gradle

Untuk memastikan bahwa semua dependensi tersedia untuk aplikasi, Anda harus menyinkronkan project dengan file gradle pada tahap ini. Pilih File > Sync Project with Gradle Files dari toolbar Android Studio.

7. Menjalankan aplikasi dengan Firebase

Setelah mengonfigurasi plugin google-services dengan file JSON, Anda siap menjalankan aplikasi dengan Firebase. Hubungkan perangkat Android, lalu klik Run ( eksekusi.png) di toolbar Android Studio.

Aplikasi akan diluncurkan di perangkat Anda. Pada tahap ini, aplikasi Anda seharusnya masih berhasil dibuat.

8. Melatih model analisis sentimen

Kita akan menggunakan TensorFlow Lite Model Maker untuk melatih model klasifikasi teks guna memprediksi sentimen teks tertentu.

Langkah ini ditampilkan sebagai notebook Python yang dapat Anda buka di Google Colab. Anda dapat memilih Runtime > Run all untuk menjalankan semua notebook sekaligus.

Buka di Colab

Setelah menyelesaikan langkah ini, Anda akan memiliki model analisis sentimen TensorFlow Lite yang siap untuk di-deploy ke aplikasi seluler.

9. Men-deploy model ke Firebase ML

Men-deploy model ke Firebase ML berguna untuk dua alasan utama:

  1. Kita dapat membuat ukuran penginstalan aplikasi tetap kecil dan hanya mendownload model jika diperlukan
  2. Model dapat diupdate secara berkala dan dengan siklus rilis yang berbeda dari seluruh aplikasi

Model tersebut dapat di-deploy melalui konsol, atau secara terprogram, menggunakan Firebase Admin SDK. Pada langkah ini, kita akan men-deploy melalui konsol.

Pertama, buka Firebase Console, lalu klik Machine Learning di panel navigasi sebelah kiri. Klik 'Mulai' jika Anda membuka akun ini untuk pertama kalinya. Lalu arahkan ke "Custom" dan klik tombol "Add model".

Saat diminta, beri nama model sentiment_analysis dan upload file yang Anda download dari Colab pada langkah sebelumnya.

3c3c50e6ef12b3b.png

10. Download model dari Firebase ML

Memilih kapan untuk mendownload model jarak jauh dari Firebase ke aplikasi Anda bisa jadi sulit karena model TFLite dapat tumbuh relatif besar. Idealnya, kita ingin menghindari pemuatan model segera saat aplikasi diluncurkan, karena jika model kita digunakan hanya untuk satu fitur dan pengguna tidak pernah menggunakan fitur tersebut, kita akan mendownload data dalam jumlah besar tanpa alasan. Kita juga dapat menyetel opsi download seperti hanya mengambil model saat terhubung ke Wi-Fi. Jika ingin memastikan bahwa model tersedia meskipun tanpa koneksi jaringan, Anda juga harus memaketkannya tanpa aplikasi sebagai cadangan.

Agar lebih mudah, kita akan menghapus model paket default dan selalu mendownload model dari Firebase saat aplikasi dimulai untuk pertama kalinya. Dengan cara ini saat menjalankan analisis sentimen, Anda bisa yakin bahwa inferensi berjalan dengan model yang disediakan dari Firebase.

Di file app/build.gradle.kts, tambahkan dependensi Firebase Machine Learning.

app/build.gradle.kts

Temukan komentar ini:

// TODO 1: Add Firebase ML dependency

Kemudian tambahkan:

implementation(platform("com.google.firebase:firebase-bom:32.0.0"))
implementation("com.google.firebase:firebase-ml-modeldownloader:24.1.2")

Saat diminta oleh Android Studio untuk menyinkronkan project Anda, pilih Sync Now.

Kemudian, tambahkan beberapa kode untuk mendownload model dari Firebase.

MainActivity.java

Temukan komentar ini:

// TODO 2: Implement a method to download TFLite model from Firebase

Kemudian tambahkan:

  /** Download model from Firebase ML. */
  private synchronized void downloadModel(String modelName) {
      CustomModelDownloadConditions conditions = new CustomModelDownloadConditions.Builder()
            .requireWifi()
            .build();
      FirebaseModelDownloader.getInstance()
              .getModel("sentiment_analysis", DownloadType.LOCAL_MODEL, conditions)
              .addOnSuccessListener(model -> {
                  try {
                      // TODO 6: Initialize a TextClassifier with the downloaded model

                      predictButton.setEnabled(true);
                  } catch (IOException e) {
                      Log.e(TAG, "Failed to initialize the model. ", e);
                      Toast.makeText(
                              MainActivity.this,
                              "Model initialization failed.",
                              Toast.LENGTH_LONG)
                              .show();
                      predictButton.setEnabled(false);
                  }
              })
              .addOnFailureListener(e -> {
                      Log.e(TAG, "Failed to download the model. ", e);
                      Toast.makeText(
                              MainActivity.this,
                              "Model download failed, please check your connection.",
                              Toast.LENGTH_LONG)
                              .show();

                      }
              );

}

Selanjutnya, panggil metode downloadModel dalam metode onCreate aktivitas.

MainActivity.java

Temukan komentar ini:

// TODO 3: Call the method to download TFLite model

Kemudian tambahkan:

downloadModel("sentiment_analysis");

11. Mengintegrasikan model di aplikasi

Library Tugas Tensorflow Lite membantu Anda mengintegrasikan model TensorFlow Lite ke dalam aplikasi hanya dengan beberapa baris kode. Kita akan menginisialisasi instance NLClassifier menggunakan model TensorFlow Lite yang didownload dari Firebase. Kemudian, kita akan menggunakannya untuk mengklasifikasikan input teks dari pengguna aplikasi dan menampilkan hasilnya di UI.

Menambahkan dependensi

Buka file Gradle aplikasi dan tambahkan Library Tugas TensorFlow Lite (Text) ke dependensi aplikasi.

app/build.gradle

Temukan komentar ini:

// TODO 4: Add TFLite Task API (Text) dependency

Kemudian tambahkan:

implementation("org.tensorflow:tensorflow-lite-task-text:0.3.0")

Saat diminta oleh Android Studio untuk menyinkronkan project Anda, pilih Sync Now.

Melakukan inisialisasi pengklasifikasi teks

Kemudian kita akan memuat model analisis sentimen yang didownload dari Firebase menggunakan NLClassifier Task Library.

MainActivity.java

Mari kita deklarasikan variabel instance NLClassifier. Temukan komentar ini:

// TODO 5: Define a NLClassifier variable

Kemudian tambahkan:

private NLClassifier textClassifier;

Lakukan inisialisasi variabel textClassifier dengan model analisis sentimen yang didownload dari Firebase. Temukan komentar ini:

// TODO 6: Initialize a TextClassifier with the downloaded model

Kemudian tambahkan:

textClassifier = NLClassifier.createFromFile(model.getFile());

Mengklasifikasi teks

Setelah instance textClassifier disiapkan, Anda dapat menjalankan analisis sentimen dengan satu panggilan metode.

MainActivity.java

Temukan komentar ini:

// TODO 7: Run sentiment analysis on the input text

Kemudian tambahkan:

List<Category> results = textClassifier.classify(text);

Mengimplementasikan pascapemrosesan

Terakhir, kita akan mengonversi output model menjadi teks deskriptif untuk ditampilkan di layar.

MainActivity.java

Temukan komentar ini:

// TODO 8: Convert the result to a human-readable text

Hapus kode yang menghasilkan teks hasil contoh:

String textToShow = "Dummy classification result.\n";

Kemudian tambahkan:

String textToShow = "Input: " + text + "\nOutput:\n";
for (int i = 0; i < results.size(); i++) {
  Category result = results.get(i);
  textToShow += String.format("    %s: %s\n", result.getLabel(),
                              result.getScore());
}
textToShow += "---------\n";

12. Menjalankan aplikasi akhir

Anda telah mengintegrasikan model analisis sentimen ke aplikasi. Jadi, mari kita uji. Hubungkan perangkat Android, lalu klik Run ( eksekusi.png) di toolbar Android Studio.

Aplikasi harus dapat memprediksi sentimen ulasan film yang Anda masukkan dengan benar.

img/text-classification-result.png

13. Tingkatkan kualitas aplikasi dengan lebih banyak fitur Firebase

Selain menghosting model TFLite, Firebase menyediakan beberapa fitur lain untuk mendukung kasus penggunaan machine learning Anda:

  • Firebase Performance Monitoring untuk mengukur kecepatan inferensi model yang berjalan di perangkat pengguna.
  • Firebase Analytics untuk mengukur seberapa baik performa model Anda dalam produksi dengan mengukur reaksi pengguna.
  • Firebase A/B Testing untuk menguji beberapa versi model Anda
  • Apakah Anda ingat sebelumnya kami telah melatih dua versi model TFLite? Pengujian A/B adalah cara yang baik untuk mengetahui versi mana yang berperforma lebih baik dalam produksi.

Untuk mempelajari lebih lanjut cara memanfaatkan fitur ini di aplikasi Anda, lihat codelab di bawah:

14. Selamat!

Dalam codelab ini, Anda telah mempelajari cara melatih model TFLite analisis sentimen dan men-deploy-nya ke aplikasi seluler menggunakan Firebase. Untuk mempelajari TFLite dan Firebase lebih lanjut, lihat contoh TFLite lainnya dan panduan memulai Firebase.

Yang telah kita bahas

  • TensorFlow Lite
  • Firebase ML

Langkah Berikutnya

  • Ukur kecepatan inferensi model Anda dengan Firebase Performance Monitoring.
  • Deploy model dari Colab langsung ke Firebase melalui Firebase ML Model Management API.
  • Tambahkan mekanisme yang memungkinkan pengguna untuk memberikan masukan tentang hasil prediksi, dan gunakan Firebase Analytics untuk melacak masukan pengguna.
  • Lakukan pengujian A/B untuk model Average Word Vector dan model MobileBERT dengan Firebase A/B Testing.

Pelajari Lebih Lanjut

Ada Pertanyaan?

Melaporkan Masalah