Tambahkan Klasifikasi Teks di perangkat ke aplikasi Anda dengan TensorFlow Lite dan Firebase - Android Codelab

1. Ikhtisar

hasil-klasifikasi-teks.png

Selamat datang di Klasifikasi Teks dengan codelab TensorFlow Lite dan Firebase. Dalam codelab ini, Anda akan mempelajari cara menggunakan TensorFlow Lite dan Firebase untuk melatih dan men-deploy model klasifikasi teks ke aplikasi Anda. Codelab ini didasarkan pada contoh TensorFlow Lite ini.

Klasifikasi teks adalah proses pemberian tag atau kategori pada teks menurut isinya. Ini adalah salah satu tugas mendasar dalam Natural Language Processing (NLP) dengan aplikasi luas seperti analisis sentimen, pelabelan topik, deteksi spam, dan deteksi niat.

Analisis sentimen adalah interpretasi dan klasifikasi emosi (positif, negatif dan netral) dalam data teks menggunakan teknik analisis teks. Analisis sentimen memungkinkan bisnis mengidentifikasi sentimen pelanggan terhadap produk, merek, atau layanan dalam percakapan dan umpan balik online.

Tutorial ini menunjukkan cara membuat model pembelajaran mesin untuk analisis sentimen, khususnya mengklasifikasikan teks sebagai positif atau negatif. Ini adalah contoh klasifikasi biner—atau dua kelas—yang merupakan jenis masalah pembelajaran mesin yang penting dan dapat diterapkan secara luas.

Apa yang akan Anda pelajari

  • Latih model analisis sentimen TF Lite dengan TF Lite Model Maker
  • Terapkan model TF Lite ke Firebase ML dan akses model tersebut dari aplikasi Anda
  • Integrasikan model analisis sentimen TF Lite ke aplikasi Anda menggunakan TF Lite Task Library

Apa yang Anda perlukan

  • Versi Android Studio terbaru.
  • Kode sampel.
  • Perangkat uji dengan Android 5.0+ dan layanan Google Play 9.8 atau lebih baru, atau Emulator dengan layanan Google Play 9.8 atau lebih baru
  • Jika menggunakan perangkat, kabel koneksi.

Bagaimana Anda akan menggunakan tutorial ini?

Bacalah sampai tuntas saja Bacalah dan selesaikan latihannya

Bagaimana menilai pengalaman Anda dalam membuat aplikasi Android?

Pemula Intermediat Ahli

2. Dapatkan kode contoh

Kloning repositori GitHub dari baris perintah.

$ git clone https://github.com/FirebaseExtended/codelab-textclassification-android.git

Jika Anda belum menginstal git, Anda juga dapat mengunduh proyek sampel dari halaman GitHub atau dengan mengeklik tautan ini .

3. Impor aplikasi pemula

Dari Android Studio, pilih direktori codelab-textclassification-android-master ( android_studio_folder.png ) dari unduhan kode contoh ( File > Open > .../codelab-textclassification-android-master/start).

Anda sekarang seharusnya sudah membuka proyek awal di Android Studio.

4. Jalankan aplikasi starter

Sekarang Anda telah mengimpor proyek ke Android Studio, Anda siap menjalankan aplikasi untuk pertama kalinya. Hubungkan perangkat Android Anda, dan klik Jalankan ( jalankan.png )di bilah alat Android Studio.

Aplikasi ini akan diluncurkan di perangkat Anda. Ini hanya berisi UI sederhana yang memudahkan integrasi dan pengujian model klasifikasi teks di langkah selanjutnya. Pada titik ini, jika Anda mencoba memprediksi sentimen, aplikasi hanya akan memberikan beberapa hasil tiruan.

2fb4e69fafb2e3ed.png

5. Buat proyek konsol Firebase

Tambahkan Firebase ke proyek

  1. Buka konsol Firebase .
  2. Pilih Tambahkan proyek .
  3. Pilih atau masukkan nama Proyek.
  4. Ikuti langkah penyiapan selanjutnya di Firebase console, lalu klik Buat proyek (atau Tambahkan Firebase, jika Anda menggunakan proyek Google yang sudah ada).

6. Tambahkan Firebase ke aplikasi

  1. Dari layar ikhtisar proyek baru Anda, klik ikon Android untuk meluncurkan alur kerja penyiapan.
  2. Masukkan nama paket codelab: org.tensorflow.lite.codelabs.textclassification

Tambahkan file google-services.json ke aplikasi Anda

Setelah menambahkan nama paket dan memilih Daftar**, Klik Unduh google-services.json** untuk mendapatkan file konfigurasi Firebase Android Anda, lalu salin file google-services.json ke direktori * app * di proyek Anda.

Tambahkan plugin layanan Google ke aplikasi Anda

Ikuti petunjuk di Firebase Console untuk memperbarui file build.gradle.kts untuk menambahkan Firebase ke aplikasi Anda.

Plugin google-services menggunakan file google-services.json untuk mengonfigurasi aplikasi Anda agar menggunakan Firebase.

Sinkronkan proyek Anda dengan file gradle

Untuk memastikan bahwa semua dependensi tersedia untuk aplikasi Anda, Anda harus menyinkronkan proyek Anda dengan file gradle pada saat ini. Pilih File > Sinkronkan Proyek dengan File Gradle dari toolbar Android Studio.

7. Jalankan aplikasi dengan Firebase

Sekarang setelah Anda mengonfigurasi plugin google-services dengan file JSON, Anda siap menjalankan aplikasi dengan Firebase. Hubungkan perangkat Android Anda, dan klik Jalankan ( jalankan.png )di bilah alat Android Studio.

Aplikasi ini akan diluncurkan di perangkat Anda. Pada titik ini, aplikasi Anda seharusnya masih berhasil dibuat.

8. Melatih model analisis sentimen

Kami akan menggunakan TensorFlow Lite Model Maker untuk melatih model klasifikasi teks guna memprediksi sentimen teks tertentu.

Langkah ini disajikan sebagai notebook Python yang dapat Anda buka di Google Colab. Anda dapat memilih Runtime > Run all untuk menjalankan semua notebook sekaligus.

Buka di Colab

Setelah menyelesaikan langkah ini, Anda akan memiliki model analisis sentimen TensorFlow Lite yang siap diterapkan ke aplikasi seluler.

9. Terapkan model ke Firebase ML

Men-deploy model ke Firebase ML berguna karena dua alasan utama:

  1. Kami dapat menjaga ukuran pemasangan aplikasi tetap kecil dan hanya mengunduh modelnya jika diperlukan
  2. Model dapat diperbarui secara berkala dan dengan siklus rilis yang berbeda dari keseluruhan aplikasi

Model ini dapat diterapkan melalui konsol, atau secara terprogram, menggunakan Firebase Admin SDK. Pada langkah ini kami akan menerapkan melalui konsol.

Pertama, buka Firebase Console dan klik Machine Learning di panel navigasi kiri. Klik 'Memulai' jika Anda membukanya untuk pertama kali. Kemudian navigasikan ke "Kustom" dan klik tombol "Tambahkan model".

Saat diminta, beri nama model sentiment_analysis dan unggah file yang Anda unduh dari Colab pada langkah sebelumnya.

3c3c50e6ef12b3b.png

10. Unduh model dari Firebase ML

Memilih waktu untuk mendownload model jarak jauh dari Firebase ke aplikasi Anda bisa jadi rumit karena model TFLite dapat berkembang secara relatif besar. Idealnya kita tidak ingin memuat model secara langsung saat aplikasi diluncurkan, karena jika model kita hanya digunakan untuk satu fitur dan pengguna tidak pernah menggunakan fitur tersebut, kita akan mengunduh sejumlah besar data tanpa alasan. Kita juga dapat mengatur opsi pengunduhan seperti hanya mengambil model saat terhubung ke wifi. Jika Anda ingin memastikan bahwa model tersedia bahkan tanpa koneksi jaringan, penting juga untuk menggabungkannya tanpa aplikasi sebagai cadangan.

Demi kesederhanaan, kami akan menghapus model paket default dan selalu mendownload model dari Firebase saat aplikasi dimulai untuk pertama kalinya. Dengan cara ini saat menjalankan analisis sentimen Anda dapat yakin bahwa inferensi berjalan dengan model yang disediakan dari Firebase.

Di file app/build.gradle.kts , tambahkan dependensi Firebase Machine Learning.

aplikasi/build.gradle.kts

Temukan komentar ini:

// TODO 1: Add Firebase ML dependency

Kemudian tambahkan:

implementation(platform("com.google.firebase:firebase-bom:32.0.0"))
implementation("com.google.firebase:firebase-ml-modeldownloader:24.1.2")

Saat diminta oleh Android Studio untuk menyinkronkan proyek Anda, pilih Sinkronkan Sekarang .

Lalu mari tambahkan beberapa kode untuk mendownload model dari Firebase.

Aktivitas Utama.java

Temukan komentar ini:

// TODO 2: Implement a method to download TFLite model from Firebase

Kemudian tambahkan:

  /** Download model from Firebase ML. */
  private synchronized void downloadModel(String modelName) {
      CustomModelDownloadConditions conditions = new CustomModelDownloadConditions.Builder()
            .requireWifi()
            .build();
      FirebaseModelDownloader.getInstance()
              .getModel("sentiment_analysis", DownloadType.LOCAL_MODEL, conditions)
              .addOnSuccessListener(model -> {
                  try {
                      // TODO 6: Initialize a TextClassifier with the downloaded model

                      predictButton.setEnabled(true);
                  } catch (IOException e) {
                      Log.e(TAG, "Failed to initialize the model. ", e);
                      Toast.makeText(
                              MainActivity.this,
                              "Model initialization failed.",
                              Toast.LENGTH_LONG)
                              .show();
                      predictButton.setEnabled(false);
                  }
              })
              .addOnFailureListener(e -> {
                      Log.e(TAG, "Failed to download the model. ", e);
                      Toast.makeText(
                              MainActivity.this,
                              "Model download failed, please check your connection.",
                              Toast.LENGTH_LONG)
                              .show();

                      }
              );

}

Selanjutnya, panggil metode downloadModel dalam metode onCreate aktivitas.

Aktivitas Utama.java

Temukan komentar ini:

// TODO 3: Call the method to download TFLite model

Kemudian tambahkan:

downloadModel("sentiment_analysis");

11. Integrasikan model dalam aplikasi Anda

Pustaka Tugas Tensorflow Lite membantu Anda mengintegrasikan model TensorFlow Lite ke dalam aplikasi Anda hanya dengan beberapa baris kode. Kami akan menginisialisasi instance NLClassifier menggunakan model TensorFlow Lite yang diunduh dari Firebase. Kemudian kita akan menggunakannya untuk mengklasifikasikan input teks dari pengguna aplikasi dan menampilkan hasilnya di UI.

Tambahkan ketergantungan

Buka file Gradle aplikasi dan tambahkan TensorFlow Lite Task Library (Teks) di dependensi aplikasi.

aplikasi/build.gradle

Temukan komentar ini:

// TODO 4: Add TFLite Task API (Text) dependency

Kemudian tambahkan:

implementation("org.tensorflow:tensorflow-lite-task-text:0.3.0")

Saat diminta oleh Android Studio untuk menyinkronkan proyek Anda, pilih Sinkronkan Sekarang .

Inisialisasi pengklasifikasi teks

Kemudian kita akan memuat model analisis sentimen yang diunduh dari Firebase menggunakan NLClassifier dari Task Library.

Aktivitas Utama.java

Mari kita mendeklarasikan variabel instance NLClassifier. Temukan komentar ini:

// TODO 5: Define a NLClassifier variable

Kemudian tambahkan:

private NLClassifier textClassifier;

Inisialisasi variabel textClassifier dengan model analisis sentimen yang diunduh dari Firebase. Temukan komentar ini:

// TODO 6: Initialize a TextClassifier with the downloaded model

Kemudian tambahkan:

textClassifier = NLClassifier.createFromFile(model.getFile());

Klasifikasikan teks

Setelah instance textClassifier disiapkan, Anda dapat menjalankan analisis sentimen dengan satu pemanggilan metode.

Aktivitas Utama.java

Temukan komentar ini:

// TODO 7: Run sentiment analysis on the input text

Kemudian tambahkan:

List<Category> results = textClassifier.classify(text);

Menerapkan pasca-pemrosesan

Terakhir, kami akan mengonversi keluaran model menjadi teks deskriptif untuk ditampilkan di layar.

Aktivitas Utama.java

Temukan komentar ini:

// TODO 8: Convert the result to a human-readable text

Hapus kode yang menghasilkan teks hasil dummy:

String textToShow = "Dummy classification result.\n";

Kemudian tambahkan:

String textToShow = "Input: " + text + "\nOutput:\n";
for (int i = 0; i < results.size(); i++) {
  Category result = results.get(i);
  textToShow += String.format("    %s: %s\n", result.getLabel(),
                              result.getScore());
}
textToShow += "---------\n";

12. Jalankan aplikasi terakhir

Anda telah mengintegrasikan model analisis sentimen ke aplikasi, jadi mari kita uji. Hubungkan perangkat Android Anda, dan klik Jalankan ( jalankan.png )di bilah alat Android Studio.

Aplikasi harus dapat memprediksi dengan benar sentimen review film yang Anda masukkan.

img/hasil-klasifikasi-teks.png

13. Tingkatkan aplikasi dengan lebih banyak fitur Firebase

Selain menghosting model TFLite Anda, Firebase menyediakan beberapa fitur lain untuk memperkuat kasus penggunaan machine learning Anda:

  • Firebase Performance Monitoring untuk mengukur kecepatan inferensi model Anda yang berjalan di perangkat pengguna.
  • Firebase Analytics untuk mengukur seberapa baik performa model Anda dalam produksi dengan mengukur reaksi pengguna.
  • Pengujian A/B Firebase untuk menguji beberapa versi model Anda
  • Apakah Anda ingat kami melatih dua versi model TFLite kami sebelumnya? Pengujian A/B adalah cara yang baik untuk mengetahui versi mana yang berperforma lebih baik dalam produksi!

Untuk mempelajari lebih lanjut cara memanfaatkan fitur-fitur ini di aplikasi Anda, lihat codelab di bawah:

14. Selamat!

Dalam codelab ini, Anda mempelajari cara melatih model TFLite analisis sentimen dan menerapkannya ke aplikasi seluler Anda menggunakan Firebase. Untuk mempelajari lebih lanjut tentang TFLite dan Firebase, lihat contoh TFLite lainnya dan panduan memulai Firebase.

Apa yang telah kami bahas

  • TensorFlow Lite
  • FirebaseML

Langkah selanjutnya

  • Ukur kecepatan inferensi model Anda dengan Firebase Performance Monitoring.
  • Terapkan model dari Colab langsung ke Firebase melalui Firebase ML Model Management API.
  • Tambahkan mekanisme untuk memungkinkan pengguna memberikan masukan tentang hasil prediksi, dan gunakan Firebase Analytics untuk melacak masukan pengguna.
  • Uji A/B model Rata-rata Word Vector dan model MobileBERT dengan pengujian A/B Firebase.

Belajarlah lagi

Ada pertanyaan?

Laporkan Masalah