Menambahkan Rekomendasi ke aplikasi Anda dengan TensorFlow Lite dan Firebase - Codelab iOS

1. Ringkasan

Selamat datang di codelab Rekomendasi dengan TensorFlow Lite dan Firebase. Dalam codelab ini, Anda akan mempelajari cara menggunakan TensorFlow Lite dan Firebase untuk men-deploy model rekomendasi ke aplikasi Anda. Codelab ini didasarkan pada contoh TensorFlow Lite ini.

Rekomendasi memungkinkan aplikasi menggunakan machine learning untuk menyajikan konten yang paling relevan bagi setiap pengguna secara cerdas. Model mempertimbangkan perilaku pengguna di masa lalu untuk menyarankan konten aplikasi yang mungkin akan dilihat pengguna di masa mendatang menggunakan model yang dilatih berdasarkan perilaku agregat dari sejumlah besar pengguna lain.

Tutorial ini menunjukkan cara mendapatkan data dari pengguna aplikasi Anda dengan Firebase Analytics, membangun model machine learning untuk rekomendasi dari data tersebut, kemudian menggunakan model tersebut di aplikasi iOS untuk menjalankan inferensi dan mendapatkan rekomendasi. Secara khusus, rekomendasi kami akan menyarankan film mana yang kemungkinan besar akan ditonton pengguna mengingat daftar film yang telah disukai pengguna sebelumnya.

Yang akan Anda pelajari

• Mengintegrasikan Firebase Analytics ke dalam aplikasi Android untuk mengumpulkan data perilaku pengguna
• Mengekspor data tersebut ke Google BigQuery
• Lakukan pra-pemrosesan data dan latih model rekomendasi TF Lite
• Men-deploy model TF Lite ke Firebase ML dan mengaksesnya dari aplikasi Anda
• Jalankan di inferensi perangkat menggunakan model untuk menyarankan rekomendasi kepada pengguna

Yang Anda butuhkan

• Xcode 11 (atau yang lebih tinggi)
• CocoaPods 1.9.1 (atau yang lebih tinggi)

Bagaimana Anda akan menggunakan tutorial ini?

Hanya membacanya Membacanya dan menyelesaikan latihan

Bagaimana penilaian Anda terhadap pengalaman membuat aplikasi iOS?

Pemula Menengah Mahir

2. Buat project Firebase console

Menambahkan Firebase ke project

5. Buka Firebase console.
6. Pilih Create New Project dan beri nama project Anda "Firebase ML iOS Codelab".

3. Mendapatkan Project Contoh

Mendownload Kode

Mulai dengan meng-clone project contoh dan menjalankan pod update di direktori project:

git clone https://github.com/FirebaseExtended/codelab-contentrecommendation-ios.git
cd codelab-contentrecommendation-ios/start
pod install --repo-update

Jika belum menginstal git, Anda juga dapat mendownload project contoh dari halaman GitHub-nya atau dengan mengklik link ini. Setelah mendownload project tersebut, jalankan di Xcode dan coba gunakan rekomendasi ini untuk merasakan cara kerjanya.

Menyiapkan Firebase

Ikuti dokumentasi untuk membuat project Firebase baru. Setelah mendapatkan project, download file GoogleService-Info.plist project Anda dari Firebase console, lalu tarik ke root project Xcode.

Tambahkan Firebase ke Podfile Anda dan jalankan pod install.

pod 'FirebaseAnalytics'
pod 'FirebaseMLModelDownloader', '9.3.0-beta'
pod 'TensorFlowLiteSwift'

Dalam metode didFinishLaunchingWithOptions AppDelegate Anda, impor Firebase di bagian atas file

import FirebaseCore

Dan tambahkan panggilan untuk mengonfigurasi Firebase.

FirebaseApp.configure()

Jalankan kembali project untuk memastikan aplikasi dikonfigurasi dengan benar dan tidak error saat diluncurkan.

1. Pastikan "Aktifkan Google Analytics untuk project ini" diaktifkan.
2. Ikuti langkah-langkah penyiapan yang tersisa di Firebase console, lalu klik Buat project (atau Tambahkan Firebase, jika Anda menggunakan project Google yang sudah ada).

4. Menambahkan Firebase Analytics ke aplikasi

Di langkah ini, Anda akan menambahkan Firebase Analytics ke aplikasi untuk mencatat data perilaku pengguna (dalam hal ini, film mana yang disukai pengguna). Data ini akan digunakan secara gabungan dalam langkah-langkah mendatang untuk melatih model rekomendasi.

Menyiapkan Firebase Analytics di aplikasi

LikedMoviesViewModel berisi fungsi untuk menyimpan film yang disukai pengguna. Setiap kali pengguna menyukai film baru, kita juga ingin mengirimkan peristiwa log Analytics untuk mencatat peristiwa semacam itu.

Tambahkan kode di bawah untuk mendaftarkan peristiwa analisis saat pengguna mengklik suka pada film.

AllMoviesCollectionViewController.swift

import FirebaseAnalytics
//


override func collectionView(_ collectionView: UICollectionView, didSelectItemAt indexPath: IndexPath) {
//

if movie.liked == nil {
      movie.liked = true
      Analytics.logEvent(AnalyticsEventSelectItem, parameters: [AnalyticsParameterItemID: movie.id])
    } else {
      movie.liked?.toggle()
    }
       
}

5. Menguji integrasi Analytics Anda

Pada langkah ini, kita akan membuat peristiwa Analytics di aplikasi dan memverifikasi bahwa peristiwa tersebut dikirim ke Firebase Console.

Mengaktifkan Logging Debug Analytics

Umumnya, peristiwa yang dicatat oleh aplikasi Anda dikelompokkan bersama selama sekitar satu jam dan diupload bersama. Pendekatan ini menghemat baterai pada perangkat pengguna akhir dan mengurangi penggunaan data jaringan. Namun, untuk memvalidasi penerapan analisis (dan, untuk melihat analisis dalam laporan DebugView), Anda dapat mengaktifkan mode Debug di perangkat pengembangan untuk mengupload peristiwa dengan penundaan minimal.

Untuk mengaktifkan mode Debug Analytics di perangkat pengembangan Anda, tentukan argumen command line berikut di Xcode:

-FIRDebugEnabled

Pada tahap ini, Anda telah berhasil mengintegrasikan Firebase Analytics ke dalam aplikasi. Saat pengguna menggunakan aplikasi Anda dan menyukai film, jumlah suka mereka akan dicatat secara gabungan. Kita akan menggunakan data gabungan ini di sisa codelab ini untuk melatih model rekomendasi. Berikut adalah langkah opsional untuk melihat peristiwa Analytics yang sama seperti yang Anda lihat di Logcat serta di-streaming ke Firebase console. Jangan ragu untuk langsung ke halaman berikutnya.

Opsional: Mengonfirmasi peristiwa Analytics di Firebase Console

1. Buka Firebase console.
2. Pilih DebugView di bagian Analytics
3. Di Xcode, pilih Run untuk meluncurkan aplikasi dan menambahkan beberapa film ke daftar Liked Anda.
4. Di DebugView Firebase console, pastikan peristiwa ini dicatat saat Anda menambahkan film di aplikasi.

CATATAN: Mungkin ada penundaan sebelum peristiwa analisis muncul di Firebase Console.

6. Mengekspor data Analytics ke BigQuery

Big Query adalah produk Google Cloud yang memungkinkan Anda memeriksa dan memproses data dalam jumlah besar. Pada langkah ini, Anda akan menghubungkan project Firebase Console ke BigQuery, sehingga data Analytics yang dihasilkan aplikasi Anda akan otomatis diekspor ke BigQuery.

Mengaktifkan ekspor BigQuery

1. Buka Firebase console.
2. Pilih ikon roda gigi Settings di samping Project Overview, lalu pilih Project settings
3. Pilih tab Integrations.
4. Pilih Link (atau Manage) di dalam blok BigQuery.
5. Pilih Next di langkah About Linking Firebase to BigQuery.
6. Di bagian Konfigurasi integrasi, klik tombol untuk mengaktifkan pengiriman data Google Analytics, lalu pilih Tautkan ke BigQuery.

Anda sekarang telah mengaktifkan project Firebase console untuk otomatis mengirim data peristiwa Firebase Analytics ke Big Query. Hal ini terjadi secara otomatis tanpa interaksi lebih lanjut. Namun, ekspor pertama yang membuat set data analisis di BigQuery mungkin tidak terjadi selama 24 jam. Setelah set data dibuat, Firebase akan terus mengekspor peristiwa Analytics baru ke BigQuery ke dalam tabel intrahari, dan mengelompokkan peristiwa dari hari-hari sebelumnya di tabel peristiwa.

Melatih model rekomendasi memerlukan banyak data. Karena kita belum memiliki aplikasi yang menghasilkan data dalam jumlah besar, pada langkah berikutnya kita akan mengimpor contoh set data ke BigQuery untuk digunakan selama sisa tutorial ini.

7. Menggunakan BigQuery untuk mendapatkan data pelatihan model

Setelah menghubungkan Firebase Console untuk mengekspor ke BigQuery, data peristiwa analisis aplikasi akan otomatis muncul di konsol BigQuery setelah beberapa waktu. Guna mendapatkan beberapa data awal untuk tujuan tutorial ini, pada langkah ini kita akan mengimpor sampel {i>dataset<i} yang ada ke konsol BigQuery Anda untuk digunakan untuk melatih model rekomendasi kami.

Mengimpor contoh set data ke BigQuery

1. Buka dasbor BigQuery di Konsol Google Cloud.
2. Pilih nama project Anda di menu.
3. Pilih nama project Anda di bagian bawah navigasi sebelah kiri BigQuery untuk melihat detailnya.
4. Pilih Create dataset untuk membuka panel pembuatan set data.
5. Masukkan 'firebase_recommendations_dataset' untuk ID Set Data, lalu pilih Buat set data.
6. {i>Dataset<i} baru akan muncul di menu kiri di bawah nama project. Klik ikon tersebut.
7. Pilih Create table untuk membuka panel pembuatan tabel.
8. Untuk Create table from pilih 'Google Cloud Storage'.
9. Di kolom Select file from GCS bucket, masukkan ‘gs://firebase-recommendations/recommendations-test/formatted_data_filtered.txt'.
10. Pilih 'JSONL' di drop-down File format.
11. Masukkan 'recommendations_table' untuk Nama tabel.
12. Centang kotak di bagian Skema > Deteksi otomatis > Skema dan parameter input
13. Pilih Create table

CATATAN: Langkah-langkah di atas hanya diperlukan untuk mengimpor set data sampel. Dalam keadaan normal, Firebase akan otomatis membuat set data dan tabel di BigQuery saat data Analytics digunakan.

Mempelajari contoh set data

Pada tahap ini, Anda dapat secara opsional menjelajahi skema dan melihat pratinjau {i>dataset<i} ini.

1. Pilih firebase-recommendations-dataset di menu kiri untuk meluaskan tabel yang ada di dalamnya.
2. Pilih tabel recommendations-table untuk melihat skema tabel.
3. Pilih Pratinjau untuk melihat data peristiwa Analytics sebenarnya yang ada di tabel ini.

CATATAN: Anda bisa mendapatkan deskripsi terperinci dari setiap kolom dalam data analisis di artikel pusat bantuan ini.

Membuat kredensial akun layanan

Sekarang, kita akan membuat kredensial akun layanan di project konsol Google Cloud yang dapat digunakan di lingkungan Colab pada langkah berikut untuk mengakses dan memuat data BigQuery.

1. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.
2. Mengaktifkan BigQuery dan BigQuery Storage API API. < klik di sini>
3. Buka halaman Create Service Account Key.
4. Dari daftar Service account, pilih New service account.
5. Di kolom Nama akun layanan, masukkan nama.
6. Dari daftar Role, pilih Project > Owner.
7. Klik Create. File JSON yang berisi kunci Anda didownload ke komputer Anda.

Pada langkah berikutnya, kami akan menggunakan Google Colab untuk melakukan prapemrosesan data ini dan melatih model rekomendasi kami.

8. Melakukan prapemrosesan data dan melatih model rekomendasi

Pada langkah ini, kita akan menggunakan notebook Colab untuk melakukan langkah-langkah berikut:

1. mengimpor data BigQuery ke notebook Colab
2. melakukan prapemrosesan data untuk mempersiapkannya untuk pelatihan model
3. melatih model rekomendasi pada data analisis
4. mengekspor model sebagai model TF lite
5. men-deploy model ke Firebase Console agar kita dapat menggunakannya di aplikasi

Sebelum meluncurkan notebook pelatihan Colab, kita akan mengaktifkan Firebase Model Management API terlebih dahulu agar Colab dapat men-deploy model yang dilatih ke Firebase console kami.

Aktifkan Firebase Model Management API

Membuat bucket untuk menyimpan model ML Anda

Di Firebase Console, buka Storage, lalu klik Mulai.

Ikuti dialog untuk menyiapkan bucket Anda.

Aktifkan Firebase ML API

Buka halaman Firebase ML API di Konsol Google Cloud, lalu klik Aktifkan.

Gunakan notebook Colab untuk melatih dan men-deploy model

Buka notebook colab menggunakan link berikut dan selesaikan langkah-langkah di dalamnya. Setelah menyelesaikan langkah-langkah di notebook Colab, Anda akan memiliki file model TF lite yang di-deploy ke Firebase console yang dapat disinkronkan ke aplikasi kita.

Buka di Colab

9. Mendownload model di aplikasi Anda

Pada langkah ini, kita akan memodifikasi aplikasi untuk mendownload model yang baru saja dilatih dari Firebase Machine Learning.

Menambahkan dependensi Firebase ML

Dependensi berikut diperlukan untuk menggunakan model Firebase Machine Learning di aplikasi Anda. Dependensi berikut seharusnya sudah ditambahkan (verifikasi).

Podfile

import FirebaseCore
import FirebaseMLModelDownloader

Mendownload model dengan Firebase Model Manager API

Salin kode di bawah ini ke ModelLoader.swift untuk menyiapkan kondisi yang menyebabkan download model terjadi dan membuat tugas download untuk menyinkronkan model jarak jauh ke aplikasi Anda.

ModelLoader.swift

static func downloadModel(named name: String,
                            completion: @escaping (CustomModel?, DownloadError?) -> Void) {
    guard FirebaseApp.app() != nil else {
      completion(nil, .firebaseNotInitialized)
      return
    }
    guard success == nil && failure == nil else {
      completion(nil, .downloadInProgress)
      return
    }
    let conditions = ModelDownloadConditions(allowsCellularAccess: false)
    ModelDownloader.modelDownloader().getModel(name: name, downloadType: .localModelUpdateInBackground, conditions: conditions) { result in
            switch (result) {
            case .success(let customModel):
                    // Download complete.
                    // The CustomModel object contains the local path of the model file,
                    // which you can use to instantiate a TensorFlow Lite classifier.
                    return completion(customModel, nil)
            case .failure(let error):
                // Download was unsuccessful. Notify error message.
              completion(nil, .downloadFailed(underlyingError: error))
            }
    }
  }

10. Mengintegrasikan model rekomendasi Tensorflow Lite di aplikasi Anda

Dengan runtime Tensorflow Lite, Anda dapat menggunakan model di aplikasi untuk membuat rekomendasi. Pada langkah sebelumnya, kita melakukan inisialisasi penafsir TFlite dengan file model yang telah kita download. Pada langkah ini, kita akan memuat kamus dan label terlebih dahulu untuk menyertai model dalam langkah inferensi, lalu menambahkan pra-pemrosesan untuk menghasilkan input ke model dan pasca-pemrosesan, tempat kita akan mengekstrak hasilnya dari inferensi.

Memuat Kamus dan Label

Label yang digunakan untuk membuat kandidat rekomendasi menurut model rekomendasi tercantum dalam file sorted_movie_vocab.json di folder aset. Salin kode berikut untuk memuat kandidat ini.

RecommendationsViewController.swift

  func getMovies() -> [MovieItem] {
    let barController = self.tabBarController as! TabBarController
    return barController.movies
  }

Menerapkan Pra-pemrosesan

Pada langkah pra-pemrosesan, kita mengubah bentuk data input agar sesuai dengan yang diharapkan oleh model. Di sini, kita menambahkan panjang input dengan nilai placeholder jika belum menghasilkan banyak suka pengguna. Salin kode di bawah ini:

RecommendationsViewController.swift

  // Given a list of selected items, preprocess to get tflite input.
  func preProcess() -> Data {
    let likedMovies = getLikedMovies().map { (MovieItem) -> Int32 in
      return MovieItem.id
    }
    var inputData = Data(copyingBufferOf: Array(likedMovies.prefix(10)))

    // Pad input data to have a minimum of 10 context items (4 bytes each)
    while inputData.count < 10*4 {
      inputData.append(0)
    }
    return inputData
  }

Menjalankan penafsir untuk membuat rekomendasi

Di sini kita menggunakan model yang didownload pada langkah sebelumnya untuk menjalankan inferensi pada input yang telah diproses sebelumnya. Kita menetapkan jenis input dan output untuk model dan menjalankan inferensi untuk menghasilkan rekomendasi film. Salin kode berikut ke dalam aplikasi Anda.

RecommendationsViewController.swift

import TensorFlowLite

RecommendationsViewController.swift

 private var interpreter: Interpreter?

 func loadModel() {
    // Download the model from Firebase
    print("Fetching recommendations model...")
    ModelDownloader.fetchModel(named: "recommendations") { (filePath, error) in
      guard let path = filePath else {
        if let error = error {
          print(error)
        }
        return
      }
      print("Recommendations model download complete")
      self.loadInterpreter(path: path)
    }
  }

 func loadInterpreter(path: String) {
    do {
      interpreter = try Interpreter(modelPath: path)

      // Allocate memory for the model's input `Tensor`s.
      try interpreter?.allocateTensors()

      let inputData = preProcess()

      // Copy the input data to the input `Tensor`.
      try self.interpreter?.copy(inputData, toInputAt: 0)

      // Run inference by invoking the `Interpreter`.
      try self.interpreter?.invoke()

      // Get the output `Tensor`
      let confidenceOutputTensor = try self.interpreter?.output(at: 0)
      let idOutputTensor = try self.interpreter?.output(at: 1)

      // Copy output to `Data` to process the inference results.
      let confidenceOutputSize = confidenceOutputTensor?.shape.dimensions.reduce(1, {x, y in x * y})

      let idOutputSize = idOutputTensor?.shape.dimensions.reduce(1, {x, y in x * y})

      let confidenceResults =
        UnsafeMutableBufferPointer<Float32>.allocate(capacity: confidenceOutputSize!)
      let idResults =
        UnsafeMutableBufferPointer<Int32>.allocate(capacity: idOutputSize!)
      _ = confidenceOutputTensor?.data.copyBytes(to: confidenceResults)
      _ = idOutputTensor?.data.copyBytes(to: idResults)

      postProcess(idResults, confidenceResults)

      print("Successfully ran inference")
      DispatchQueue.main.async {
        self.tableView.reloadData()
      }
    } catch {
      print("Error occurred creating model interpreter: \(error)")
    }
  }

Mengimplementasikan Pasca-pemrosesan

Terakhir, pada langkah ini, kita akan melakukan pascapemrosesan terhadap output dari model, yang memilih hasil dengan tingkat keyakinan tertinggi dan menghapus nilai yang ada (film yang telah disukai pengguna). Salin kode berikut ke dalam aplikasi Anda.

RecommendationsViewController.swift

  // Postprocess to get results from tflite inference.
  func postProcess(_ idResults: UnsafeMutableBufferPointer<Int32>, _ confidenceResults: UnsafeMutableBufferPointer<Float32>) {
    for i in 0..<10 {
      let id = idResults[i]
      let movieIdx = getMovies().firstIndex { $0.id == id }
      let title = getMovies()[movieIdx!].title
      recommendations.append(Recommendation(title: title, confidence: confidenceResults[i]))
    }
  }

Uji aplikasi Anda!

Jalankan kembali aplikasi Anda. Saat Anda memilih beberapa film, model baru akan otomatis didownload dan mulai menghasilkan rekomendasi.

11. Selamat!

Anda telah membangun fitur rekomendasi ke dalam aplikasi menggunakan TensorFlow Lite dan Firebase. Perhatikan bahwa teknik dan pipeline yang ditampilkan dalam codelab ini dapat digeneralisasi dan digunakan untuk memberikan jenis rekomendasi lainnya juga.

Yang telah kita bahas

• Firebase ML
• Firebase Analytics
• Mengekspor peristiwa analisis ke BigQuery
• Melakukan prapemrosesan peristiwa analisis
• Melatih model TensorFlow
• Mengekspor model dan men-deploy ke Firebase Console
• Menyajikan rekomendasi film dalam aplikasi

Langkah Berikutnya

• Terapkan rekomendasi Firebase ML di aplikasi Anda.

Pelajari Lebih Lanjut

• Firebase.google.com

Ada Pertanyaan?

• Stackoverflow ‘firebase-machine-learning'

Melaporkan Masalah

• Masalah GitHub