TensorFlow Lite ve Firebase - iOS Codelab ile uygulamanıza Öneriler ekleyin

1. Genel Bakış

TensorFlow Lite ve Firebase codelab ile ilgili Öneriler'e hoş geldiniz. Bu codelab'de, uygulamanıza bir öneri modeli dağıtmak için TensorFlow Lite ve Firebase'i nasıl kullanacağınızı öğreneceksiniz. Bu codelab, bu TensorFlow Lite örneğini temel almaktadır.

Öneriler, uygulamaların her kullanıcıya en alakalı içeriği akıllıca sunmak için makine öğrenimini kullanmasına olanak tanır. Çok sayıda başka kullanıcının toplu davranışı üzerine eğitilmiş bir model kullanarak, kullanıcının gelecekte etkileşimde bulunmak isteyebileceği uygulama içeriğini önermek için geçmiş kullanıcı davranışını hesaba katarlar.

Bu eğitimde, Firebase Analytics ile uygulamanızın kullanıcılarından nasıl veri elde edileceği, bu verilerden öneriler için bir makine öğrenimi modelinin nasıl oluşturulacağı ve daha sonra çıkarım yapmak ve öneriler almak için bu modeli bir iOS uygulamasında nasıl kullanacağınız gösterilmektedir. Özellikle önerilerimiz, kullanıcının daha önce beğendiği filmlerin listesi göz önüne alındığında, kullanıcının büyük olasılıkla hangi filmleri izleyeceğini önerecektir.

Ne öğreneceksin

  • Kullanıcı davranışı verilerini toplamak için Firebase Analytics'i bir Android uygulamasına entegre edin
  • Bu verileri Google Big Query'ye aktarın
  • Verileri önceden işleyin ve bir TF Lite öneri modeli eğitin
  • TF Lite modelini Firebase ML'ye dağıtın ve ona uygulamanızdan erişin
  • Kullanıcılara öneriler önermek için modeli kullanarak cihaz çıkarımı üzerinde çalıştırın

İhtiyacınız olan şey

  • Xcode 11 (veya üstü)
  • CocoaPod'lar 1.9.1 (veya üstü)

Bu öğreticiyi nasıl kullanacaksınız?

Yalnızca baştan sona okuyun Okuyun ve alıştırmaları tamamlayın

iOS uygulamaları geliştirme deneyiminizi nasıl değerlendirirsiniz?

Acemi Orta seviye Yetkin

2. Firebase konsol projesi oluşturun

Firebase'i projeye ekleyin

  1. Firebase konsoluna gidin.
  2. Yeni Proje Oluştur'u seçin ve projenize "Firebase ML iOS Codelab" adını verin.

3. Örnek Projeyi Alın

Kodu İndir

Örnek projeyi kopyalayıp proje dizininde pod update çalıştırarak başlayın:

git clone https://github.com/FirebaseExtended/codelab-contentrecommendation-ios.git
cd codelab-contentrecommendation-ios/start
pod install --repo-update

Eğer git yüklü değilse örnek projeyi GitHub sayfasından veya bu bağlantıya tıklayarak da indirebilirsiniz. Projeyi indirdikten sonra Xcode'da çalıştırın ve nasıl çalıştığına dair fikir edinmek için öneriyle oynayın.

Firebase'i kurun

Yeni bir Firebase projesi oluşturmak için belgeleri izleyin. Projenizi aldıktan sonra, projenizin GoogleService-Info.plist dosyasını Firebase konsolundan indirin ve Xcode projesinin köküne sürükleyin.

4a923d5c7ae0d8f3.png

Firebase'i Pod dosyanıza ekleyin ve pod kurulumunu çalıştırın.

pod 'FirebaseAnalytics'
pod 'FirebaseMLModelDownloader', '9.3.0-beta'
pod 'TensorFlowLiteSwift'

AppDelegate didFinishLaunchingWithOptions yönteminde, dosyanın en üstüne Firebase'i içe aktarın

import FirebaseCore

Firebase'i yapılandırmak için bir çağrı ekleyin.

FirebaseApp.configure()

Uygulamanın doğru şekilde yapılandırıldığından ve başlatma sırasında kilitlenmediğinden emin olmak için projeyi yeniden çalıştırın.

  1. "Bu proje için Google Analytics'i etkinleştir" seçeneğinin etkinleştirildiğinden emin olun.
  2. Firebase konsolunda kalan kurulum adımlarını izleyin ve ardından Proje oluştur'u (veya mevcut bir Google projesini kullanıyorsanız Firebase Ekle'yi) tıklayın.

4. Firebase Analytics'i uygulamaya ekleyin

Bu adımda, kullanıcı davranışı verilerini (bu durumda kullanıcının hangi filmleri beğendiğini) günlüğe kaydetmek için uygulamaya Firebase Analytics ekleyeceksiniz. Bu veriler, öneri modelini eğitmek için gelecekteki adımlarda toplu olarak kullanılacaktır.

Uygulamada Firebase Analytics'i kurun

LikedMoviesViewModel, kullanıcının beğendiği filmleri depolamak için işlevler içerir. Kullanıcı yeni bir filmi her beğendiğinde, bunu kaydetmek için bir analiz günlüğü etkinliği de göndermek istiyoruz.

Kullanıcı bir filmi beğen'i tıkladığında bir analiz etkinliği kaydetmek için aşağıdaki kodu ekleyin.

AllMoviesCollectionViewController.swift

import FirebaseAnalytics
//


override func collectionView(_ collectionView: UICollectionView, didSelectItemAt indexPath: IndexPath) {
//

if movie.liked == nil {
      movie.liked = true
      Analytics.logEvent(AnalyticsEventSelectItem, parameters: [AnalyticsParameterItemID: movie.id])
    } else {
      movie.liked?.toggle()
    }
       
}

5. Analytics entegrasyonunuzu test edin

Bu adımda uygulamada Analytics etkinlikleri oluşturacağız ve bunların Firebase Konsoluna gönderildiğini doğrulayacağız.

Analytics Hata Ayıklama Günlüğünü Etkinleştir

Genellikle uygulamanız tarafından günlüğe kaydedilen etkinlikler yaklaşık bir saatlik bir süre boyunca bir araya toplanır ve birlikte yüklenir. Bu yaklaşım, son kullanıcıların cihazlarının pilini korur ve ağ veri kullanımını azaltır. Ancak analiz uygulamanızı doğrulamak amacıyla (ve analizlerinizi DebugView raporunda görüntülemek için), etkinlikleri minimum gecikmeyle yüklemek üzere geliştirme cihazınızda Hata Ayıklama modunu etkinleştirebilirsiniz.

Geliştirme cihazınızda Analitik Hata Ayıklama modunu etkinleştirmek için Xcode'da aşağıdaki komut satırı bağımsız değişkenini belirtin:

-FIRDebugEnabled

Bu noktada Firebase Analytics'i uygulamanıza başarıyla entegre ettiniz. Kullanıcılar uygulamanızı kullandıkça ve filmleri beğendikçe, beğenileri toplu olarak günlüğe kaydedilecektir. Bu toplu verileri bu codelab'in geri kalanında öneri modelimizi eğitmek için kullanacağız. Aşağıdaki, Logcat'te gördüğünüz Analytics etkinliklerinin aynısının Firebase konsoluna da aktarıldığını görmek için isteğe bağlı bir adımdır. Bir sonraki sayfaya atlamaktan çekinmeyin.

İsteğe bağlı: Firebase Konsolunda Analytics etkinliklerini onaylayın

  1. Firebase konsoluna gidin.
  2. Analytics altında DebugView'ı seçin
  3. Uygulamayı başlatmak ve bazı filmleri Beğenilenler listenize eklemek için Xcode'da Çalıştır'ı seçin.
  4. Firebase konsolunun DebugView'ında, uygulamaya film eklerken bu olayların günlüğe kaydedildiğini doğrulayın.

6. Analytics verilerini Big Query'ye aktarın

Big Query, büyük miktarda veriyi incelemenize ve işlemenize olanak tanıyan bir Google Cloud ürünüdür. Bu adımda, uygulamanız tarafından oluşturulan Analytics verilerinin otomatik olarak Big Query'ye aktarılması için Firebase Console projenizi Big Query'ye bağlayacaksınız.

Big Query dışa aktarımını etkinleştir

  1. Firebase konsoluna gidin.
  2. Projeye Genel Bakış'ın yanındaki Ayarlar dişli simgesini seçin ve ardından Proje ayarları'nı seçin
  3. Entegrasyonlar sekmesini seçin.
  4. BigQuery bloğunun içinde Bağlantı'yı (veya Yönet'i ) seçin.
  5. Firebase'i BigQuery'ye Bağlama Hakkında adımında İleri'yi seçin.
  6. Entegrasyonu yapılandır bölümünün altında, Google Analytics verilerinin gönderilmesini etkinleştirmek için anahtarı tıklayın ve BigQuery'ye Bağla 'yı seçin.

Artık Firebase konsol projenizin Firebase Analytics etkinlik verilerini otomatik olarak Big Query'ye göndermesini etkinleştirdiniz. Bu, başka bir etkileşim gerekmeden otomatik olarak gerçekleşir ancak BigQuery'de analiz veri kümesini oluşturan ilk dışa aktarma 24 saat boyunca gerçekleşmeyebilir. Veri kümesi oluşturulduktan sonra Firebase, sürekli olarak yeni Analytics etkinliklerini Big Query'ye gün içi tabloya aktarır ve geçmiş günlere ait etkinlikleri etkinlik tablosunda gruplandırır.

Bir öneri modelinin eğitilmesi çok fazla veri gerektirir. Halihazırda büyük miktarda veri üreten bir uygulamamız olmadığından bir sonraki adımda bu eğitimin geri kalanında kullanmak üzere örnek bir veri kümesini BigQuery'ye aktaracağız.

7. Model eğitim verilerini elde etmek için BigQuery'yi kullanın

Artık Firebase Konsolumuzu BigQuery'ye aktarmak üzere bağladığımıza göre, uygulama analizi etkinlik verilerimiz bir süre sonra otomatik olarak BigQuery konsolunda görünecektir. Bu eğitimin amaçları doğrultusunda bazı başlangıç ​​verileri elde etmek için bu adımda, öneri modelimizi eğitmek üzere kullanmak üzere mevcut bir örnek veri kümesini BigQuery konsolunuza aktaracağız.

Örnek veri kümesini BigQuery'ye aktarın

  1. Google bulut konsolundaki BigQuery kontrol paneline gidin.
  2. Menüden projenizin adını seçin.
  3. Ayrıntıları görmek için BigQuery sol gezinme panelinin alt kısmından proje adınızı seçin.
  4. Veri kümesi oluşturma panelini açmak için Veri kümesi oluştur'u seçin.
  5. Veri Kümesi Kimliği için 'firebase_recommendations_dataset' girin ve Veri kümesi oluştur ' u seçin.
  6. Yeni veri kümesi soldaki menüde proje adının altında görünecektir. Tıkla.
  7. Tablo oluşturma panelini açmak için Tablo oluştur'u seçin.
  8. Tablo oluşturmak için 'Google Bulut Depolama'yı seçin.
  9. GCS paketinden dosya seçin alanına 'gs://firebase-recommendations/recommendations-test/formatted_data_filtered.txt' yazın.
  10. Dosya biçimi açılır menüsünde 'JSONL'yi seçin.
  11. Tablo adı için 'recommendations_table' değerini girin.
  12. Şema > Otomatik algılama > Şema ve giriş parametreleri altındaki kutuyu işaretleyin
  13. Tablo oluştur'u seçin

Örnek veri kümesini keşfedin

Bu noktada isteğe bağlı olarak şemayı inceleyebilir ve bu veri kümesinin ön izlemesini yapabilirsiniz.

  1. İçerdiği tabloları genişletmek için soldaki menüden firebase-recommendations-dataset'i seçin.
  2. Tablo şemasını görüntülemek için öneriler tablosu tablosunu seçin.
  3. Bu tablonun içerdiği gerçek Analytics etkinlik verilerini görmek için Önizleme'yi seçin.

Hizmet hesabı kimlik bilgileri oluşturun

Artık BigQuery verilerimize erişmek ve yüklemek için bir sonraki adımda Colab ortamında kullanabileceğimiz Google Cloud console projemizde hizmet hesabı kimlik bilgileri oluşturacağız.

  1. Google Cloud projeniz için faturalandırmanın etkinleştirildiğinden emin olun.
  2. BigQuery ve BigQuery Storage API API'lerini etkinleştirin. < buraya tıklayın >
  3. Hizmet Hesabı Anahtarı Oluştur sayfasına gidin.
  4. Hizmet hesabı listesinden Yeni hizmet hesabı seçeneğini seçin.
  5. Hizmet hesabı adı alanına bir ad girin.
  6. Rol listesinden Proje > Sahip'i seçin.
  7. Oluştur'u tıklayın. Bilgisayarınıza indirilen anahtarlarınızı içeren bir JSON dosyası.

Bir sonraki adımda bu verileri ön işlemek ve öneri modelimizi eğitmek için Google Colab'ı kullanacağız.

8. Verileri ön işleme ve öneri modelini eğitme

Bu adımda aşağıdaki adımları gerçekleştirmek için Colab not defterini kullanacağız:

  1. BigQuery verilerini Colab not defterine aktarın
  2. Model eğitimine hazırlamak için verileri ön işleme tabi tutun
  3. Öneri modelini analiz verileri üzerinde eğitin
  4. modeli TF lite modeli olarak dışa aktarın
  5. Uygulamamızda kullanabilmemiz için modeli Firebase Konsoluna dağıtın

Colab eğitim not defterini başlatmadan önce, Colab'ın eğitilen modeli Firebase konsolumuza dağıtabilmesi için öncelikle Firebase Model Yönetimi API'sini etkinleştireceğiz.

Firebase Model Yönetimi API'sini etkinleştirin

ML modellerinizi depolamak için bir paket oluşturun

Firebase Konsolunuzda Depolama'ya gidin ve Başlayın'ı tıklayın. fbbea78f0eb3dc9f.png

Kovanızın kurulumunu yapmak için diyaloğu takip edin.

19517c0d6d2aa14d.png

Firebase ML API'yi etkinleştirin

Google Cloud Console'da Firebase ML API sayfasına gidin ve Etkinleştir'i tıklayın.

Modeli eğitmek ve dağıtmak için Colab not defterini kullanın

Aşağıdaki bağlantıyı kullanarak colab not defterini açın ve içindeki adımları tamamlayın. Colab not defterindeki adımları tamamladıktan sonra, Firebase konsoluna dağıtılan ve uygulamamızla senkronize edebileceğimiz bir TF lite model dosyasına sahip olacaksınız.

Colab'da aç

9. Uygulamanızdaki modeli indirin

Bu adımda, Firebase Machine Learning'den yeni eğittiğimiz modeli indirmek için uygulamamızı değiştireceğiz.

Firebase ML bağımlılığı ekleyin

Firebase Machine Learning modellerini uygulamanızda kullanabilmeniz için aşağıdaki bağımlılık gereklidir. Zaten eklenmiş olmalıdır (doğrulayın).

Pod dosyası

import FirebaseCore
import FirebaseMLModelDownloader

Modeli Firebase Model Manager API'si ile indirin

Model indirmenin gerçekleşeceği koşulları ayarlamak ve uzak modeli uygulamamızla senkronize etmek için bir indirme görevi oluşturmak için aşağıdaki kodu ModelLoader.swift dosyasına kopyalayın.

ModelLoader.swift

static func downloadModel(named name: String,
                            completion: @escaping (CustomModel?, DownloadError?) -> Void) {
    guard FirebaseApp.app() != nil else {
      completion(nil, .firebaseNotInitialized)
      return
    }
    guard success == nil && failure == nil else {
      completion(nil, .downloadInProgress)
      return
    }
    let conditions = ModelDownloadConditions(allowsCellularAccess: false)
    ModelDownloader.modelDownloader().getModel(name: name, downloadType: .localModelUpdateInBackground, conditions: conditions) { result in
            switch (result) {
            case .success(let customModel):
                    // Download complete.
                    // The CustomModel object contains the local path of the model file,
                    // which you can use to instantiate a TensorFlow Lite classifier.
                    return completion(customModel, nil)
            case .failure(let error):
                // Download was unsuccessful. Notify error message.
              completion(nil, .downloadFailed(underlyingError: error))
            }
    }
  }

10. Tensorflow Lite öneri modelini uygulamanıza entegre edin

Tensorflow Lite çalışma zamanı, öneriler oluşturmak için uygulamadaki modelinizi kullanmanıza olanak tanır. Önceki adımda indirdiğimiz model dosyasıyla bir TFlite yorumlayıcısını başlattık. Bu adımda, öncelikle çıkarım adımında modelimize eşlik edecek bir sözlük ve etiketler yükleyeceğiz, ardından modelimize girdiler oluşturmak için ön işleme ve çıkarımlarımızdan sonuçları çıkaracağımız son işleme ekleyeceğiz. .

Sözlüğü ve Etiketleri Yükle

Öneri modeline göre öneri adaylarını oluşturmak için kullanılan etiketler, varlıklar klasöründeki sorted_movie_vocab.json dosyasında listelenir. Bu adayları yüklemek için aşağıdaki kodu kopyalayın.

ÖnerilerViewController.swift

  func getMovies() -> [MovieItem] {
    let barController = self.tabBarController as! TabBarController
    return barController.movies
  }

Ön İşlemeyi Uygulayın

Ön işleme adımında, girdi verilerinin biçimini modelimizin beklediğiyle eşleşecek şekilde değiştiririz. Burada, eğer halihazırda çok fazla kullanıcı beğenisi oluşturmamışsak, giriş uzunluğunu bir yer tutucu değerle doldururuz. Aşağıdaki kodu kopyalayın:

ÖnerilerViewController.swift

  // Given a list of selected items, preprocess to get tflite input.
  func preProcess() -> Data {
    let likedMovies = getLikedMovies().map { (MovieItem) -> Int32 in
      return MovieItem.id
    }
    var inputData = Data(copyingBufferOf: Array(likedMovies.prefix(10)))

    // Pad input data to have a minimum of 10 context items (4 bytes each)
    while inputData.count < 10*4 {
      inputData.append(0)
    }
    return inputData
  }

Öneriler oluşturmak için tercümanı çalıştırın

Burada, önceden işlenmiş girdimiz üzerinde çıkarım yapmak için önceki adımda indirdiğimiz modeli kullanırız. Modelimiz için giriş ve çıkış türünü belirliyoruz ve film önerilerimizi oluşturmak için çıkarım yapıyoruz. Aşağıdaki kodu uygulamanıza kopyalayın.

ÖnerilerViewController.swift

import TensorFlowLite

ÖnerilerViewController.swift

 private var interpreter: Interpreter?

 func loadModel() {
    // Download the model from Firebase
    print("Fetching recommendations model...")
    ModelDownloader.fetchModel(named: "recommendations") { (filePath, error) in
      guard let path = filePath else {
        if let error = error {
          print(error)
        }
        return
      }
      print("Recommendations model download complete")
      self.loadInterpreter(path: path)
    }
  }

 func loadInterpreter(path: String) {
    do {
      interpreter = try Interpreter(modelPath: path)

      // Allocate memory for the model's input `Tensor`s.
      try interpreter?.allocateTensors()

      let inputData = preProcess()

      // Copy the input data to the input `Tensor`.
      try self.interpreter?.copy(inputData, toInputAt: 0)

      // Run inference by invoking the `Interpreter`.
      try self.interpreter?.invoke()

      // Get the output `Tensor`
      let confidenceOutputTensor = try self.interpreter?.output(at: 0)
      let idOutputTensor = try self.interpreter?.output(at: 1)

      // Copy output to `Data` to process the inference results.
      let confidenceOutputSize = confidenceOutputTensor?.shape.dimensions.reduce(1, {x, y in x * y})

      let idOutputSize = idOutputTensor?.shape.dimensions.reduce(1, {x, y in x * y})

      let confidenceResults =
        UnsafeMutableBufferPointer<Float32>.allocate(capacity: confidenceOutputSize!)
      let idResults =
        UnsafeMutableBufferPointer<Int32>.allocate(capacity: idOutputSize!)
      _ = confidenceOutputTensor?.data.copyBytes(to: confidenceResults)
      _ = idOutputTensor?.data.copyBytes(to: idResults)

      postProcess(idResults, confidenceResults)

      print("Successfully ran inference")
      DispatchQueue.main.async {
        self.tableView.reloadData()
      }
    } catch {
      print("Error occurred creating model interpreter: \(error)")
    }
  }

İşlem Sonrasını Uygulayın

Son olarak, bu adımda, modelimizin çıktısını son işleme tabi tutuyoruz, en yüksek güvene sahip sonuçları seçiyoruz ve içerilen değerleri (kullanıcının zaten beğendiği filmler) kaldırıyoruz. Aşağıdaki kodu uygulamanıza kopyalayın.

ÖnerilerViewController.swift

  // Postprocess to get results from tflite inference.
  func postProcess(_ idResults: UnsafeMutableBufferPointer<Int32>, _ confidenceResults: UnsafeMutableBufferPointer<Float32>) {
    for i in 0..<10 {
      let id = idResults[i]
      let movieIdx = getMovies().firstIndex { $0.id == id }
      let title = getMovies()[movieIdx!].title
      recommendations.append(Recommendation(title: title, confidence: confidenceResults[i]))
    }
  }

Uygulamanızı test edin!

Uygulamanızı yeniden çalıştırın. Birkaç film seçtiğinizde, yeni modeli otomatik olarak indirmeli ve öneriler oluşturmaya başlamalıdır!

11. Tebrikler!

TensorFlow Lite ve Firebase'i kullanarak uygulamanıza bir öneri özelliği eklediniz. Bu codelab'de gösterilen tekniklerin ve ardışık düzenin genelleştirilebileceğini ve başka türdeki önerilere hizmet etmek için de kullanılabileceğini unutmayın.

Neleri ele aldık?

  • Firebase ML
  • Firebase Analizi
  • Analytics etkinliklerini BigQuery'ye aktarın
  • Analitik olaylarını ön işleme
  • TensorFlow modelini eğitme önerileri
  • Modeli dışa aktarın ve Firebase Konsoluna dağıtın
  • Bir uygulamada film önerileri sunma

Sonraki adımlar

  • Firebase ML önerilerini uygulamanıza uygulayın.

Daha fazla bilgi edin

Bir Sorunuz mu var?

Sorunları Bildir