このページは Cloud Translation API によって翻訳されました。

TensorFlow Lite と Firebase を使用してアプリにおすすめを追加する - Android Codelab

1. 概要

「TensorFlow Lite と Firebase を使用したレコメンデーション」Codelab へようこそ。この Codelab では、TensorFlow Lite と Firebase を使用してレコメンデーションモデルをアプリにデプロイする方法を学びます。この Codelab は、TensorFlow Lite の例に基づいています。

おすすめ機能を使用すると、アプリで機械学習を使用して、ユーザーごとに最も関連性の高いコンテンツをインテリジェントに配信できます。過去のユーザー行動を考慮し、多数の他のユーザーの集計行動でトレーニングされたモデルを使用して、ユーザーが今後操作する可能性があるアプリのコンテンツを提案します。

このチュートリアルでは、Firebase Analytics を使用してアプリのユーザーからデータを取得し、そのデータからレコメンデーションのための機械学習モデルを構築し、そのモデルを Android アプリで使用して推論とレコメンデーションを取得する方法を説明します。特に、レコメンデーションでは、ユーザーが以前に高く評価した映画のリストに基づいて、そのユーザーが視聴する可能性が最も高い映画が提案されます。

学習内容

Firebase 向け Google アナリティクスを Android アプリに組み込み、ユーザー行動データを収集する
取得したデータを Google BigQuery にエクスポートする
データを前処理して TF Lite レコメンデーションモデルをトレーニングする
TF Lite モデルを Firebase ML にデプロイし、アプリからアクセスする
モデルを使用してデバイス上で推論を実行し、ユーザーにレコメンデーションを提案する

必要なもの

最新の Android Studio バージョン
サンプルコード。
Android 7 以降と Google Play 開発者サービス 9.8 以降を搭載したテストデバイス、または Google Play 開発者サービス 9.8 以降を搭載したエミュレータ
デバイスを使用する場合は、接続ケーブルが必要です。

このチュートリアルをどのように使用されますか？

通読のみ

通読して演習を行う

Android アプリの作成経験について、どのように評価されますか。

初心者

中級者

上級者

2. サンプルコードを取得する

コマンドラインから GitHub リポジトリのクローンを作成します。

$ git clone https://github.com/FirebaseExtended/codelab-contentrecommendation-android.git

3. スターターアプリをインポートする

Android Studio で、ダウンロードしたサンプルコードの codelab-recommendations-android ディレクトリ（）を選択します（[File] > [Open] > .../codelab-recommendations-android/start）。

これで、Android Studio で start プロジェクトが開いた状態になります。

4. Firebase コンソールプロジェクトを作成する

新しいプロジェクトを作成する

Firebase コンソールに移動します。
[プロジェクトを追加]（最初のプロジェクトの場合は [プロジェクトを作成]）を選択します。
プロジェクト名を選択または入力し、[続行] をクリックします。
[このプロジェクトで Google アナリティクスを有効にする] が有効になっていることを確認します。
Firebase コンソールで残りの設定手順を実施した後、[プロジェクトを作成]（既存の Google プロジェクトを使用している場合は [Firebase を追加]）をクリックします。

5. Firebase を追加する

新しいプロジェクトの概要画面で、Android アイコンをクリックして設定ワークフローを起動します。
Codelab のパッケージ名を入力します。com.google.firebase.codelabs.recommendations
[アプリを登録] を選択します。

アプリに google-services.json ファイルを追加する

パッケージ名を追加して [登録] を選択したら、[google-services.json をダウンロード] をクリックして Firebase Android 構成ファイルを入手し、google-services.json ファイルをプロジェクトの app ディレクトリにコピーします。ファイルをダウンロードしたら、コンソールに表示される次の手順をスキップできます（build-android-start プロジェクトですでに完了しています）。

アプリに google-services プラグインを追加する

google-services プラグインは、google-services.json ファイルを使用して、Firebase を使用するようにアプリケーションを構成します。次の行が、すでにプロジェクトの build.gradle.kts ファイルに追加されているはずです（確認してください）。

app/build.grade.kts

plugins {
    id("com.google.gms.google-services")
}

build.grade.kts

plugins {
    id("com.google.gms.google-services") version "4.3.15" apply false
}

プロジェクトと Gradle ファイルを同期する

アプリですべての依存関係を使用できるようにするには、この時点でプロジェクトを Gradle ファイルと同期する必要があります。Android Studio のツールバーで、[File] > [Sync Project with Gradle Files] を選択します。

6. スターターアプリを実行する

Android Studio にプロジェクトをインポートし、JSON ファイルで google-services プラグインを構成したので、アプリを初めて実行する準備が整いました。Android デバイスを接続して、Android Studio ツールバーの実行アイコン（実行.png ）をクリックします。

デバイスでアプリが起動します。この時点で、映画のリストを含むタブ、[高く評価した映画] タブ、[おすすめ] タブを表示するアプリケーションが機能しています。映画のリストで映画をクリックすると、高く評価したリストに追加できます。Codelab の残りの手順を完了すると、[おすすめ] タブで映画のおすすめを生成できるようになります。

7. Firebase 向け Google アナリティクスをアプリに追加する

このステップでは、Firebase 向け Google アナリティクスをアプリに追加して、ユーザーの行動データ（この場合はユーザーが好む映画）を記録します。このデータは、レコメンデーションモデルをトレーニングするための以降のステップで、集約して使用されます。

Firebase 部品構成表とアナリティクスの依存関係を追加する

Firebase 向け Google アナリティクスをアプリに追加するには、次の依存関係が必要です。これらの依存関係は、すでに app/build.gradle.kts ファイルに含まれているはずです（確認する必要があります）。

app/build.grade.kts

implementation(platform("com.google.firebase:firebase-bom:32.0.0"))
implementation("com.google.firebase:firebase-analytics-ktx")

アプリで Firebase 向け Google アナリティクスを設定する

LikedMoviesViewModel には、ユーザーが好む映画を保存する関数が含まれています。ユーザーが新しい映画に高評価を付けるたびに、アナリティクスログイベントも送信して記録します。

以下のコードに onMovieLiked 関数を追加して、ユーザーが映画の「いいね」をクリックしたときにアナリティクスイベントを登録します。

LikedMoviesViewModel.kt

import com.google.firebase.analytics.FirebaseAnalytics
import com.google.firebase.analytics.ktx.analytics
import com.google.firebase.analytics.ktx.logEvent
import com.google.firebase.ktx.Firebase


class LikedMoviesViewModel internal constructor (application: Application) : AndroidViewModel(application) {

    ...

    fun onMovieLiked(movie: Movie) {
        movies.setLike(movie, true)
        logAnalyticsEvent(movie.id.toString())
    }
       
}

次のフィールドと関数を追加して、映画がユーザーの [いいね！] リストに追加されたときにアナリティクスイベントをログに記録します。

LikedMoviesViewModel.kt

import com.google.firebase.analytics.FirebaseAnalytics
import com.google.firebase.analytics.ktx.analytics
import com.google.firebase.analytics.ktx.logEvent
import com.google.firebase.ktx.Firebase


class LikedMoviesViewModel internal constructor (application: Application) : AndroidViewModel(application) {
    ...
    private val firebaseAnalytics = Firebase.analytics

    ...

    /**
     * Logs an event in Firebase Analytics that is used in aggregate to train the recommendations
     * model.
     */
    private fun logAnalyticsEvent(id: String) {
        firebaseAnalytics.logEvent(FirebaseAnalytics.Event.SELECT_ITEM) {
            param(FirebaseAnalytics.Param.ITEM_ID, id)
        }
    }

8. アナリティクスとの統合をテストする

このステップでは、アプリでアナリティクスイベントを生成し、Firebase コンソールに送信されていることを確認します。

アナリティクスのデバッグロギングを有効にする

Firebase Analytics はバッテリー寿命を長持ちさせるように設計されており、デバイス上でイベントをバッチ処理し、不定期にしか Firebase に送信しません。デバッグのために、シェルで次のコマンドを実行すると、この動作を無効にして、ログに記録されたイベントをリアルタイムで確認できます。

ターミナル

adb shell setprop debug.firebase.analytics.app com.google.firebase.codelabs.recommendations

アナリティクスイベントが生成されたことを確認する

Android Studio で [Logcat] ウィンドウを開き、アプリからのログを調べます。
Logcat フィルタを文字列「Logging event」に設定します。
アプリで映画を高く評価するたびに「select_item」アナリティクスイベントが生成されていることを確認します。

これで、アプリに Firebase Analytics が正常に統合されました。ユーザーがアプリを使用して映画に「いいね」すると、高評価が集計されて記録されます。この Codelab の残りの部分では、この集計データを使用してレコメンデーションモデルをトレーニングします。以下の手順は省略可能です。これにより、Logcat で見たのと同じアナリティクスイベントが Firebase コンソールにストリーミングされます。次のページにスキップしてかまいません。

省略可: Firebase コンソールでアナリティクスイベントを確認する

Firebase コンソールに移動します。
[アナリティクス] で [DebugView] を選択します。
Android Studio で [Run] を選択してアプリを起動し、[いいね] リストに映画を追加します。
Firebase コンソールの DebugView で、アプリに映画を追加したときにこれらのイベントがログに記録されていることを確認します。

9. アナリティクスデータを BigQuery にエクスポートする

BigQuery は、大量のデータを調べて処理できる Google Cloud プロダクトです。このステップでは、Firebase コンソールプロジェクトを BigQuery に接続して、アプリによって生成されたアナリティクスデータが自動的に BigQuery にエクスポートされるようにします。

BigQuery へのエクスポートを有効にする

Firebase コンソールに移動します。
[プロジェクトの概要] の横にある設定の歯車アイコンを選択し、[プロジェクトの設定] を選択します。
[Integrations] タブを選択します。
BigQuery ブロック内の [リンク]（または [管理]）を選択します。
「Firebase と BigQuery のリンクについて」のステップで [次へ] を選択します。
[統合の設定] で、スイッチをクリックして Google アナリティクスデータの送信を有効にし、[BigQuery にリンク] を選択します。

Firebase コンソールプロジェクトで、Firebase Analytics イベントデータを BigQuery に自動的に送信できるようになりました。これは、それ以上何も操作しなくても自動的に行われますが、BigQuery で分析データセットを作成する最初のエクスポートは、24 時間行われない場合があります。データセットが作成されると、Firebase は BigQuery の新しいアナリティクスイベントをイントラデイテーブルに継続的にエクスポートし、過去のイベントをイベントテーブルにグループ化します。

レコメンデーションモデルのトレーニングには大量のデータが必要です。大量のデータを生成するアプリはまだないため、次のステップでは、このチュートリアルの残りの部分で使用するサンプルデータセットを BigQuery にインポートします。

10. BigQuery を使用してモデルのトレーニングデータを取得する

BigQuery にエクスポートするために Firebase コンソールを接続したので、しばらくすると、アプリ解析イベントデータが BigQuery コンソールに自動的に表示されます。このチュートリアルで使用する初期データを取得するために、このステップでは既存のサンプルデータセットを BigQuery コンソールにインポートしてレコメンデーションモデルのトレーニングに使用します。

サンプルデータセットを BigQuery にインポートする

Google Cloud コンソールの [BigQuery] ダッシュボードに移動します。
メニューでプロジェクト名を選択します。
BigQuery の左側のナビゲーションの下部でプロジェクト名を選択すると、詳細が表示されます。
[データセットを作成] を選択して、データセット作成パネルを開きます。
[データセット ID] に「firebase_recommendations_dataset」と入力し、[データセットを作成] を選択します。
新しいデータセットが左側のメニューのプロジェクト名の下に表示されます。これをクリックします。
[テーブルを作成] を選択して、テーブル作成パネルを開きます。
[テーブルの作成元] で [Google Cloud Storage] を選択します。
[GCS バケットからファイルを選択] フィールドに「gs://firebase-recommendations/recommendations-test/formatted_data_filtered.txt」と入力します。
[ファイル形式] プルダウンで [JSONL] を選択します。
[テーブル名] に「recommendations_table」と入力します。
[スキーマ] > [自動検出] > [スキーマと入力パラメータ] のチェックボックスをオンにします。
[テーブルを作成] を選択します。

サンプルデータセットを調べる

この時点で、必要に応じてスキーマを探索し、このデータセットをプレビューできます。

左側のメニューで [firebase-recommendations-dataset] を選択して、テーブルを展開します。
recommendations-table テーブルを選択して、テーブルスキーマを表示します。
[プレビュー] を選択すると、この表に含まれている実際のアナリティクスイベントデータを確認できます。

サービスアカウントの認証情報を作成する

Google Cloud コンソールプロジェクトで、次のステップで Colab 環境で BigQuery データにアクセスして読み込むために使用できるサービスアカウントの認証情報を作成します。

Google Cloud プロジェクトの課金が有効になっていることを確認します。
BigQuery と BigQuery Storage API API を有効にします。< こちらをクリック>
[サービスアカウントキーの作成] ページに移動します。
[サービスアカウント] リストから [新しいサービスアカウント] を選択します。
[サービスアカウント名] フィールドに名前を入力します。
[ロール] リストで、[プロジェクト] > [オーナー] を選択します。
[作成] をクリックします。キーを含む JSON ファイルがパソコンにダウンロードされます。

次のステップでは、Google Colab を使用してこのデータを前処理し、レコメンデーションモデルをトレーニングします。

11. データの前処理とレコメンデーションモデルのトレーニング

このステップでは、Colab ノートブックを使用して次の手順を行います。

BigQuery データを Colab ノートブックにインポートする
データを前処理してモデルのトレーニング用に準備する
分析データでレコメンデーションモデルをトレーニングする
モデルを TF Lite モデルとしてエクスポートする
モデルを Firebase コンソールにデプロイして、アプリで使用できるようにします。

Colab トレーニングノートブックをリリースする前に、まず Firebase Model Management API を有効にして、Colab がトレーニング済みモデルを Firebase コンソールにデプロイできるようにします。

Firebase Model Management API を有効にする

ML モデルを保存するバケットを作成する

Firebase コンソールで [Storage] に移動し、[始める] をクリックします。

ダイアログに従ってバケットを設定します。

Firebase ML API を有効にする

Google Cloud コンソールの Firebase ML API ページに移動し、[有効にする] をクリックします。

Colab ノートブックを使用してモデルをトレーニングしデプロイする

次のリンクを使用して Colab ノートブックを開き、手順を完了します。Colab ノートブックの手順を完了すると、アプリに同期できる TF Lite モデルファイルが Firebase コンソールにデプロイされます。

Colab で開く

12. アプリにモデルをダウンロードする

このステップでは、先ほどトレーニングしたモデルを Firebase Machine Learning からダウンロードするようにアプリを修正します。

Firebase ML の依存関係を追加する

アプリで Firebase ML モデルを使用するには、次の依存関係が必要です。すでに追加済み（確認）になっているはずです。

app/build.grade.kts

implementation("com.google.firebase:firebase-ml-modeldownloader:24.1.2")

Firebase Model Manager API を使用してモデルをダウンロードする

以下のコードを RecommendationClient.kt にコピーして、モデルのダウンロードが行われる条件を設定し、リモートモデルをアプリに同期するためのダウンロードタスクを作成します。

RecommendationClient.kt

    private fun downloadModel(modelName: String) {
        val conditions = CustomModelDownloadConditions.Builder()
            .requireWifi()
            .build()
        FirebaseModelDownloader.getInstance()
            .getModel(modelName, DownloadType.LOCAL_MODEL, conditions)
            .addOnCompleteListener {
                if (!it.isSuccessful) {
                    showToast(context, "Failed to get model file.")
                } else {
                    showToast(context, "Downloaded remote model: $modelName")
                    GlobalScope.launch { initializeInterpreter(it.result) }
                }
            }
            .addOnFailureListener {
                showToast(context, "Model download failed for recommendations, please check your connection.")
            }
    }

13. TensorFlow Lite レコメンデーションモデルをアプリに統合する

TensorFlow Lite ランタイムでは、アプリでモデルを使用してレコメンデーションを生成できます。前のステップでは、ダウンロードしたモデルファイルを使用して TFlite インタープリタを初期化しました。このステップでは、まず推論ステップでモデルに付随する辞書とラベルを読み込み、次にモデルへの入力を生成する前処理と、推論から結果を抽出する後処理を追加します。

辞書とラベルの読み込み

レコメンデーションモデルによってレコメンデーションの候補を生成するために使用されるラベルは、res/assets フォルダ内の sorted_movie_vocab.json ファイルにあります。次のコードをコピーして、これらの候補を読み込みます。

RecommendationClient.kt

    /** Load recommendation candidate list.  */
    private suspend fun loadCandidateList() {
        return withContext(Dispatchers.IO) {
            val collection = MovieRepository.getInstance(context).getContent()
            for (item in collection) {
                candidates[item.id] = item
            }
            Log.v(TAG, "Candidate list loaded.")
        }
    }

前処理を実装する

前処理のステップでは、モデルが期待するものと一致するように入力データの形式を変更します。ここでは、まだユーザーからの高評価がまだ多く生成されていない場合、入力の長さをプレースホルダ値で埋めます。下のコードをコピーします。

RecommendationClient.kt

    /** Given a list of selected items, preprocess to get tflite input.  */
    @Synchronized
    private suspend fun preprocess(selectedMovies: List<Movie>): IntArray {
        return withContext(Dispatchers.Default) {
            val inputContext = IntArray(config.inputLength)
            for (i in 0 until config.inputLength) {
                if (i < selectedMovies.size) {
                    val (id) = selectedMovies[i]
                    inputContext[i] = id
                } else {
                    // Padding input.
                    inputContext[i] = config.pad
                }
            }
            inputContext
        }
    }

インタープリタを実行して推奨事項を生成する

ここでは、前のステップでダウンロードしたモデルを使用して、前処理された入力に対して推論を実行します。モデルの入力と出力のタイプを設定し、推論を実行して映画のレコメンデーションを生成します。アプリに次のコードをコピーします。

RecommendationClient.kt

    /** Given a list of selected items, and returns the recommendation results.  */
    @Synchronized
    suspend fun recommend(selectedMovies: List<Movie>): List<Result> {
        return withContext(Dispatchers.Default) {
            val inputs = arrayOf<Any>(preprocess(selectedMovies))

            // Run inference.
            val outputIds = IntArray(config.outputLength)
            val confidences = FloatArray(config.outputLength)
            val outputs: MutableMap<Int, Any> = HashMap()
            outputs[config.outputIdsIndex] = outputIds
            outputs[config.outputScoresIndex] = confidences
            tflite?.let {
                it.runForMultipleInputsOutputs(inputs, outputs)
                postprocess(outputIds, confidences, selectedMovies)
            } ?: run {
                Log.e(TAG, "No tflite interpreter loaded")
                emptyList()
            }
        }
    }

後処理を実装する

最後に、このステップではモデルからの出力を後処理し、最も信頼度の高い結果を選択し、含まれている値（ユーザーがすでに高く評価した映画）を削除します。アプリに次のコードをコピーします。

RecommendationClient.kt

    /** Postprocess to gets results from tflite inference.  */
    @Synchronized
    private suspend fun postprocess(
        outputIds: IntArray, confidences: FloatArray, selectedMovies: List<Movie>
    ): List<Result> {
        return withContext(Dispatchers.Default) {
            val results = ArrayList<Result>()

            // Add recommendation results. Filter null or contained items.
            for (i in outputIds.indices) {
                if (results.size >= config.topK) {
                    Log.v(TAG, String.format("Selected top K: %d. Ignore the rest.", config.topK))
                    break
                }
                val id = outputIds[i]
                val item = candidates[id]
                if (item == null) {
                    Log.v(TAG, String.format("Inference output[%d]. Id: %s is null", i, id))
                    continue
                }
                if (selectedMovies.contains(item)) {
                    Log.v(TAG, String.format("Inference output[%d]. Id: %s is contained", i, id))
                    continue
                }
                val result = Result(
                    id, item,
                    confidences[i]
                )
                results.add(result)
                Log.v(TAG, String.format("Inference output[%d]. Result: %s", i, result))
            }
            results
        }
    }

アプリをテストする

アプリを再実行します。映画をいくつか選択すると、新しいモデルが自動的にダウンロードされ、レコメンデーションの生成が開始されます。

14. お疲れさまでした

TensorFlow Lite と Firebase を使用して、レコメンデーション機能をアプリに組み込みました。この Codelab で紹介する手法とパイプラインは一般化し、他のタイプのレコメンデーションにも応用できます。

学習した内容

Firebase ML
Firebase アナリティクス
分析イベントを BigQuery にエクスポートする
分析イベントを前処理する
レコメンデーション TensorFlow モデルのトレーニング
モデルをエクスポートして Firebase コンソールにデプロイする
アプリに映画のおすすめを提供する

次のステップ

Firebase ML の推奨事項をアプリに実装します。

TensorFlow Lite と Firebase を使用してアプリにおすすめを追加する - Android Codelab

1. 概要

学習内容

必要なもの

このチュートリアルをどのように使用されますか？

Android アプリの作成経験について、どのように評価されますか。

2. サンプルコードを取得する

3. スターター アプリをインポートする

4. Firebase コンソール プロジェクトを作成する

新しいプロジェクトを作成する

5. Firebase を追加する

アプリに google-services.json ファイルを追加する

アプリに google-services プラグインを追加する

プロジェクトと Gradle ファイルを同期する

6. スターター アプリを実行する

7. Firebase 向け Google アナリティクスをアプリに追加する

Firebase 部品構成表とアナリティクスの依存関係を追加する

8. アナリティクスとの統合をテストする

アナリティクスのデバッグ ロギングを有効にする

アナリティクス イベントが生成されたことを確認する

省略可: Firebase コンソールでアナリティクス イベントを確認する

9. アナリティクス データを BigQuery にエクスポートする

BigQuery へのエクスポートを有効にする

10. BigQuery を使用してモデルのトレーニング データを取得する

サンプル データセットを BigQuery にインポートする

サンプル データセットを調べる

サービス アカウントの認証情報を作成する

11. データの前処理とレコメンデーション モデルのトレーニング

Firebase Model Management API を有効にする

ML モデルを保存するバケットを作成する

Firebase ML API を有効にする

Colab ノートブックを使用してモデルをトレーニングしデプロイする

Colab で開く

12. アプリにモデルをダウンロードする

Firebase ML の依存関係を追加する

Firebase Model Manager API を使用してモデルをダウンロードする

13. TensorFlow Lite レコメンデーション モデルをアプリに統合する

辞書とラベルの読み込み

前処理を実装する

インタープリタを実行して推奨事項を生成する

後処理を実装する

アプリをテストする

14. お疲れさまでした

学習した内容

次のステップ

詳細

質問がある場合

問題を報告する

3. スターターアプリをインポートする

4. Firebase コンソールプロジェクトを作成する

6. スターターアプリを実行する

アナリティクスのデバッグロギングを有効にする

アナリティクスイベントが生成されたことを確認する

省略可: Firebase コンソールでアナリティクスイベントを確認する

9. アナリティクスデータを BigQuery にエクスポートする

10. BigQuery を使用してモデルのトレーニングデータを取得する

サンプルデータセットを BigQuery にインポートする

サンプルデータセットを調べる

サービスアカウントの認証情報を作成する

11. データの前処理とレコメンデーションモデルのトレーニング

13. TensorFlow Lite レコメンデーションモデルをアプリに統合する