Android で TensorFlow Lite を使用して花を認識する

1. はじめに

注: この Codelab のテストには実機が必要です。

TensorFlow は多目的の ML フレームワークです。TensorFlow は、クラウド上のクラスタをまたいで巨大なモデルをトレーニングすることから、スマートフォンなどの組み込みシステムでモデルをローカルで実行することまで、あらゆる用途に使用できます。

この Codelab では、TensorFlow Lite を使用して Android デバイスで画像認識モデルを実行します。

Android Studio 4.1 以降をインストールする

まだインストールしていない場合は、TensorFlow Lite モデルのトレーニング中に AndroidStudio 4.1 以降をダウンロードしてインストールしてください。

学習内容

• TensorFlow Lite Model Maker を使用して独自のカスタム画像分類器をトレーニングする方法。
• Android Studio で TensorFlow Lite モデルをインポートし、CameraX を使用して Android アプリにカスタムモデルを統合する方法。
• スマートフォンで GPU を使用してモデルを高速化する方法。

作業内容

TensorFlow 画像認識プログラムを実行して花を識別するシンプルなカメラアプリ。

ライセンス: 無料で使用できる

2. Colab を使用して花認識機能をトレーニングする

モデルのトレーニングを開始する前に、Android Studio 4.1 以降のダウンロードとインストールを開始します。

Colab を開くと、TensorFlow Lite の転移学習を使用して花を認識するように Keras で分類器をトレーニングする方法を確認できます。

次のことを確認してください。

1. トレーニング済みモデル（model.tflite）をダウンロードし、
2. ファイル名を FlowerModel.tflite に変更しました。

確認してから次に進みます。

一部のブラウザではダウンロードがブロックされることがあります。

ファイルをダウンロードする権限を Colab に付与する必要があります。

3. 作業ディレクトリを設定する

Git リポジトリのクローンを作成する

次のコマンドは、この Codelab に必要なファイルを含む Git リポジトリのクローンを作成します。

git clone https://github.com/hoitab/TFLClassify.git

次に、リポジトリのクローンを作成したディレクトリに移動します。この Codelab の残りの部分は、ここで作業を行います。

cd TFLClassify

4. Android スケルトン アプリをセットアップする

Android Studio 4.1 以降をインストールする

まだインストールしていない場合は、AndroidStudio 4.1 以降をインストールします。

Android Studio でプロジェクトを開く

Android Studio でプロジェクトを開くには、次の操作を行います。

1. Android Studio を開きます。読み込まれたら [Open an Existing project] を選択します。クリックします。

2. ファイル セレクタで、作業ディレクトリから TFLClassify/build.gradle を選択します。

このプロジェクトには、start と finish の 2 つのモジュールが含まれています。行き詰まった場合は、finish モジュールでヒントをご覧ください。

3. [Gradle Sync] が表示されます。ポップアップが表示され、初めてプロジェクトを開いたときに Gradle ラッパーの使用について尋ねられます。[OK] をクリックします。

4. スマートフォンでデベロッパー モデルと USB デバッグを有効にします（まだ有効にしていない場合）。このセットアップは 1 回限りです。こちらの手順に沿って操作してください。
5. プロジェクトとスマートフォンの両方の準備ができたら、TFL_Classify.start を選択してツールバーの実行ボタン を押すと、実際のデバイスで実行できます。

6. 次に、Tensorflow デモにカメラへのアクセスを許可します。

7. スマートフォンに表示される次の画面に、実際の結果が表示される場所の代わりに乱数が表示されます。

5. TensorFlow Lite を Android アプリに追加する

1. 左側のプロジェクト エクスプローラで start モジュールを選択します。

2. start モジュールを右クリックするか、File をクリックしてから New をクリックします。Other >TensorFlow Lite Model

3. 先ほどカスタム トレーニングされた FlowerModel.tflite をダウンロードしたモデルの場所を選択します。

なお、このツールは、ML モデル バインディングと Android モジュールの build.gradle ファイルに自動的に挿入されるすべての依存関係を使用して、ユーザーに代わってモジュールの依存関係を構成します。

4. [Finish] をクリックします。
5. 最後に、次の内容が表示されます。FlowerModel.tflite が正常にインポートされ、入力 / 出力やサンプル コードなど、モデルに関する概要情報が表示されています。

6. 省略可: すべての ToDo リストを確認する

TODO リストを使用すると、Codelab を更新する必要がある正確な場所に簡単に移動できます。また、Android プロジェクトで今後の作業の参考にすることもできます。コードコメントを使用して ToDo アイテムを追加し、キーワード TODO を入力します。TODO リストには、次の方法でアクセスできます。

1. これから行う作業を確認するには、TODO リストを確認することをおすすめします。上部のメニューバーから View >Tool Windows >TODO

2. デフォルトでは、すべてのモジュール内のすべての TODO が一覧表示されるため、少しわかりにくくなっています。TODO パネルの横にあるグループ条件ボタンをクリックして Modules を選択することで、開始 TODO だけを並べ替えることができます

3. 開始モジュールのすべての項目を開きます。

7. TensorFlow Lite でカスタムモデルを実行する

1. TODO リストの TODO 1 をクリックするか、MainActivity.kt ファイルを開き、TODO 1 を見つけて次の行を追加してモデルを初期化します。

private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
        ImageAnalysis.Analyzer {

  ...
  // TODO 1: Add class variable TensorFlow Lite Model
  private val flowerModel = FlowerModel.newInstance(ctx)

  ...
}

2. CameraX Analyzer の analyze メソッド内で、カメラ入力 ImageProxy を Bitmap に変換し、推論プロセス用の TensorImage オブジェクトを作成する必要があります。

現在のツールでは、画像入力を Bitmap 形式にする必要があります。

• つまり、入力が ImageProxy ではなくファイルの場合は、Bitmap オブジェクトとしてメソッド fromBitmap に直接フィードできます。
• ImageProxy が Bitmap に変換される仕組みについては、toBitmap メソッドと YuvToRgbConverter をご覧ください。TensorImage の ImageProxy サポートに向けてチームが取り組んでいく中で、これらのメソッドのニーズは一時的なものとなることが予想されます。

override fun analyze(imageProxy: ImageProxy) {
  ...
  // TODO 2: Convert Image to Bitmap then to TensorImage
  val tfImage = TensorImage.fromBitmap(toBitmap(imageProxy))
  ...
}

3. 画像を処理し、結果に対して次の操作を実行します。

• score 属性の結果を確率に基づいて降順で並べ替えます。
• 定数 MAX_RESULT_DISPLAY で定義された上位 k 個の結果を取得します。必要に応じて、この変数の値を変更して、表示される結果を増減できます。

override fun analyze(imageProxy: ImageProxy) {
  ...
  // TODO 3: Process the image using the trained model, sort and pick out the top results
  val outputs = flowerModel.process(tfImage)
      .probabilityAsCategoryList.apply {
          sortByDescending { it.score } // Sort with highest confidence first
      }.take(MAX_RESULT_DISPLAY) // take the top results

  ...
}

4. データ バインディングを使用して、並べ替えとフィルタリングが行われた結果を、RecyclerView で利用できるデータ オブジェクト Recognition に変換します。

override fun analyze(imageProxy: ImageProxy) {
  ...
  // TODO 4: Converting the top probability items into a list of recognitions
  for (output in outputs) {
      items.add(Recognition(output.label, output.score))
  }
  ...
}

5. 以下の行をコメントアウトするか削除します。これは、以前に見た偽の結果を生成するのに役立ちます。

// START - Placeholder code at the start of the codelab. Comment this block of code out.
for (i in 0..MAX_RESULT_DISPLAY-1){
    items.add(Recognition("Fake label $i", Random.nextFloat()))
}
// END - Placeholder code at the start of the codelab. Comment this block of code out.

8. TFL_Classify.start を選択してツールバーの実行ボタン を押して、実際のデバイスでアプリを実行します。

9. スマートフォンに表示される次の画面に、実際の結果が表示される場所の代わりに乱数が表示されます。

8. 省略可: GPU デリゲートを使用して推論を高速化する

TensorFlow Lite は、モバイル デバイスでの推論を高速化するために、いくつかのハードウェア アクセラレータをサポートしています。GPU は、TensorFlow Lite がデリゲート メカニズムを通じて活用できるアクセラレータの 1 つで、非常に簡単に使用できます。

1. start モジュールの build.gradle を開くか、TODO リストの下にある TODO 5 をクリックして、次の依存関係を追加します。

// TODO 5: Optional GPU Delegates    
implementation 'org.tensorflow:tensorflow-lite-gpu:2.3.0'

注: この Codelab では手動でこのインポートを追加しますが、プロジェクトで行う場合は、インポート画面の 2 番目のボックスをオンにして GPU アクセラレーションの依存関係を追加できます。

2. MainActivity.kt ファイルに戻るか、TODO リストで [TODO 6] をクリックします。flowerModel の単純な開始を次のように置き換えます。GPU 互換性リストのインスタンスを取得し、リストにある互換性のある GPU のいずれかに該当するかどうかに応じて GPU を初期化します。それ以外の場合は、代わりに 4 つの CPU スレッドを開始してモデルを実行します。

private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
        ImageAnalysis.Analyzer {
  ...

  // TODO 1: Add class variable TensorFlow Lite Model
  // Initializing the flowerModel by lazy so that it runs in the same thread when the process
  // method is called.
  private val flowerModel: FlowerModel by lazy{

    // TODO 6. Optional GPU acceleration
    val compatList = CompatibilityList()

    val options = if(compatList.isDelegateSupportedOnThisDevice){
        Log.d(TAG, "This device is GPU Compatible ")
        Model.Options.Builder().setDevice(Model.Device.GPU).build()
    } else {
        Log.d(TAG, "This device is GPU Incompatible ")
        Model.Options.Builder().setNumThreads(4).build()
    }

  ...
}

注: Model オブジェクトが複数あります。インポートではオブジェクト org.tensorflow.lite.support.model.Model を選択してください

3. メソッドの入力に options を追加して、これを使用するようにモデル イニシャライザを変更します。

private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
        ImageAnalysis.Analyzer {

  private val flowerModel: FlowerModel by lazy{

    ...

    // Initialize the Flower Model
    FlowerModel.newInstance(ctx, options)
  }
}

10. TFL_Classify.start を選択してツールバーの実行ボタン を押して、実際のデバイスでアプリを実行します。

中規模/ハイエンドのモバイル デバイスでは、GPU は CPU よりもはるかに高速です。ローエンド デバイスでは GPU が遅くなる傾向があるため、実際の速度は一定ではありません。

9. 次のステップ

詳しくは、以下のリンクをご覧ください。

• tfhub.dev の ML モデル バインディングと互換性のある他の TFLite モデルを試す。
• TFLite の詳細については、tensorflow.org のドキュメントとコード リポジトリをご覧ください。
• 音声起動ワード検出機能やスマート リプライのオンデバイス バージョンなど、その他の TFLite 事前トレーニング済みモデルをお試しください。
• TensorFlow の詳細については、スタートガイドのドキュメントをご覧ください。