1. 소개
참고: 이 Codelab을 테스트하려면 실제 기기가 필요합니다.
TensorFlow는 다목적 머신러닝 프레임워크입니다. TensorFlow는 클라우드의 클러스터 전반에서 대규모 모델을 학습시키거나 휴대전화와 같은 임베디드 시스템에서 로컬로 모델을 실행하는 데 이르기까지 어디서나 사용할 수 있습니다.
이 Codelab에서는 TensorFlow Lite를 사용하여 Android 기기에서 영상 인식 모델을 실행합니다.
Android 스튜디오 4.1 이상 설치
아직 설치하지 않았다면 TensorFlow Lite 모델을 학습시키는 동안 Android Studio 4.1 이상을 다운로드하여 설치합니다.
학습할 내용
- TensorFlow Lite Model Maker를 사용하여 자체 커스텀 이미지 분류자를 학습시키는 방법
- Android 스튜디오를 사용하여 TensorFlow Lite 모델을 가져와 CameraX를 통해 Android 앱에 맞춤 모델을 통합하는 방법
- 휴대전화에서 GPU를 사용하여 모델을 가속화하는 방법
빌드 대상
TensorFlow 영상 인식 프로그램을 실행하여 꽃을 식별하는 간단한 카메라 앱
라이선스: 무료 사용
2. Colab을 사용하여 꽃 인식기 학습시키기
모델 학습을 시작하기 전에 Android 스튜디오 4.1 이상을 다운로드하여 설치합니다.
TensorFlow Lite 전이 학습을 사용하여 꽃을 인식하도록 Keras로 분류기를 학습시키는 방법을 보여주는 Colab을 엽니다.
3. 작업 디렉터리 설정
Git 저장소 클론
다음 명령어는 이 Codelab에 필요한 파일이 포함된 Git 저장소를 클론합니다.
git clone https://github.com/hoitab/TFLClassify.git
다음으로 방금 저장소를 클론한 디렉터리로 이동합니다. 이 Codelab의 나머지 부분에서 작업할 부분은 다음과 같습니다.
cd TFLClassify
4. Android 스켈레톤 앱 설정
Android 스튜디오 4.1 이상 설치
아직 설치하지 않았다면 Android 스튜디오 4.1 이상 설치로 이동합니다.
Android 스튜디오로 프로젝트 열기
다음 단계에 따라 Android 스튜디오로 프로젝트를 엽니다.
- Android 스튜디오
를 엽니다. 로드가 완료되면 '기존 프로젝트 열기'를 선택합니다. 이 팝업에서 설정합니다.
- 파일 선택기에서 작업 디렉터리의
TFLClassify/build.gradle를 선택합니다.
- 'Gradle Sync'가 표시됩니다. gradle 래퍼 사용 여부를 묻는 팝업이 표시됩니다. '확인'을 클릭합니다.
- 아직 활성화하지 않은 경우 휴대폰에서 개발자 모델 및 USB 디버깅을 활성화합니다. 일회성 설정입니다. 이 안내를 따르세요.
- 프로젝트와 휴대전화가 모두 준비되면
TFL_Classify.start을 선택하고 툴바에서 실행 버튼
을 눌러 실제 기기에서 실행할 수 있습니다.
- 이제 TensorFlow 데모가 카메라에 액세스하도록 허용합니다.
- 휴대전화에 다음과 같이 실제 결과가 표시되는 자리에 임의의 숫자가 표시됩니다.
5. Android 앱에 TensorFlow Lite 추가
- 왼쪽의 프로젝트 탐색기에서
start모듈을 선택합니다.
start모듈을 마우스 오른쪽 버튼으로 클릭하거나File,New를 차례로 클릭합니다.Other>TensorFlow Lite Model
- 이전에 커스텀 학습된
FlowerModel.tflite를 다운로드한 모델 위치를 선택합니다.
Finish아이콘을 클릭합니다.- 끝부분에 다음이 표시됩니다. FlowerModel.tflite를 성공적으로 가져왔으며 입력 / 출력과 시작하는 데 도움이 되는 샘플 코드 등 모델에 관한 대략적인 정보를 표시합니다.
6. 선택사항: 모든 할 일 목록 체크아웃
TODO 목록을 사용하면 Codelab을 업데이트해야 하는 정확한 위치로 쉽게 이동할 수 있습니다. Android 프로젝트에서 이 기능을 사용하여 향후 작업을 떠올릴 수도 있습니다. 코드 주석을 사용하여 todo 항목을 추가하고 키워드 TODO를 입력할 수 있습니다. TODO 목록에 액세스하려면 다음 안내를 따르세요.
- 무엇을 할 것인지 확인하는 좋은 방법은 TODO 목록을 확인하는 것입니다. 이렇게 하려면 상단 메뉴 바에서
View>Tool Windows<ph type="x-smartling-placeholder">TODO</ph>
- 기본적으로 모든 모듈의 모든 TODO를 나열하므로 약간 혼란스럽습니다. TODO 패널 측면에 있는 그룹화 기준 버튼을 클릭하고
Modules를 선택하면 시작 TODO만 정렬할 수 있습니다.
- 시작 모듈 아래의 모든 항목을 펼칩니다.
7. TensorFlow Lite로 커스텀 모델 실행
- TODO 목록에서 TODO 1을 클릭하거나 MainActivity.kt 파일을 열고 TODO 1을 찾은 다음 다음 줄을 추가하여 모델을 초기화합니다.
private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
ImageAnalysis.Analyzer {
...
// TODO 1: Add class variable TensorFlow Lite Model
private val flowerModel = FlowerModel.newInstance(ctx)
...
}
- CameraX Analyzer의 Analyzer 메서드 내에서 카메라 입력
ImageProxy를Bitmap로 변환하고 추론 프로세스를 위한TensorImage객체를 만들어야 합니다.
override fun analyze(imageProxy: ImageProxy) {
...
// TODO 2: Convert Image to Bitmap then to TensorImage
val tfImage = TensorImage.fromBitmap(toBitmap(imageProxy))
...
}
- 이미지를 처리하고 결과에 대해 다음 작업을 실행합니다.
- 확률이 가장 높은
score속성에서 결과를 확률에 따라 내림차순으로 정렬합니다. - 상수
MAX_RESULT_DISPLAY로 정의된 상위 k개의 결과를 가져옵니다. 필요에 따라 이 변수의 값을 변경하여 결과를 더 많이 또는 더 적게 얻을 수 있습니다.
override fun analyze(imageProxy: ImageProxy) {
...
// TODO 3: Process the image using the trained model, sort and pick out the top results
val outputs = flowerModel.process(tfImage)
.probabilityAsCategoryList.apply {
sortByDescending { it.score } // Sort with highest confidence first
}.take(MAX_RESULT_DISPLAY) // take the top results
...
}
- 정렬 및 필터링된 결과를 데이터 결합을 통해
RecyclerView에서 사용할 수 있는 데이터 객체Recognition로 변환합니다.
override fun analyze(imageProxy: ImageProxy) {
...
// TODO 4: Converting the top probability items into a list of recognitions
for (output in outputs) {
items.add(Recognition(output.label, output.score))
}
...
}
- 이전에 표시된 가짜 결과를 생성하는 데 도움이 되는 다음 행을 주석 처리하거나 삭제합니다.
// START - Placeholder code at the start of the codelab. Comment this block of code out.
for (i in 0..MAX_RESULT_DISPLAY-1){
items.add(Recognition("Fake label $i", Random.nextFloat()))
}
// END - Placeholder code at the start of the codelab. Comment this block of code out.
TFL_Classify.start를 선택하고 툴바에서 실행 버튼을 눌러 실제 기기에서 앱을 실행합니다.
- 휴대전화에 다음과 같이 실제 결과가 표시되는 자리에 임의의 숫자가 표시됩니다.
8. 선택사항: GPU 위임으로 추론 가속화
TensorFlow Lite는 휴대기기에서 추론 속도를 높이기 위해 여러 하드웨어 가속기를 지원합니다. GPU는 TensorFlow Lite가 대리자 메커니즘을 통해 활용할 수 있는 가속기 중 하나이며 매우 사용하기 쉽습니다.
start모듈 아래에서 build.gradle을 열거나 TODO 목록에서 TODO 5를 클릭하여 다음 종속 항목을 추가할 수 있습니다.
// TODO 5: Optional GPU Delegates
implementation 'org.tensorflow:tensorflow-lite-gpu:2.3.0'
- MainActivity.kt 파일로 돌아가거나 TODO 목록에서 TODO 6을 클릭합니다. flowerModel의 간단한 시작을 다음과 같이 바꿉니다. GPU 호환성 목록의 인스턴스를 가져오고 GPU가 나열된 호환 GPU 중 하나인지에 따라 GPU를 초기화합니다. 그 외의 경우에는 대신 4개의 CPU 스레드를 시작하여 모델을 실행합니다.
private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
ImageAnalysis.Analyzer {
...
// TODO 1: Add class variable TensorFlow Lite Model
// Initializing the flowerModel by lazy so that it runs in the same thread when the process
// method is called.
private val flowerModel: FlowerModel by lazy{
// TODO 6. Optional GPU acceleration
val compatList = CompatibilityList()
val options = if(compatList.isDelegateSupportedOnThisDevice){
Log.d(TAG, "This device is GPU Compatible ")
Model.Options.Builder().setDevice(Model.Device.GPU).build()
} else {
Log.d(TAG, "This device is GPU Incompatible ")
Model.Options.Builder().setNumThreads(4).build()
}
...
}
- 메서드 입력에
options를 추가하여 이를 사용하도록 모델 이니셜라이저를 변경합니다.
private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
ImageAnalysis.Analyzer {
private val flowerModel: FlowerModel by lazy{
...
// Initialize the Flower Model
FlowerModel.newInstance(ctx, options)
}
}
TFL_Classify.start를 선택하고 툴바에서 실행 버튼을 눌러 실제 기기에서 앱을 실행합니다.
9. 다음 단계
자세한 내용은 다음 링크를 참고하세요.
- tfhub.dev의 ML 모델 결합과 호환되는 다른 TFLite 모델 사용해 보기
- tensorflow.org 및 코드 저장소의 문서에서 TFLite에 관해 자세히 알아보세요.
- 음성 핫워드 감지기 및 스마트 답장의 기기 내 버전을 비롯한 다른 TFLite 선행 학습된 모델 사용해 보기
- 시작하기 문서를 통해 TensorFlow의 일반적인 내용을 자세히 알아보세요.