Varinha mágica de IA com o TensorFlow Lite para microcontroladores e Arduino

1. Introdução

O que você vai criar

Neste codelab, vamos aprender a usar o TensorFlow Lite para microcontroladores a fim de executar um modelo de aprendizado profundo no BLE Arduino Nano 33. O microcontrolador é transformado em uma "varinha mágica" digital pelo usuário acenar e lançar vários feitiços. Conforme o usuário move a varinha, esses dados complexos e multidimensionais do sensor, que seriam inescrutáveis para um ser humano, são transmitidos como uma entrada para o modelo, o que gera uma classificação simples que nos alerta caso tenha ocorrido um dos vários movimentos.

Machine learning em microcontroladores

O machine learning pode ser usado para criar ferramentas inteligentes que tornam como o Google Assistente. No entanto, essas experiências costumam exigir muita computação ou recursos, como um servidor de nuvem potente ou um desktop. No entanto, agora é possível realizar inferências de machine learning em hardwares minúsculos e de baixa potência, como microcontroladores.

Microcontroladores são extremamente comuns, baratos, requerem muito pouca energia e são muito confiáveis. Eles são parte de todos os tipos de dispositivos domésticos: eletrodomésticos, carros e brinquedos. Na verdade, cerca de 30 bilhões de dispositivos com microcontroladores são produzidos todos os anos.

Ao levar o aprendizado de máquina para microcontroladores minúsculos, podemos aumentar a inteligência de bilhões de dispositivos que usamos em nossas vidas, sem depender de hardware caro ou conexões de Internet confiáveis. Imagine eletrodomésticos inteligentes que se adaptam à sua rotina diária, sensores industriais inteligentes que entendem a diferença entre problemas e operação normal e brinquedos mágicos que podem ajudar as crianças a aprender de forma divertida e divertida.

TensorFlow Lite para microcontroladores (software)

O TensorFlow é o framework de machine learning de código aberto do Google para treinamento e execução de modelos. O TensorFlow Lite é um framework de software, uma versão otimizada do TensorFlow, destinada à execução de modelos do TensorFlow em dispositivos pequenos e relativamente de baixa potência, como smartphones.

O TensorFlow Lite para microcontroladores é um framework de software, uma versão otimizada do TensorFlow, destinada a executar modelos do TensorFlow em hardware pequeno e de baixa potência, como microcontroladores. Ele segue as restrições exigidas nesses ambientes incorporados, ou seja, tem um tamanho binário pequeno, não precisa de suporte a sistemas operacionais, bibliotecas C ou C++ padrão, alocação de memória dinâmica etc.

Arduino Nano 33 BLE (hardware)

O Arduino é uma plataforma popular de código aberto usada para a criação de projetos eletrônicos. Ela consiste em:

1. Uma placa de circuito programável física (geralmente um microcontrolador), como o Arduino Nano 33 BLE usado neste codelab.
2. O ambiente de desenvolvimento integrado (IDE, na sigla em inglês) do Arduino, software usado para escrever e fazer upload de código de computador para a placa física.

O Arduino Nano 33 BLE é uma plataforma baseada em microcontroladores: um computador pequeno em uma única placa de circuito. Ele tem processador, memória e hardware de E/S que permitem enviar e receber sinais digitais para outros dispositivos. Ao contrário de um computador, os microcontroladores não têm potência e geralmente não executam um sistema operacional. Em vez disso, elas têm processadores pequenos, sem muita memória, e os programas que você escreve são executados diretamente no hardware. No entanto, como eles foram projetados para ser o mais simples possível, um microcontrolador pode usar pouquíssima energia.

Observação:usamos o microcontrolador Arduino Nano 33 BLE, que é compatível com o TensorFlow Lite para microcontroladores, tem um acelerômetro de três eixos que pode ser usado para capturar e prever gestos, é pequeno e leve, o que o torna ideal para a criação de uma varinha mágica.

O que você aprenderá

• Configure o microcontrolador Arduino Nano 33 BLE e transforme-o em uma varinha mágica digital
• Configure o ambiente de desenvolvimento integrado do Arduino e instale as bibliotecas necessárias.
• Implantar o programa no dispositivo
• Lance vários feitiços acenando com a varinha mágica e confira as previsões

O que é necessário

• Laptop Linux, MacOS ou Windows
• Arduino Nano BLE Sense 33 (sem cabeçalhos)
• Cabo micro USB (se estiver usando um laptop USB-C, use um cabo USB-C para micro USB)
• (opcional) Base, cerca de 30 cm de comprimento
• Fita adesiva (opcional)

2. Configurar o microcontrolador Arduino

Descompactar o Arduino

Retire o item da caixa e retire da espuma da embalagem. Ela é condutora e, caso contrário, pode causar problemas!

Conecte ao seu laptop

• Conecte o cabo microUSB à entrada do chip.
• Conecte a outra extremidade do cabo a uma entrada USB no laptop.
• O LED inferior esquerdo do Arduino (canto superior esquerdo na imagem abaixo) acenderá.

Conhecer o fluxo de trabalho

Como mostrado no diagrama acima, o intérprete do TFLite no Arduino executa periodicamente a inferência no modelo. O modelo usa os dados processados do acelerômetro como entrada e gera uma previsão que sugere o gesto que provavelmente ocorreu. Além disso, a saída esperada é exibida, e os LEDs corretos acendem.

3. Configurar o ambiente de desenvolvimento integrado do Arduino

1. Faça o download do ambiente de desenvolvimento integrado do Arduino

Para implantar o programa no microcontrolador Arduino, usamos o ambiente de desenvolvimento integrado do Arduino.

Atenção:no momento, o Editor da Web do Arduino não é compatível com a criação e implantação do programa. Você precisa instalar e executar o ambiente de desenvolvimento integrado do Arduino localmente na sua máquina.

Fazer o download do ambiente de desenvolvimento integrado do Arduino

Depois de fazer o download, instale e abra o ambiente de desenvolvimento integrado do Arduino clicando no aplicativo com o seguinte ícone:

A página de destino inicial abriria da seguinte forma:

2. configurar o administrador do Conselho

1. No menu do Arduino, selecione Tools -> Board: "Arduino .." —> Boards Manager
2. Pesquise "Arduino Nano 33 BLE" e instale Arduino nRF528x Boards (Mbed OS). Isso garante que o microcontrolador Arduino Nano 33 BLE seja compatível com o ambiente de desenvolvimento integrado do Arduino.

Observação:talvez o administrador do quadro não corresponda ao mostrado na imagem acima. Não há problema. Verifique se o aplicativo instalado tem "Arduino Nano 33 BLE" listadas em "Pranchas incluídas neste pacote:" nesta seção.

3. No menu do Arduino, selecione Tools -> Board: "Arduino .." -> "Arduino Nano 33 BLE"

4. Por fim, verifique se a placa selecionada é "Arduino Nano 33 BLE". no canto inferior direito do IDE.

3. configurar a porta

No menu do Arduino, selecione Tools -> Port: "/.../" -> /dev/... (Arduino Nano 33 BLE). Você verá algo como:

Observação:a solução de problemas é uma arte preta em máquinas Linux, MacOS ou Windows. Um bom lugar para começar é aqui: https://www.arduino.cc/en/Guide/Troubleshooting#toc16. Além disso, verifique se a placa está conectada ao computador/laptop.

4. verificar a conexão da placa

No menu do Arduino, selecione Tools -> Get Board Info. Você verá algo como:

4. Instalar bibliotecas

1. biblioteca Arduino do TensorFlow

Essa biblioteca contém todos os exemplos do TensorFlow Lite para microcontroladores, incluindo o código-fonte da varinha mágica necessário para este codelab.

Fazer o download da biblioteca Arduino do TensorFlow

1. No menu do Arduino, selecione Sketch -> Include Library -> Add .ZIP Library...
2. Adicione a biblioteca Arduino do TensorFlow .zip que você transferiu por download.

2. LSM9DS1 Biblioteca Arduino

Essa biblioteca permite que você leia os valores do acelerômetro, do magnetômetro e do giroscópio da IMU LSM9DS1 no Arduino Nano 33 BLE Sense.

1. No menu do Arduino, selecione Sketch -> Include -> Manage Libraries...
2. Pesquise e instale o app "Arduino_LSM9DS1".

Observação:no menu do Arduino, selecione File -> Examples. Agora, Arduino_LSM9DS1 e Arduino_TensorFlowLite vão aparecer no menu. Caso contrário, execute as instruções acima novamente e certifique-se de que as instalou corretamente.

5. Carregar e criar o exemplo

1. Carregar o exemplo

No menu do Arduino, selecione File -> Examples -> Arduino_TensorFlowLite -> magic_wand para carregar o exemplo de código.

Isso carregará o código-fonte da varinha mágica.

2. Criar o exemplo

Clique no botão Upload na janela de esboço.

Observação:se aparecerem erros do compilador, isso significa que algo deu errado nas etapas anteriores de instalação do software. Corrija os problemas com base no erro encontrado. Remover e reconectar o cabo USB ao computador/laptop pode ajudar.

Depois de alguns minutos, você verá um texto em vermelho indicando que o flash terminou. Durante o upload, o LED direito pisca e escurece no final.

6. Demonstração

No momento, a varinha mágica detecta três gestos, conforme mostrado abaixo:

1. Asa: comece no canto superior esquerdo e trace com cuidado a letra "W". por dois segundos.
2. Anel: comece na vertical, mova a varinha em um círculo no sentido horário por um segundo.
3. Inclinação: comece segurando a varinha voltada para cima, com os LEDs na sua direção. Mova a varinha para baixo em uma inclinação à esquerda e depois horizontalmente para a direita por um segundo.

A imagem abaixo demonstra dois gestos. Primeiro, uma Pista e depois uma Wing (use-a como referência para sua demonstração).

Para executar a demonstração, siga as instruções abaixo:

1. Com o USB conectado, selecione Tools -> Serial Monitor no menu do Arduino. Inicialmente, ele abrirá uma tela em branco sem saída.

2. Mova o microcontrolador Arduino para traçar cada uma das formas acima com cuidado e ver se o monitor serial detecta o gesto.

3. Na saída do monitor serial, notamos que a varinha mágica detectou todas as formas! Você também notará que o LED direito acende.

7. Próximas etapas

Parabéns! Você criou sua primeira varinha mágica que reconhece gestos em um microcontrolador Arduino.

Esperamos que você tenha gostado desta breve introdução ao desenvolvimento com o TensorFlow Lite para microcontroladores. A ideia do aprendizado profundo em microcontroladores é nova e empolgante, e recomendamos que você saia e experimente.

Documentos de referência

• Treine seu próprio modelo, agora que você tem experiência em trabalhar com o programa básico.
• Saiba mais sobre o TensorFlow Lite para microcontroladores ( site, GitHub).
• Teste outros exemplos (link em inglês) e execute-os no Arduino, se ele for compatível.
• Teste o outro codelab: IA em um microcontrolador com o TensorFlow Lite e o SparkFun Edge
• Consulte o livro da O'Reilly: TinyML: Machine Learning with TensorFlow on Arduino and Ultra-Low Power Micro-Controllers (em inglês), que apresenta o machine learning em dispositivos pequenos e mostra vários projetos divertidos. Este codelab é baseado no capítulo 11 deste livro.

Obrigado e divirta-se criando!