Волшебная палочка AI с TensorFlow Lite для микроконтроллеров и Arduino

1. Введение

Что ты построишь

В этой лабораторной работе мы научимся использовать TensorFlow Lite For Microcontrollers для запуска модели глубокого обучения на Arduino Nano 33 BLE . Микроконтроллер превращается пользователем в цифровую «волшебную палочку», позволяющую взмахивать руками и произносить различные заклинания. Когда пользователь перемещает палочку, эти сложные, многомерные данные датчиков, которые были бы непостижимы для человека, передаются в качестве входных данных в модель, которая выводит простую классификацию, которая предупреждает нас, если произошло одно из нескольких движений.

Машинное обучение на микроконтроллерах

Машинное обучение можно использовать для создания интеллектуальных инструментов, упрощающих жизнь пользователей, таких как Google Assistant . Но зачастую эти процессы требуют большого количества вычислений или ресурсов, включая мощный облачный сервер или настольный компьютер. Однако теперь можно выполнять выводы машинного обучения на крошечном маломощном оборудовании, таком как микроконтроллеры.

Микроконтроллеры чрезвычайно распространены, дешевы, требуют очень мало энергии и очень надежны. Они являются частью всех видов бытовых устройств: бытовой техники, автомобилей и игрушек. Фактически, ежегодно производится около 30 миллиардов устройств на базе микроконтроллеров.

Принеся машинное обучение к крошечным микроконтроллерам, мы можем повысить интеллект миллиардов устройств, которые мы используем в нашей жизни, не полагаясь на дорогостоящее оборудование или надежное подключение к Интернету. Представьте себе интеллектуальные приборы, которые могут адаптироваться к вашей повседневной жизни, интеллектуальные промышленные датчики, которые понимают разницу между проблемами и нормальной работой, и волшебные игрушки, которые могут помочь детям учиться весело и увлекательно.

TensorFlow Lite для микроконтроллеров (программное обеспечение)

TensorFlow — это платформа машинного обучения Google с открытым исходным кодом для обучения и запуска моделей. TensorFlow Lite — это программная платформа, оптимизированная версия TensorFlow, предназначенная для запуска моделей TensorFlow на небольших, относительно маломощных устройствах, таких как мобильные телефоны.

TensorFlow Lite для микроконтроллеров — это программная платформа, оптимизированная версия TensorFlow, предназначенная для запуска моделей тензорного потока на крошечном маломощном оборудовании, таком как микроконтроллеры. Он соответствует ограничениям, необходимым для этих встроенных сред, т. е. имеет небольшой двоичный размер, не требует поддержки операционной системы, каких-либо стандартных библиотек C или C++, динамического выделения памяти и т. д.

Arduino Nano 33 BLE (Аппаратное обеспечение)

Arduino — популярная платформа с открытым исходным кодом, используемая для создания электронных проектов. Это состоит из:

1. Физическая программируемая плата (часто микроконтроллер), такая как Arduino Nano 33 BLE, используемая в этой лаборатории.
2. Arduino IDE (интегрированная среда разработки), программное обеспечение, которое используется для записи и загрузки компьютерного кода на физическую плату.

Arduino Nano 33 BLE — это платформа на базе микроконтроллера: крошечный компьютер на одной плате. Он имеет процессор, память и аппаратное обеспечение ввода-вывода, которое позволяет ему отправлять и получать цифровые сигналы на другие устройства. В отличие от компьютера, микроконтроллер не является мощным и обычно не поддерживает операционную систему. Вместо этого у них маленькие процессоры, мало памяти, а программы, которые вы пишете, запускаются непосредственно на оборудовании. Но поскольку они спроектированы максимально простыми, микроконтроллер может потреблять очень мало энергии.

Примечание. Мы используем микроконтроллер Arduino Nano 33 BLE, поскольку он совместим с TensorFlow Lite для микроконтроллеров, имеет трехосный акселерометр, который можно использовать для захвата и прогнозирования жестов, а также небольшой и легкий размер, что делает его идеальным для создания волшебства. палочка!

Что ты будешь делать

• Настройте микроконтроллер Arduino Nano 33 BLE и превратите его в цифровую «волшебную палочку»
• Настройте Arduino IDE и установите необходимые библиотеки.
• Разверните программу на устройстве
• Произносите разнообразные заклинания, взмахнув волшебной палочкой, и просматривайте предсказания.

Что вам понадобится

• Ноутбук с Linux, MacOS или Windows
• Arduino Nano BLE Sense 33 (без разъемов)
• Кабель Micro USB (если у вас ноутбук с USB-C, вместо этого приобретите кабель USB-C — Micro USB )
• (по желанию) Палка длиной около 12 дюймов (30 см).
• (по желанию) Клейкая лента

2. Настройте микроконтроллер Arduino.

Распакуйте Arduino

Достаньте его из коробки и вытащите из упаковочной пены. Он проводит ток и в противном случае может вызвать проблемы!

Подключите его к ноутбуку

• Подключите кабель MicroUSB к разъему на чипе.
• Подключите другой конец кабеля к USB-разъему ноутбука.
• Нижний левый светодиод на Arduino (слева вверху на изображении ниже) должен загореться.

Ознакомьтесь с рабочим процессом

Как показано на схеме выше, интерпретатор TFLite на Arduino периодически выполняет логический вывод модели. Модель использует обработанные данные акселерометра в качестве входных данных и выдает прогноз, который предполагает наиболее вероятный жест. Далее будет распечатан желаемый результат и загорятся нужные светодиоды.

3. Настройте Arduino IDE.

1. Загрузите Arduino IDE.

Чтобы развернуть программу на микроконтроллере Arduino, мы используем Arduino IDE.

Внимание: в настоящее время мы не поддерживаем веб-редактор Arduino для сборки и развертывания программы. Вам необходимо установить и запустить Arduino IDE локально на вашем компьютере.

Загрузите Arduino IDE

После его скачивания установите и откройте Arduino IDE, нажав на приложение, значок которого выглядит следующим образом:

Начальная целевая страница откроется следующим образом:

2. Настройте менеджер досок.

1. В меню Arduino выберите Tools -> Board: "Arduino .." —> Boards Manager
2. Найдите "Arduino Nano 33 BLE" и установите Arduino nRF528x Boards (Mbed OS) . Это гарантирует, что наш микроконтроллер Arduino Nano 33 BLE поддерживается Arduino IDE.

Примечание. Менеджер досок, который вы видите, может не совпадать с тем, что показан на изображении выше, и это нормально. Убедитесь, что на устанавливаемой вами плате в разделе «Платы, включенные в этот пакет:» указано «Arduino Nano 33 BLE».

3. В меню Arduino выберите Tools -> Board: "Arduino .." -> "Arduino Nano 33 BLE"

4. Наконец, убедитесь, что выбранная вами плата — «Arduino Nano 33 BLE» в правом нижнем углу IDE.

3. Настройте порт

В меню Arduino выберите Tools -> Port: "/.../" -> /dev/... (Arduino Nano 33 BLE) . Вы должны увидеть что-то похожее на это:

Примечание. Устранение этой неполадки на компьютерах с Linux, MacOS или Windows — это чёрное искусство. Хорошее место для начала — здесь: https://www.arduino.cc/en/Guide/Troubleshooting#toc16 . Также убедитесь, что плата подключена к компьютеру/ноутбуку.

4. Проверьте подключение платы.

В меню Arduino выберите Tools -> Get Board Info . Вы должны увидеть что-то похожее на это:

4. Установите библиотеки

1. Библиотека TensorFlow Arduino

Эта библиотека содержит все примеры TensorFlow Lite для микроконтроллеров, включая исходный код «волшебной палочки», необходимый для этой лаборатории кода.

Загрузите библиотеку TensorFlow Arduino

1. В меню Arduino выберите Sketch -> Include Library -> Add .ZIP Library...
2. Добавьте загруженную библиотеку TensorFlow Arduino .zip .

2. Библиотека Arduino LSM9DS1.

Эта библиотека позволяет вам считывать значения акселерометра, магнитометра и гироскопа из IMU LSM9DS1 на вашем Arduino Nano 33 BLE Sense.

1. В меню Arduino выберите Sketch -> Include -> Manage Libraries...
2. Найдите и установите "Arduino_LSM9DS1" .

Примечание. В меню Arduino выберите File -> Examples . Теперь вы сможете увидеть в меню Arduino_LSM9DS1 и Arduino_TensorFlowLite . Если нет, запустите приведенные выше инструкции еще раз и убедитесь, что вы установили их правильно.

5. Загрузите и соберите пример

1. Загрузите пример

В меню Arduino выберите File -> Examples -> Arduino_TensorFlowLite -> magic_wand чтобы загрузить пример кода.

Это загрузит исходный код волшебной палочки.

2. Создайте пример

Нажмите кнопку Upload в окне эскиза.

Примечание. Если вы видите ошибки компилятора, значит, на предыдущих этапах установки программного обеспечения что-то пошло не так. Устраните проблемы, связанные с замеченной вами ошибкой. Может помочь отключение и повторное подключение USB-кабеля к компьютеру/ноутбуку.

Через несколько минут вы должны увидеть красный текст, указывающий на завершение мигания. Во время загрузки правый светодиод должен мигать, а затем погаснуть.

6. Демо

Волшебная палочка в настоящее время может распознавать 3 жеста, как показано ниже:

1. Крыло : начните с верхнего левого угла и аккуратно обведите букву «W» в течение двух секунд.
2. Кольцо : начните вертикально, перемещайте палочку по кругу по часовой стрелке в течение одной секунды.
3. Наклон : для начала держите зонд вверх, светодиодами к себе. Переместите палочку вниз под наклоном влево, а затем горизонтально вправо на одну секунду.

На следующем изображении показаны два жеста. Сначала наклон, а затем крыло (используйте это как образец для своей демонстрации).

Чтобы запустить демо-версию, следуйте инструкциям, приведенным ниже:

1. Подключив USB, выберите Tools -> Serial Monitor в меню Arduino. Первоначально откроется пустой экран без вывода.

2. Переместите микроконтроллер Arduino, чтобы внимательно проследить каждую из вышеуказанных фигур и посмотреть, обнаружит ли последовательный монитор этот жест.

3. Судя по выводам последовательного монитора, мы замечаем, что волшебная палочка действительно обнаружила все формы! Вы также заметите, что загорается правый светодиод.

7. Следующие шаги

Поздравляем, вы успешно создали свою первую «волшебную палочку» с распознаванием жестов на микроконтроллере Arduino!

Мы надеемся, что вам понравилось это краткое введение в разработку микроконтроллеров с помощью TensorFlow Lite. Идея глубокого обучения микроконтроллеров нова и интересна, и мы призываем вас экспериментировать!

Справочная документация

• Обучите свою собственную модель теперь, когда у вас есть опыт работы с базовой программой.
• Узнайте больше о TensorFlow Lite для микроконтроллеров ( сайт , GitHub ).
• Попробуйте другие примеры и попробуйте запустить их на Arduino, если он поддерживается.
• Попробуйте другую кодовую лабораторию: искусственный интеллект на микроконтроллере с TensorFlow Lite и SparkFun Edge.
• Обратитесь к книге О'Рейли TinyML: Machine Learning with TensorFlow on Arduino и Ultra-Low Power Micro-Controllers , в которой рассказывается о машинном обучении на крошечных устройствах и рассказывается о нескольких интересных проектах. Эта кодовая лаборатория основана на главе 11 этой книги.

Спасибо и приятного вам строительства!