Особливості розпізнавання зображень нейроними мережами на прикладі MobileNetV1 та MobileNetV2 в системах на мікроконтролерах

Abstract

Мета роботи – дослідження залежності об’єму задіяної пам’яті мікроконтролера та часу розпізнавання зображення від типу згорткової нейронної мережі MobileNet V1 або V2 та їх гіперпараметрів. Створення бази даних зображень, необхідних для навчання нейронної мережі з використанням програмної платформи Edge Impulse з послідуючим завантаження мережі в пам’ять 32-х бітного мікроконтролера ESP32 для практичної оцінки характеристик мережі. Виконано порівняння характеристик нейронних мереж MobileNetV1 та MobileNetV2. Проведено експерименти для визначення залежності часу розпізнавання обраних об’єктів на зображенні, об’єму використаної оперативної пам’яті та пам’яті програм, на базі мікроконтролера ESP-EYE з камерою, в залежності від коефіцієнту ширини мережі, розміру зображення та архітектури згорткової нейронної мережі. Визначено, що час класифікації зображень для моделі мережі MobileNetV2 займає від трьох до десяти секунд і більше, що не є прийнятним для задач швидкого розпізнавання. Також встановлено, що для аналізу зображень 160 на 160 пікселів з максимальною шириною мережі моделі MobileNetV2 не вистачає пам’яті програм мікроконтролера. Використання мережі MobileNetV1 забезпечує дещо меншу точність розпізнавання, але вимагає значно менше ресурсів мікроконтролера та часу. Перевірено на практиці особливості використання, можливості та обмеження нейронних мереж для розпізнавання зображень в системах на мікроконтролерах ESP32. Встановлено залежності об’єму задіяної пам’яті мікроконтролера та часу розпізнавання зображення від типу згорткової нейронної з метою вибору додаткових засобів обробки зображень для підвищення якості розпізнавання. Отримані результати дозволяють здійснити вибір нейронної мережі MobileNetV1 або MobileNetV2 в залежності від конкретних задач розпізнавання зображень системами на мікроконтролерах.

Research on the dependence of the amount of microcontroller memory used and the image recognition time on the type of convolutional neural network MobileNet V1 or V2 and their hyperparameters. Creating a database of images necessary for training a neural network using the Edge Impulse software platform with subsequent loading of the network into the memory of a 32-bit microcontroller ESP32 for practical evaluation of network characteristics. A comparison of the characteristics of MobileNetV1 and MobileNetV2 neural networks was made. Experiments were conducted to determine the dependence of the recognition time of selected objects on the image, the amount of used RAM and program memory, based on the ESP-EYE microcontroller with a camera, depending on the network width ratio, image size and convolutional neural architecture network. It was determined that the time of image classification for the MobileNetV2 network model takes from three to ten seconds or more, which is not acceptable for fast recognition tasks. It was also found that the microcontroller program memory is insufficient to analyze the 160 by 160 pixel images with the maximum network width of the MobileNetV2 model. Using the MobileNetV1 network provides slightly lower recognition accuracy, but requires significantly less microcontroller resources and time. The peculiarities of the use, possibilities and limitations of neural networks for image recognition in systems based on ESP32 microcontrollers have been verified in practice. The dependence of the amount of memory used on the microcontroller and the time of image recognition on the type of convolutional neuron was established in order to select additional image processing tools to improve the quality of recognition. The obtained results allow the proper selection of the MobileNetV1 or MobileNetV2 neural network depending on the specific tasks of image recognition by systems on microcontrollers.