Інтелектуальна система керуванням обладнанням за допомогою розпізнавання жестів

Abstract

Метою роботи є розробка програмно-апаратного комплексу інтелектуального безконтактного керування обладнанням на основі розпізнавання просторово-часових патернів жестів оператора. Методи дослідження: методи комп'ютерного зору для зчитування 3Dкоординат; методи машинного (багатошаровий перцептрон) та глибокого навчання (рекурентні нейронні мережі) для класифікації жестів; методи математичної стандартизації просторових ознак, а також методи програмування мікроконтролерних систем. Результатом роботи є система, яка включає оптичний сенсор Leap Motion, інтелектуальне програмне ядро мовою Python (з моделями MLP та LSTM) та апаратний виконавчий рівень на базі мікроконтролера ATmega32U4. Розроблено алгоритми фільтрації помилкових спрацювань (дебаунсинг і кулдаун) та створено асинхронний графічний інтерфейс для моніторингу станів системи у реальному часі. Розроблений комплекс може бути використаний у робототехнічних системах, стерильних медичних приміщеннях, на промислових підприємствах зі шкідливими умовами праці, а також у системах автоматизації «розумного дому» для безпечного безконтактного керування пристроями.

The purpose of the work is to develop a system for intelligent contactless load control based on the recognition of spatio-temporal patterns of operator gestures. Research methods: computer vision methods for reading 3D coordinates; machine learning (multilayer perceptron) and deep learning (recurrent neural networks) methods for gesture classification; methods of mathematical standardization of spatial features, as well as programming methods for microcontroller systems. The result of the work is a hardware-software complex that includes a Leap Motion optical sensor, a Python-based intelligent software core (with MLP and LSTM models), and a hardware executive level based on the ATmega32U4 microcontroller. Algorithms for filtering false triggers (debouncing and cooldown) were developed, and an asynchronous graphical interface was created to monitor system states in real time. The developed complex can be used in robotic systems, sterile medical environments, at industrial enterprises with hazardous working conditions, and in "smart home" automation systems for safe contactless device control.