Прикладний програмний інтерфейс відео-керування цифровим двійником

Abstract

Метою роботи є розробка прикладного програмного інтерфейсу відеокерування цифровим двійником. Об’єктом дослідження є процеси людино-машинної взаємодії в імерсивних цифрових середовищах. Методи досліджень: системний аналіз, методи комп'ютерного зору та глибокого навчання (MediaPipe BlazePose), математичне моделювання просторових рухів, процедурне програмування (Python) та тестування «чорний ящик». Результатом роботи є прикладний програмний інтерфейс відео-керування цифровим двійником, реалізований на мові програмування Python. Він дозволяє користувачеві взаємодіяти з імерсивним середовищем за допомогою рухів. Результати можуть бути використані в ігрових рушіях та інтерактивних симуляціях для впровадження природних методів керування, а також як інклюзивна асистивна технологія для користувачів із порушеннями дрібної моторики.

The purpose of the work is the development of an application programming interface for video control of a digital twin. The object of research is the processes of human-computer interaction in immersive digital environments. Research methods: system analysis, computer vision and deep learning methods (MediaPipe BlazePose), mathematical modeling of spatial movements, procedural programming (Python), and black-box testing. The result of the work is an application programming interface for video control of a digital twin, implemented in the Python programming language. It allows the user to interact with an immersive environment using movements. The results can be used in game engines and interactive simulations to implement natural control methods, as well as an inclusive assistive technology for users with fine motor impairments.