Високопродуктивний модуль комп’ютерного зору для потокового відео

Abstract

Метою кваліфікаційної роботи є розробка високопродуктивного модуля комп’ютерного зору для потокового відео, орієнтованого на використання в edgeсередовищі та на платформі Nvidia Jetson. В роботі розглянуто предметну область потокової відеоаналітики, виконано аналіз існуючих edge-рішень, сформульовано вимоги до модуля та обґрунтовано доцільність використання платформи Nvidia Jetson, проміжного формату ONNX і засобу оптимізації TensorRT. В роботі використано методи системного та структурно-функціонального аналізу, алгоритмічного моделювання, комп’ютерного зору, глибокого навчання, структурного проектування програмних систем та експериментального оцінювання продуктивності. Розроблено загальну структуру модуля, алгоритмічне забезпечення, інформаційне забезпечення для опису вхідних і вихідних даних, а також програмно-технологічний стенд з web-інтерфейсом, модуль завантаження відео, модуль роботи з відеоджерелом, модуль обробки кадрів, засоби візуалізації. Під час реалізації використано Linux-середовище, мову Python, фреймворк Flask, бібліотеки OpenCV, NumPy та PyYAML. Практичне значення роботи полягає у створенні працездатного прототипу системи потокової відеоаналітики, який може бути використаний як основа для систем відеоспостереження, транспортного моніторингу, контролю виробничих процесів та інших прикладних edge-рішень.

The aim of the qualification thesis is to develop a high-performance computer vision module for streaming video, intended for use in an edge environment and on the Nvidia Jetson platform. The work examines the domain of streaming video analytics, analyzes existing edge solutions, formulates the requirements for the module, and substantiates the feasibility of using the Nvidia Jetson platform, the ONNX intermediate format, and the TensorRT optimization tool. The work employs methods of system and structural-functional analysis, algorithmic modeling, computer vision, deep learning, structural design of software systems, and experimental performance evaluation. The general structure of the module, the algorithmic support, the information support for describing input and output data, as well as a software and technology testbed with a web interface, a video upload module, a video source handling module, a frame processing module, and visualization tools have been developed. During implementation, a Linux environment, the Python programming language, the Flask framework, and the OpenCV, NumPy, and PyYAML libraries were used. The practical significance of the work lies in the creation of a functional prototype of a streaming video analytics system that can be used as a basis for video surveillance systems, transport monitoring, production process control, and other applied edge solutions.