Програмний модуль створення субтитрів мови жестів з використанням комп'ютерного зору і машинного навчання

Abstract

Метою роботи є розроблення програмного модуля створення субтитрів мови жестів з використанням комп'ютерного зору і машинного навчання. Методами дослідження обрано аналіз предметної області та існуючих рішень, методи комп’ютерного зору для обробки відеопотоку, метод глибокого навчання із застосуванням рекурентних нейронних мереж (LSTM) для класифікації жестів, а також метод експериментального тестування для перевірки ефективності розробленого модуля. У результаті роботи спроєктовано та реалізовано програмний модуль, що забезпечує автоматичне розпізнавання жестів із відео й перетворення їх у текстові субтитри. Результати можуть бути використані в системах онлайн-комунікації, відеотрансляцій, освітніх та інших цифрових платформах для забезпечення іклюзивного та безбар’єрного простору спілкування.