Програмний модуль автоматичного генерування субтитрів та онлайн перекладу відео

Abstract

Метою кваліфікаційної роботи є розробка десктопного програмного модуля SubGen AI для автоматичного розпізнавання мовлення у відеофайлах, генерування субтитрів у форматах SRT та VTT та їх онлайн перекладу на цільову мову. Застосунок реалізовано мовою Python 3.11 з використанням двошарової архітектури: шар ядра (core) та шар графічного інтерфейсу (gui) на базі бібліотеки tkinter. Розпізнавання мовлення виконується моделлю Whisper від OpenAI, що підтримує 99 мов та п'ять конфігурацій (tiny, base, small, medium, large). Переклад субтитрів здійснюється посегментно через GoogleTranslator з бібліотеки deep-translator зі збереженням таймкодів оригіналу на рівні 100%. Реалізовано опціональний модуль TTS-озвучення на базі gTTS та FFmpeg з трьома режимами мікшування аудіодоріжок. Тестування підтвердило WER від 3.1% для академічного мовлення (модель large) до 13.2% для акцентованого мовлення (модель small).

The purpose of the qualification work is to develop the SubGen AI desktop software module for automatic speech recognition in video files, subtitle generation in SRT and VTT formats and their online translation into target languages. The application is implemented in Python 3.11 using a two-layer architecture: a core layer and a graphical user interface layer based on the tkinter library. Speech recognition is performed by OpenAI's Whisper model, which supports 99 languages and five configurations (tiny, base, small, medium, large). Subtitle translation is performed segment-by-segment via GoogleTranslator from the deep-translator library, preserving the original timecodes at 100%. An optional TTS dubbing module based on gTTS and FFmpeg with three audio mixing modes has been implemented. Testing confirmed WER ranging from 3.1% for academic speech (large model) to 13.2% for accented speech (small model).