Застосунок обробки природної мови на основі легких трансформерних моделей для класифікації текстів

Abstract

Метою даної кваліфікаційної роботи є розробка та тестування програмного застосунку для класифікації україномовних текстів з використанням оптимізованих трансформерних моделей для забезпечення високої швидкодії на пристроях з обмеженими ресурсами. У роботі проведено аналіз архітектур трансформерів, методів дистиляції знань та квантування. Реалізовано програмний конвеєр на базі моделі BERT, оптимізований за допомогою середовища ONNX Runtime. Для взаємодії з користувачем розроблено веб-інтерфейс на основі бібліотеки Gradio. Результати експериментального дослідження підтвердили, що застосування графової оптимізації дозволило прискорити процес формування логічного висновку у 4,69 рази, знизивши середню затримку на запит до 44,98 мс без втрати точності класифікації.

The aim of this qualification thesis is to develop and test a software application for classifying Ukrainian-language texts using optimised Transformer models to ensure high performance on devices with limited resources. The thesis analyses transformer architectures, knowledge distillation methods and quantisation. A software pipeline based on the BERT model, optimised using the ONNX Runtime environment, has been implemented. A web interface based on the Gradio library has been developed for user interaction. The results of the experimental study confirmed that the application of graph optimisation accelerated the process of forming a logical conclusion by a factor of 4.69, reducing the average latency per query to 44.98 ms without any loss of classification accuracy.