Нейромережева система інтерактивного діалогу з музейними експонатами на основі технологій обробки природної мови

Abstract

Метою кваліфікаційної роботи є розробка та програмна реалізація нейромережевої системи інтерактивного голосового діалогу з музейними експонатами на основі технологій обробки природної мови та архітектури Retrieval-Augmented Generation. Методами дослідження обрано: метод аналізу для вивчення існуючих реалізацій інтерактивних музейних AI-систем, метод синтезу для поєднання компонентів ASR, RAG та TTS в єдиний конвеєр, методи обробки природної мови для аналізу голосових запитів і генерації відповідей від імені персонажа, метод векторного пошуку для семантичної вибірки контексту з бази знань, а також методи тестування програмного забезпечення. Результатом виконання кваліфікаційної роботи є нейромережева система інтерактивного діалогу з музейними експонатами, яка забезпечує прийом голосового запиту відвідувача, розпізнавання мовлення, семантичний пошук релевантної інформації в базі знань, формування збагаченого контексту, генерацію відповіді від імені музейного персонажа, синтез мовлення та повернення користувачу текстової й аудіовідповіді. Результати роботи можуть бути використані для розробки інтерактивних музейних AI-систем, інтелектуальних аудіогідів, голосових асистентів для культурно-освітніх установ, вебзастосунків для діалогу з музейними експонатами, а також програмних рішень на основі технологій обробки природної мови, великих мовних моделей та RAG-архітектури.

The purpose of the qualification work is the development and software implementation of a neural network system for interactive voice dialogue with museum exhibits based on natural language processing technologies and the Retrieval-Augmented Generation architecture. The research methods include: the method of analysis for studying existing implementations of interactive museum AI systems; the method of synthesis for combining ASR, RAG, and TTS components into a single pipeline; natural language processing methods for analyzing voice queries and generating responses on behalf of a character; the vector search method for semantic retrieval of context from the knowledge base; as well as software testing methods. The result of the qualification work is a neural network system for interactive dialogue with museum exhibits, which provides reception of a visitor’s voice query, speech recognition, semantic search for relevant information in the knowledge base, formation of an enriched context, generation of a response on behalf of a museum character, speech synthesis, and returning both text and audio responses to the user. The results of the work can be used for the development of interactive museum AI systems, intelligent audio guides, voice assistants for cultural and educational institutions, web applications for dialogue with museum exhibits, as well as software solutions based on natural language processing technologies, large language models, and RAG architecture.