Програмний модуль пошуку релевантної інформації на основі RAG

Abstract

Метою роботи є дослідження підходів до семантичного пошуку інформації та розроблення прогнозного програмного модуля для автоматизованого відбору та генерації релевантних відповідей на основі архітектури RAG (Retrieval-Augmented Generation) та аналізу інформаційних потреб користувача. Методами розроблення обрано метод аналізу (для дослідження існуючих підходів до інтелектуального пошуку та обробки природної мови), методи об'єктноорієнтованого аналізу та проектування (для побудови архітектури пошукового модуля), методи математичного та лінгвістичного моделювання (для обчислення семантичної близькості векторів текстових даних) та метод тестування (для оцінювання точності пошуку й генерації відповідей). Внаслідок виконання роботи обґрунтовано раціональний підхід до інтелектуального пошуку знань із використанням великих мовних моделей, а також розроблено прогнозний програмний модуль, який дає змогу автоматично здійснювати семантичний відбір фрагментів документів, формувати релевантний контекст та генерувати точні відповіді без ефекту галюцинацій мовної моделі. Результати дослідження можуть бути використані в інформаційно-довідкових системах, корпоративних базах знань, аналітичних центрах, а також розробниками інтелектуальних пошукових сервісів та чат-асистентів для автоматизації роботи з великими масивами текстових даних.

The purpose of the work is to research approaches to semantic information retrieval and to develop a predictive software module for automated selection and generation of relevant answers based on the RAG (Retrieval-Augmented Generation) architecture and user information needs analysis. Research methods are analysis (to study existing approaches to intelligent retrieval and natural language processing), object-oriented analysis and design methods (to build the retrieval module architecture), mathematical and linguistic modeling methods (to calculate the semantic similarity of text data vector representations), and software testing methods (to evaluate the accuracy of information retrieval and answer generation). As a result of the work, a rational approach to intelligent knowledge retrieval using large language models was substantiated. Furthermore, a predictive software module was developed that enables the automated semantic selection of document chunks, dynamic context construction, and generation of precise answers while mitigating language model hallucinations. The results of the research can be used in information and reference systems, corporate knowledge bases, analytical centers, and by developers of intelligent search services and chat assistants to automate workflows with large-scale text datasets.