Інтелектуальна інформаційна система семантичного пошуку з використанням технології Retrieval-Augmented Generation (RAG)

Abstract

Дослідження зосереджене на семантичному пошуку інформації в корпоративній базі знань технічної документації, де знайдені фрагменти стають основою для розгорнутих відповідей природною мовою. У роботі представлено інтелектуальну інформаційну систему семантичного пошуку на основі технології Retrieval-Augmented Generation. Система індексує 8 654 фрагменти технічної документації та відповідає на запитання природною мовою з посиланнями на першоджерела, а не у формі вільної генерації. Під час індексування кожен документ розбивається на фрагменти по 512 токенів із перекриттям 64 токени за рекурсивною ієрархією роздільників. Щільні векторні представлення формує модель multilingual-e5-base (768 вимірів), а розріджену гілку забезпечує BM25. По 20 найкращих кандидатів від кожної гілки об'єднуються методом Reciprocal Rank Fusion з k = 60. Крос-енкодер bge-rerankerbase перевпорядковує топ-20 до топ-5, які передаються до моделі gpt-4o-mini або Llama-3.1-8B для формування підсумкової відповіді. Якість оцінюють метриками Recall@k, MRR і NDCG на рівні пошуку та метриками faithfulness і answer relevancy з бібліотеки ragas для всього конвеєра. На 8 654 фрагментах документації та 80 оцінювальних запитах система досягає Recall@5 = 87,6 %, MRR = 80,3 %, NDCG@10 = 84,1 % і faithfulness 92,7 %. Медіанний час відгуку становить 1,84 с у хмарному режимі (OpenAI API) і 1,32 с під час локального запуску на Ollama з моделлю Llama-3.1-8B-Instruct та GPU. Систему доцільно застосовувати в ІТ-компаніях, сервісних організаціях та освітніх установах, що створюють корпоративні довідкові служби, асистентів технічної підтримки чи навчальні помічники для окремих курсів, – усюди, де запити стосуються змісту, а не лише збігу ключових слів.

The research focuses on semantic information retrieval inside a corporate knowledge base of technical documentation, where the matched fragments become the basis for comprehensive natural-language responses. The thesis presents an intelligent information system for semantic search built on Retrieval-Augmented Generation. It indexes 8,654 fragments of technical documentation and answers questions in natural language with citations to the source fragments rather than free-form generation. Indexing splits each document into 512-token fragments with 64-token overlap using a recursive separator hierarchy. Dense embeddings come from multilingual-e5-base (768 dimensions); the sparse path runs BM25. Top-20 candidates from each path go through Reciprocal Rank Fusion with k=60. A cross-encoder bge-reranker-base reorders the top-20 down to top-5, which feed into gpt-4o-mini or Llama-3.1-8B for the final answer. Quality is measured by Recall@k, MRR and NDCG on the retrieval side, and by faithfulness and answer relevancy from the ragas library on the full pipeline. On 8,654 documentation fragments and 80 evaluation queries the system reaches Recall@5 = 87.6 %, MRR = 80.3 %, NDCG@10 = 84.1 % and faithfulness 92.7 %. Median response time is 1.84 s in cloud mode (OpenAI API) and 1.32 s when running locally on Ollama with Llama-3.1-8B-Instruct and a GPU. The system fits IT companies, service organizations and educational institutions building corporate help-desks, technical-support copilots or per-course study aids – anywhere queries care about meaning, not just keyword overlap.